Scrape Web
어떤 노드인가요?
Scrape Web 도구는 웹 페이지에서 텍스트 콘텐츠를 추출할 수 있는 유틸리티입니다.
언제 사용하나요?
다음과 같은 작업을 원할 때 이 노드를 사용하세요:
- 특정 웹 페이지에서 텍스트 콘텐츠를 추출할 때
- 웹사이트에서 정보를 수집할 때
- 온라인 소스에서 데이터를 수집할 때
- 웹 콘텐츠 추출을 자동화할 때
사용 방법
기본 설정
- 워크플로우에 Scrape Web 도구를 추가합니다.
- 스크래핑 파라미터를 구성합니다.
- 출력을 스크래핑된 콘텐츠가 필요한 노드에 연결합니다.
파라미터 (Parameters)
- url: 스크래핑할 웹 페이지의 URL
출력 (Outputs)
- output: 웹 페이지에서 추출된 텍스트 콘텐츠
예시
특정 웹 페이지에서 콘텐츠를 추출하려는 경우:
- 워크플로우에 Scrape Web 도구를 추가합니다.
- 스크래핑할 페이지의 URL을 설정합니다.
- "output"을 스크래핑된 콘텐츠가 필요한 다른 노드에 연결합니다.
구현 세부 사항
Scrape Web 도구는 웹 스크래핑 기능을 사용하여 웹 페이지에서 텍스트 콘텐츠를 추출합니다. CSS 선택자를 사용하여 특정 콘텐츠를 타겟팅할 수 있으며, 타임아웃과 오류를 안정적으로 처리합니다.