웹 수집 · Firecrawl 공식

주소만 주면, 본문이 붙어요

경쟁사 글 링크를 주고 핵심만 뽑아 달라고 했어요. 답이 오긴 왔어요. 근데 쿠키 배너랑 메뉴 얘기예요. 본문은 잘려서 안 읽혔어요.

그전

HTML을 통째로 주면

이 블로그 글 핵심만 뽑아줘. https://example.com/post

페이지 대부분이 메뉴, 쿠키 안내, 푸터예요. 본문은 잘린 것 같아요.

이제

본문만 긁으면

Firecrawl로 그 URL 본문만 긁어서, 주장 세 개와 근거 문장 하나씩만 남겨줘.

본문 기준 주장 3개예요. 1) 온보딩은 3단계 이하로, 2) 첫 화면에 가격 노출, 3) 가입 전 체험. 각 주장 아래 원문 문장을 그대로 붙였어요.

대화는 재구성이에요. README는 scrape에 JSON 스키마를 쓰라고 하고, 마크다운 통짜는 컨텍스트를 금방 채운다고 못 박아요. crawl은 토큰 한도를 넘기기 쉽다고 경고해요.

에이전트가 URL을 열면 사람이 보는 화면이 아니라 HTML 전체가 와요. 메뉴, 배너, 푸터가 본문보다 길어요. 그래서 요약이 엉뚱한 데를 봐요. 본문만 골라 붙여 주는 것도 링크마다 반복이에요.

이 도구를 붙이면, 주소만 줘도 본문만 골라 읽기 좋은 형태로 넘겨 줘요.

키 없이 먼저 붙기

호스트 주소만으로 scrape·search를 시험할 수 있어요. crawl·map은 키를 받은 다음이에요.

1
이 말을 그대로 AI에 붙여넣으세요
Firecrawl MCP를 호스트로 연결해줘. 공식 한 줄은 claude mcp add --transport http firecrawl https://mcp.firecrawl.dev/v2/mcp 야. 키는 채팅에 넣지 마. 먼저 scrape/search만 시험하고, crawl과 map은 한도와 깊이를 물어본 뒤에만 쓰자.
Firecrawl 공식 키 없는 안내의 Claude Code 한 줄.
claude mcp add --transport http firecrawl https://mcp.firecrawl.dev/v2/mcp
2
연결됐다면, 이렇게 물어보세요
이 URL 본문만 scrape해서, 주장 세 개와 원문 문장 하나씩만 남겨줘. crawl은 하지 마.

별 7,394는 2026-09-05 GitHub API 값이에요. 키 없는 구간은 속도 제한이 있고, crawl·map·agent는 키가 필요해요.

이럴 때

글·리서치·경쟁 페이지를 에이전트가 읽어야 할 때. URL은 아는데 본문이 안 붙을 때.

들어 있는 것

scrape, search, map, crawl, parse. 키 없는 무료 구간은 scrape·search·parse(속도 제한). crawl·map·agent는 키가 필요해요.

안 되는 것

사이트 통째 crawl은 응답이 커져 실패해요. API 키를 URL이나 채팅에 넣지 마세요. README가 둘 다 금지해요.

기능 자랑보다 공식 사용 규칙을 옮겨요.

도움 됐다는 쪽

“Search the web and get full page content. Scrape any URL into clean, structured data.” github.com
— firecrawl-mcp-server README
“On the keyless free tier, scrape, search, and parse work without an API key (rate-limited).” github.com
— firecrawl-mcp-server README

아쉽다는 쪽

“Crawl responses can be very large and may exceed token limits. Limit the crawl depth and number of pages.” github.com
— firecrawl-mcp-server README
“Never put an API key in the server URL. Never put an API key in an agent chat.” github.com
— firecrawl-mcp-server README