Anysite – 把任意网页变成 API”的工具

Anysite把自己定位成 “AI agent 时代的 Web 数据基础设施”——类比 Stripe 之于支付、Twilio 之于通信：

把“任意公开网站”抽象成一个 有 schema 的 API，让 AI agent / 数据团队拿到的是结构化 JSON，而不是原始 HTML。

内容 / 产品特点

1）“说人话”建管道，不写爬虫

• 用 Plain English 或 YAML​ 描述要什么；
• agent 做端点发现、串联多源、先估 credit 再跑；
• 没有 XPath/CSS selector、没有样板代码。

2）预置平台端点 + 任意 URL 的 AI 解析

预置覆盖（首页列举）：

• LinkedIn（档案/公司/职位/搜索/邮件）
• Twitter/X、Reddit、YouTube、Instagram
• Amazon（商品/价/评论）、eBay
• SEC EDGAR（10-K/10-Q/8-K）、JPX
• Crunchbase、GitHub、Hacker News、Stack Exchange
• Google Maps、DuckDuckGo、Product Hunt
• 任意公开网页​ → AI parser 转 JSON

官网口径是 400+～600+ 源 / 3500+ 端点（不同页数字略有出入）。

3）Self-healing：网站改版不用改你代码

DOM 变了，抽取层自动适配；改不动就显式报错，不静默掉数。

4）完整数据管线，不止“调一次 API”

一条 YAML 管四件事：

• Extract（抽）
• Transform（洗）
• Store（落库）
• Schedule（定时）

落库目标：PostgreSQL / SQLite / ClickHouse / Parquet / 扁平文件。

5）增量 + cron + webhook

• 写 cron 表达式周期跑；
• 记录已采主键，做 incremental update；
• 跑完发 webhook；不重复灌数。

6）一套引擎，四种入口

同一引擎，按场景选：

• MCP Server：接 Claude / Cursor / ChatGPT，自然语言探数据（5 个 meta-tool：discover/execute/get_page/query_cache/export_data）
• CLI：pip install anysite-cli，YAML 批处理，MIT 开源
• REST API：一个鉴权头，统一 JSON schema
• n8n / Make / Clay：可视化节点

7）给 agent 省 token

采集在 Anysite 侧完成，LLM 只看干净 JSON；50 页研究从“百万 token”降到约 1k token 级。

8）隐私与合规基线

• 不持久化留存抽出的数据；
• TLS 1.3，API key 按凭据隔离；
• GDPR-aware。

9）计费模型

• MCP Unlimited：$30/月​ 不数 credit；
• REST/CLI：按成功返回记录计 credit；
• 所有套餐含全部源。

面向用户

A. AI agent / LLM 应用开发者

• 痛点：agent 读网页烧 context、拿不到实时字段；
• 用法：MCP 接 Claude/Cursor，或 REST 喂自家 agent；
• 收益：agent 看到 typed JSON，不写爬虫。

B. 数据工程 / 后端团队

• 痛点：自维 10+ 爬虫脚本、DOM 一变就崩；
• 用法：YAML + CLI 跑夜批，落 PG/ClickHouse；
• 收益：增量调度、webhook、schema 稳定。

C. GTM / 销售 / RevOps

• 场景：ICP 找人、ABM 简报、竞品监测；
• 痛点：传统 enrichment 月账单 $3–5k；
• 用法：MCP 边聊边出名单，写进 CRM。

D. 招聘 / 人才寻访

• 拉 LinkedIn 按技能/地区/资历筛人；
• 夜跑流水线建人才池，去重排名。

E. 市场 / 竞品 / 投研

• 跨 LinkedIn+Twitter+Reddit+SEC+Crunchbase 拼“单家竞品简报”；
• 电商比价（多国 Amazon 价差）；
• 金融尽调抓 10-K/8-K。

F. 独立开发者 / 小团队

• 不想养爬虫，CLI 开源可 fork；
• $30 MCP 档够做 side project。

Anysite = “把全网当数据库”的 agent 数据层：自然语言/YAML 建管道，预置 400+ 平台端点 + 任意 URL 的 AI 解析，DOM 自愈合，cron 增量落 PG/SQLite/ClickHouse，MCP/CLI(MIT)/REST/n8n 四入口。

它只采公开网页；登录墙后数据、强反爬小站是 case-by-case，不是万能爬。