如何用 LLM 从网站提取结构化数据(2026)
Browser Use 发布教程,介绍用一份 JSON Schema 在多个网站提取结构化数据的流程:静态页面抓取 Markdown 后由 LLM 填充,需要登录或点击的页面交给浏览器智能体。文章给出可靠性清单,包括开启结构化输出、用 Pydantic 或 Zod 校验、缺失字段返回 null、保留 source_url 与原文引用、按稳定键去重、遵守 robots.txt 并抽样核对。文中还对比了 Firecrawl、Crawl4AI、Browser Use、Stagehand 和自建 Fetch+Markdown+LLM 在登录与 JS 流程、Schema 支持、开源与计费上的差异。

工具的事实来自它们各自的文档和定价页面,核查于 2026 年 10 月 26 日,并在使用处附有链接。 可靠性清单 Schema: 必填字段及其类型,以及在取值固定处使用枚举。用 JSON Schema 编写,或从 Pydantic 或 Zod 模型生成。 受约束的输出: 开启模型的结构化输出。OpenAI 的模型会让响应 遵循你的 JSON Schema;Anthropic 的模型 保证字段类型和必填字段. 在代码中校验: 用以下工具解析每条记录 Pydantic 或 Zod。有效的 JSON 并不等同于正确的数据。 空值,而不是猜测:让缺失字段可为空但仍为必填,并告诉模型当页面未显示该值时返回 。证据:在每条记录上保留 ,并为你将要据以行动的字段附上页面中的简短引用。去重:基于稳定键,例如规范 URL 或 SKU。做礼貌的客户端:按域名限速,遵守 robots.txt 和网站条款。抽查:在信任一次运行之前,将随机抽取的记录样本与实时页面进行比对,并在网站变更后再次比对。用保存的代码重新运行:对于一 让缺失字段可为空但仍为必填,并告诉模型返回 null 当页面未显示该值时。 证据:
匹配字段正文




