一、概述 Crawl4AI 是一个开源的网页爬虫和数据抓取工具，一个python项目，主要为大型语言模型（LLM）和 AI 应用提供数据采集和处理服务。 特性 开源免费：遵循 MIT 许可协议或 Apache-2.0 许可协议，开发人员可自由使用、修改和分发源代码，无需支付费用； 专为 LLM 设计：能够将网页数据处理和清洗成适合 LLM 使用的格式，如 JSON、干净的 HTML 和 Markdown 等，便于后续直接应用于模型训练； 高效性能：支持并行处理多个 URL，可同时抓取和处理多个网页，极大地提高了数据收集效率，减少大规模数据收集所需时间； 多功能支持：可以提取网页中的文本、图片、音频、视频等媒体标签，以及元数据、内外部链接等，并能对页面进行截图等操作； 高度可定制：用户可自定义认证、请求头信息、爬取前页面修改、用户代理以及 JavaScript 脚本执行等，还能根据特定需求自定义爬取深度、频率和提取规则，以适应不同网页结构和数据类型。 项目地址 github地址: https://github.com/unclecode/crawl4ai Crawl4ai官网: https://crawl4ai.com/ 二、安装 安装 crawl4ai 库 pip3 install crawl4ai 设置浏览器 python -m playwright install […]

步骤一： npm install -g mcporter