设为首页添加收藏

AI能干爬虫干的事吗?也就是搜集数据?_上海市长宁区她竟攀岩股份有限公司

您的位置: 主页 > 新闻资讯 > 技术资讯
技术资讯

AI能干爬虫干的事吗?也就是搜集数据?


发布日期:2025-06-27 21:05:15 来源: 阅读量(

刚安装好 Gemini CLI,测试用 AI Agent 来写个爬虫试试。

我本来想写复杂一点,比如告诉 AI 列表页的 URL 构造,告诉 AI HTML 页面里的 DOM 构造,告诉 AI 我都需要哪些数据等等。

后来想,既然都智能体了,干脆让 AI 自主到底,所以用了最简单的 Prompt: 爬取完整的知识库 [链接],将结果保存在一个 txt 文档里。

AI 的第一步:访问链接,获取 HTML(由于不那么信任 AI,所以我选的单次同意执行): 第二步:安装需要的库(其实…。

AI能干爬虫干的事吗?也就是搜集数据?