Python爬虫可能再也不需要了，在GitHub看到一个用来采集数据的CLI工具，brightdata/cli已经有7千star，它可以直接采集url、搜索引擎、站点的数据，能自动化操作浏览器，把playwright的活也干了，而且可以用ai自然语言搜索去采集数据，不需要任何明确的代码指令。

它神奇的地方在于只需要在命令行安装好cli程序后，就能通过一行指令去采集数据，然后直接导出markdown、csv格式，而且你可以用agent直接安装和使用这个cli，不需要会终端、代码，只需要说话给指令就行。

比如brightdata scrape url能获取网页的数据、brightdata search google能获取谷歌关键词搜索的数据、brightdata discover能直接ai对话获取相关网页，pipelines可以用预定义好的电商平台、社内平台的数据，browser能自动化操作chrome来访问网页等等。

以上的功能都只需要一行代码，所以我说传统的python爬虫已经没有啥必要了。前不久出来的DeepSeek搜索其实也是类似的，找任何数据基本不用自己动手。

这个cli甚至可以导出skill，适配codex、grok、workbuddy、dsh等agent上，直接调用skill就能完成cli的所有任务。

比如可以直接在agent中调用bright data cli去监测iPhone duo的价格，形成监测日报，数据相对准确，会比手工去刷方便很多。

我感觉搜索、爬虫这类事情以后基本都被ai替代了，不会有任何的机会留给人类程序员，人唯一体现价值的地方在于提出精准的需求，并从ai给到的数据中提炼价值。

可以用用bright data cli和mcp看，相当的省事。

网页链接

how i ai科技先锋官ai爬虫