討論交流
夏洛特 2023-02-13 873 1 0 0 0
今日头条,百度,上我查询一个关键词,竟然看到有头条的内容被收录。然后,我分析,应该是百度蜘蛛开始抓取了头条信息

早上我查询一个关键词,竟然看到有头条的内容被收录。

然后,我分析,应该是百度蜘蛛开始抓取了头条信息。


打开了头条的robots.txt。看到有些栏目是禁止蜘蛛抓取的。不过,大部分内容是允许抓取的。

site一下头条的网址,可以看到已经收录九千多万个网页。这其中应该有不少内容页。

...

头条原来是不允许百度抓取的,一个应用系统有上亿用户,那么它就可以自建内容、自建生态,不需要搜索引擎,也能活得很滋润。

比如头条、微信公众号这样的内容池。

被别人抓取了,那么它就觉得失去竞争力了。

这样自己花大价钱搞起来的资源,成为了别人数据库填充内容。你有的,别人也有,别人有的,你没有,这才是要命的。

不过,我还是希望互联网公司能够互联互通,这对于我们老百姓获取信息非常的重要。

既然百度已经开始抓取头条信息,那么一些人去头条采集内容,今后这条路可能会断了。


Tag: 今日头条 百度
評論
Deleon#1Deleon 2023-02-16(N) 鏈接地址

还真是。。。

百度开始收录头条了

还有微信公众号平台也开放了!

公众号平台也开放了,百度开始收录了

頂部     1/1 
歡迎評論
未登錄,
請先 [ 註冊 ] or [ 登錄 ]
(一分鍾即可完成註冊!)
返回首頁     ·   返回[討論交流]   ·   返回頂部