看图。。。
下载该robots.txt文件
User-agent: * Disallow: / ...
bar.baidu.com/robots/robots.txt 2005-12-26 - 百度快照
百度大妈真幽默。。自己爬自己。。
本文章来自站群哥LsevenTT博客~转载请注明出处
看图。。。
下载该robots.txt文件
User-agent: * Disallow: / ...
bar.baidu.com/robots/robots.txt 2005-12-26 - 百度快照
百度大妈真幽默。。自己爬自己。。