常见网络蜘蛛名称和标志有哪些知识

显示全部楼层 · 发表于 2019-12-20 00:31:29

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？立即注册

x

常见网络蜘蛛名称和标志有哪些_知识

1.谷歌Google蜘蛛 Googlebot Googlebot-Mobile Googlebot-Image Mediapartners-Google Adsbot-Google
2.百度(Baidu)蜘蛛 Baiduspider
3.雅虎(Yahoo)蜘蛛 Yahoo!+Slurp Yahoo!+Slurp+China：雅虎中国蜘蛛
4.有道(Yodao)蜘蛛 YodaoBot YoudaoBot YodaoBot-Image
5.搜搜(Soso)蜘蛛 Sosospider Sosoimagespider
6.微软(Bing和MSN)蜘蛛 bingbot msnbot msnbot-media
7.搜狗(Sogou)蜘蛛 Sogou Web Sprider Sogou Orion spider Sogou-Test-Spider

详细介绍：
1. 谷歌Google蜘蛛
1) Googlebot：从Google的网站索引和新闻索引中抓取网页
2) Googlebot-Mobile：针对Google的挪移索引抓取网页
3) Googlebot-Image：针对Google的图片索引抓取网页
4) Mediapartners-Google：抓取网页确定 AdSense 的内容。惟独在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。惟独在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2. 百度(Baidu)蜘蛛名称：Baiduspider
3. 雅虎(Yahoo)蜘蛛
1) Yahoo!+Slurp：雅虎总站蜘蛛
2) Yahoo!+Slurp+China：雅虎中国蜘蛛
4. 有道(Yodao)蜘蛛
1) YodaoBot：有道蜘蛛
2) YoudaoBot：有道蜘蛛
3) YodaoBot-Image：有道图片蜘蛛
5. 搜搜(Soso)蜘蛛
1) Sosospider：搜搜蜘蛛
2) Sosoimagespider：搜搜图片蜘蛛
6. 微软(Bing和MSN)蜘蛛
1) bingbot：必应蜘蛛
2) msnbot：MSN蜘蛛，这个蜘蛛只在我的网站爬行了robots.txt
3) msnbot-media：MSN蜘蛛
7.搜狗(Sogou)蜘蛛
1) Sogou Web Sprider：搜狗网页蜘蛛
2) Sogou Orion spider：搜狗蜘蛛

[网站优化] 常见网络蜘蛛名称和标志有哪些知识

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。