英文seo,英文网站推广,英文网站优化-姚海滨的博客

ScoutJet web crawler

ScoutJet是一个新兴的硅谷搜索引擎公司的网页爬虫，是由DMOZ和Topix的创始人建立的。

我们在开发下一代的搜索引擎技术，我们真诚希望你们允许ScoutJet来访问你们的网站，这样我们可以精炼我们的算法和互联网上如此丰富的内容。

ScoutJet Obeys Robots.txt

你可以在你的网站的机器人文件中添加下列语句来防止ScoutJet索引你们的网站：

# Allow only specific directories

User-agent: ScoutJet

Disallow: /

Allow: /public

ScoutJet爬虫是由下列ip来访问的：

64.13.160.*

38.108.180.*

ScoutJet会尽力友好的来访问。如果你有任何和ScoutJet的问题的话，可以通过crawer(at)blekko(dot)com来让我们知道。

参考：http://www.scoutjet.com/