网站不想你爬

这边想说一下，关於上一篇有讲到我利用superagent()来获得网站资讯，结果抓取失败。这是因为不一定所有网站都愿意其他人随便沿用自己的东西，所以在网站後台可以让人设定禁止令之类的，防止他人搜索。
那要如何知道网站是否同意进行搜索，可以在网址根目录後加上robots.txt就会看到文字档纪录，像是用户代理、禁止目录…等等。下面是我上一篇失败网站的文字档。

总而言之，就是禁止了很多东西，导致我抓取失败了!
之後我稍微补充下robots.txt的基本应用吧。

常见用词：

• User-agent => 对於那些搜索引擎生效
• Disallow => 禁止进入的目录，需指名路径
• Sitemap => 网站内sitemap档案位置，须完整路径

常见应用：

1. 允许所有引擎检索
   User-agent：*
   Disallow：
2. 拒绝所有引擎检索
   User-agent：*
   Disallow：/
3. 拒绝所有引擎检索/users/下所有内容
   User-agent：*
   Disallow：/users/
4. 拒绝Google搜图检索/images/下所有内容
   User-agent：Googlebot-image
   Disallow：/images/