这篇文章跟以前看过的讲 SEO 的文章不太一样，文中介绍了一些选关键词做页内 SEO 优化的实用工具，以及科普了一些举手之劳做 SEO 的小常识。做 SEO 需要耐心的，至少得几个月才能见效。

似乎因为受这篇文章的影响 http://katemats.com/what-every-programmer-should-know-about-seo/ 于是我也觉得我应该写一个每个程序员必知之SEO，作为一个擅长前端兼SEO的设计师。

不少人仍然执着于完善 html 标记，交换链接等方法来做 SEO。对于 SEO 最核心的东西却视而不见 如果你是一名独立开发者，搜索引擎或许是你扩大你的用户群体一个非常有效的渠道了，你可能没有足够的资金专门请一个人来帮你做诸如 SEO 这样的营销工作，你只能靠自己。那么你该如…

通俗一点的说法就是：告诉爬虫，我这个网站，你哪些能看，哪些不能看的一个协议。 搜索引擎（爬虫），访问一个网站，首先要查看当前网站根目录下的robots.txt，然后依据里面的规则，进行网站页面的爬取。 也就是说，robots.txt起到一个基调的作用，也可以说是爬虫爬取当前网…