robots.txt文件的作用主要是为了告诉搜索引擎蜘蛛，什么内容可以抓取，什么内容不允许抓取？很多新手站长要么懒惰，要么不会设置，下面富贵网的小编给大家讲讲如何正确设置robots文件。
zblog博客的robots.txt文件在设置之前，我们先要知道每个文件到底是做什么的，有没有必要让搜索引擎蜘蛛抓取内容：
feed.php : RSS Feed 入口文件 index.php : 前端页面入口文件 search.php : 搜索入口文件 zb_install 文件夹：zblog 初始化安装文件夹，安装完毕会自动删除，或手动删除 zb_system 文件夹：为 zblog 框架的主要文件，需要屏蔽搜索蜘蛛去它以及它所包含的内容抓取 zb_users 文件夹：为 zblog 为用户文件夹，里面包含了主题文件夹，插件文件夹，以及附件存放文件夹。 avatar ：用户头像文件夹 cache ：缓存文件夹 data ：数据文件夹(屏蔽蜘蛛) emotion ：表情文件夹 language ：语言包文件夹(屏蔽蜘蛛) logs ：目志文件夹,里面文件是记录错误的(屏蔽蜘蛛) plugin ：插件文件夹 theme ：主题文件夹 upload ：附件文件夹(图片或其它类型文件)
zblog博客的robots文件的正确写法（案例） User-agent: * Disallow: /zb_system/ Disallow: search.php Disallow: /zb_users/data/ Disallow: /zb_users/language/ Disallow: /zb_users/logs/ Sitemap:www.liugui.cn/sitemap.xml
备注：关于sitemap.xml地图文件可以去zblog博客应用中心下载，属于免费的！
zblog博客的robots文件安装方法 1、本地新建‘文本文档’并命名为 'robots.txt' 把上面的内容复制，保存即可 2、把 'robots.txt'文件上传到服务器的网站根目录即可
