NEWS

最新动态

公司动态12 网站公告8 网站优化27 网络营销11 常见问题30

网站robots.txt文件内容的写法教程 2025-05-19 | 337次浏览

robots.txt文档是存放在网站根目录的一个txt文本文件，它的作用就是搜索引擎蜘蛛在抓取网站链接之前，告诉搜索引擎蜘蛛，哪些页面可以抓取，哪些页面不可以抓取，就是一个协议，目前主流的搜索引擎都遵守这个协议，所以我们做seo优化一定要知道这个文件，同时要知道怎么写这个文档。

robots三要素

1、robots.txt必须存放在网站根目录

2、robots.txt文件名不可修改

3、搜索引擎蜘蛛在抓取网站时，首先必须访问robots.txt文件

robots形式及定义

User-agent:Baiduspider（定义百度蜘蛛）

Disallow:/

User-agent：定义所有的蜘蛛

Baiduspider：百度蜘蛛

Googlebot：谷歌机器人

MSNBot：msn机器

Baiduspider-image：百度图片

Disallow：不允许抓取

Allow：允许抓取

*：定义所有的蜘蛛通配符

$：结束符

/：通配符拒绝百度蜘蛛访问访问网站根目录的文件，就是全部的意思

robots生效时间是多少，是由百度决定的，有可能是1个月或者2个月

网站优化必须要有robots.txt，robots.txt格式区分大小的，区分大小写格式为：Disallow首字母必须是大写的，在本地新建记事本编辑时需要注意的是：输入法中文要切换成英文。

同时也需要注意的是，网站动态的路径也要用robots进行屏蔽，在这个前提需要做的是，要了解每个文件下的数据是用来做什么用的，代表什么意思，自己下面也知道如何运用robots进行操作。