robots.txt的写法经验

 时间:2024-10-13 08:56:36

1、*:通配符,Disallow表示禁止抓取

2、User-agent: *Disallow: /data/Disallow: /dede/Disallow: /include/例:织梦的一些写法

3、写robots的时候第一个字母必须是大写。

4、冒号后面写一个空格,空格必须是在英文状态下书写的。Disallow:空格/

5、冒号的书写要在英文小写状态下书写。robots很重要,必须书写正确。

6、*是通配符,表示所有的意思。

  • robots.txt写法
  • robots.txt怎么写
  • 网站robots.txt怎么写,robots.txt写法大全解析
  • robots.txt文件的写法和用法
  • 【robots.txt】蜘蛛协议写法
  • 热门搜索
    我的世界凋零怎么打 夏普电视怎么投屏 有狐臭怎么办 聒噪怎么读 怎么开淘宝网店 都是怎么被骗走第一次的 违停怎么处罚 手上脱皮是怎么回事 怎么申请qq号 台铃电动车怎么样