如何查看竞争对手网站robots.txt文件

1、这里可以一个网站为例。

2、打开我们常用的浏览器。

3、输入网站，进入百度，接着就是重点步骤了。

4、然后我们在网站后面加“/robots.txt”,按下enter后你就会发现，这个txt的内容就出来了

5、，一般为了符合互联网爬虫约定，这个文件都是放在网站根目录的，所以直接加这个就行了。

6、点赞投票帮助更多人。