1、（一）404返回码
有时候我们打开一个页面，页面一片空白，上面只显示404。这里的404就是一种返回码，代表当前抓取的页面已经失效，遇到显示404的页面，如果短期内搜索，蜘蛛再发现这个页面，也不会对其进行抓取。
2、（二）503返回码
有时候会返回503，503返回码代表网站临时无法访问。可能是网站服务器关闭或者其他临时措施造成的网页无法访问，一般来说，蜘蛛还会继续抓取几次。如果网站恢复正常，URL仍然被当作正常URI处理。如果服务器一直处于不可访问状态，那么搜索引擎就会将这些URL彻底从库中删除。这就要求我们企包在线优化必须维护网站的稳定性，尽量避免临时关闭的情况发生。
3、（三）403返回码
返回码403是禁止访问状态，一般来说，如同503一样，如被多次访问仍处于禁止访问状态，就会被搜索引擎从库里面删除。
4、（四）301返回码
在返回码中，有一类需要格外注意的就是301。301代表永久性移除，当前URL被永久性重定向到另外的URL。一般来说，因为改版等原因，部分URL需要永久被替换为新URL，就必须使用返回码301进行处理，这样能把权重等一并带过去，避免网站的流量损失。
1、（一）采用搜索引擎平台提供的开发平台等数据上传通道，可以针对数据进行独立的提交。
2、（二）采用Sitemap提交方式。大型网站或者结构比较特殊的网站，沉淀了大量的历史页面，这些历史页面很多具有SEO的价值，但是蜘蛛无法通过正常的爬行抓取到，针对这些页面，建立Sitemap文件并提交给百度等搜索引擎是非常必要的。
