什么是robots.txt文件，在之前的文章里有详细的介绍，也可以点击复习下。那我们也简单掌握了robots.txt写的原则，今天成都seo快排小编给大家再详细分享下如何撰写robots.txt文件让网站更受搜索引擎喜欢更规范些。
这样的目的是，让搜索引擎看来网站更规范和权威。
1、用robots.txt屏蔽相似的页面或没内容的页面。
我们知道，搜索引擎收录网页后，会对网页进行“审核”，当网页的相似度很高时，会删除其中一个。
比如两个链接，内容其实差不多，所以第一个链接应该屏蔽。
第一个的链接非常多，屏蔽时，只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。
类似这样的页面，没有内容，也应该屏蔽：
这样的链接也很多，屏蔽时，只要屏蔽/index.php?sid= 就屏蔽了所有的。
代码如：Disallow: /index.php?sid=
2、用robots.txt屏蔽多余的链接，当动态和静态共存时，一般去掉动态的。
网站中经常会存在多个链接指向同一个页面，这种情况普遍存在时，会让搜索引擎对网站的权威性产生怀疑。通过robots.txt把非主要的链接去掉。
3、用robots.txt屏蔽死链接。
死链接就是原来存在，后来因为改版或更新等缘故删除了的链接和网页。
比如，原来在某个目录（假设目录为/tempweb/）下的所有链接，因为改版现在都变为死链接了，可以用robots.txt屏蔽。
4、用robots.txt屏蔽可能存在的“被K”外部链接。
很多网站允许用户放自己的网站链接，但因为过多的“被K”外部链接可能连累自己。所以，我们把所有外部链接放入一个链接目录下，然后通过robots.txt统一屏蔽。 这上面的所有外部链接，就防止了因为指向“被K外连”而遭殃。
如果你对Disallow:的具体操作办法不是很清楚，你可以在百度官方提供的robots.txt使用指南。
相关阅读：
