对于多数网站，一般网站根目录，都会放置一个robots.txt文件。
robots.txt是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。
说白了，这个文件就是告诉搜索引擎，哪些文件可以收录，哪些文件不应该被收录，所以基本上所有网站都有这样的文件。
robots.txt文件区分大小写吗？
这一点是大家很容易忽略的一个问题，因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。
robots.txt 使用方法：
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
事实证明，如果文件名是大写多数是无效的，所以一定要注意，所有文件名，必须用小写，千万不要有大写，就算你的文件名确实有大写，robots.txt文件中，也必须使用小写。