• 重庆SEO自学网,提供最新网站优化教程和建站视频教程,让每个人都能轻松的学会SEO优化,搭建个人博客网站! QQ群

robots.txt是什么?

SEO教程 重庆seo 1319次浏览 已收录 0个评论
    

robots

robots.txt是一种存放于网站根目录下的文本文件,用于告诉搜索引擎的爬虫(spider),此网站中的哪些内容是不应被搜索引擎的索引,哪些是可以被索引。robots.txt协议并不是一个规范,而只是约定俗成的,通常搜索引擎会识别这个文件,但也有一些特殊情况。

当我们不希望网站中的某些页面被搜索引擎抓取,也许这些网页在搜索结果中出现对于用户来说并没多大用处,就可以把这些页面放在robots.txt里,这可以保证网站的某些内容不出现在搜索结果中。


本文地址:http://www.yuzcw.com/jc/151.html
版权声明:如未注明,均为原创,版权归重庆小飞SEO所有,欢迎分享本文,转载请注明出处!
喜欢 (9)
[844883068@qq.com]
分享 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址