重庆网站建设公司重庆言西早工作室欢迎您!
当前位置
重庆网站建设 > 新闻中心 > 行业新闻 > 重庆网站建设公司:robots介绍

重庆网站建设公司:robots介绍

发布时间:2019-03-08 15:31:37 作者:重庆言西早工作室 阅读:
  robots是网站和爬虫之间的协议。它以简单直接的txt格式告知相应的爬虫程序权限。也就是说,robots是在搜索引擎中访问网站时要查看的第一个文件。当搜索蜘蛛访问站点时,它首先检查robots.txt是否存在于站点的根目录中。如果存在,搜索机器人将根据文件的内容确定访问范围。如果文件不存在,所有搜索蜘蛛将能够访问网站上任何页面。
 
重庆网站建设公司:robots介绍
 
  robots放在哪里
 
  robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站(比如http://www.yxzao.com/)时,首先会检查该网站中是否存在http://www.yxzao.com/robots.txt这个文件,如果蜘蛛找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
 
  robots写法
 
  User-agent:*(*代表针对所有的搜索引擎)
 
  Disallow:/A/(dissallow表示不允许抓取)
 
  Allow:/B/(allow表示允许抓取)
 
  常见robots名字
 
  google蜘蛛:googlebot
 
  百度蜘蛛:baiduspider
 
  yahoo蜘蛛:slurp
 
  alexa蜘蛛:ia_archiver
 
  msn蜘蛛:msnbot
 
  altavista蜘蛛:scooter
 
  lycos蜘蛛:lycos_spider_(t-rex)
 
  alltheweb蜘蛛:fast-webcrawler/
 
  inktomi蜘蛛:slurp
 
  最后需要注意,robots.txt文件名必须是小写,而且放在网站根目录。