旺客族网络 | SEO工具 | 成都SEO - 专注中小企业网络推广9年!
>网络推广 > SEO案例 » 正文

robots协议是什么?

栏目:SEO案例 | 2019-05-30 00:20:30 | 人围观 | 评论:

robots协议是什么?


Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。是搜索引擎的一部分来定位和索引互联网上的每个可能回答搜索请求的网页,通常只在讨论 robots的HTML标签或者robots.txt文件的时候使用。