旺客族网络 | SEO工具 | 成都SEO - 专注中小企业网络推广9年!
>网络推广 > SEO技术 » 正文

网站蜘蛛文件Robots.Txt

栏目:SEO技术 | 2019-06-17 12:53:09 | 人围观 | 评论:

网站蜘蛛文件Robots.Txt; 这是纯文本格式的文件。这是搜索引擎在你的网站上搜索到的第一个文件。它通常放在网站的根目录中。robots.txt告诉蜘蛛,我们网站上那些东西允许你去爬行,哪些禁止你去爬行。

网站蜘蛛文件,Robots.Txt

标签:robots协议