北京seo培训(robots.txt让搜索引擎不要抓取没用的页面)

用户投稿 • 2021-11-06 17:16 星期六 • 阅读 139

什么是robots文件？

北京seo培训：Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。

为什么要做robots文件？

网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。

如何制作 robots文件？

编写robots.txt文件并上传到网站根目录。

制作 robots.txt注意事项

● 所有搜索引擎则用星号表示

● Allow（允许）和Disallow（不允许）优先级

● 至少屏蔽一个，可以屏蔽：搜索结果页面/404页面

● 记得将sitemap放到Robots文件中

● 可以陆续放入更多，而不是一次性决定所有

● 网站后台地址/图片地址/下载文件地址/错误链接

本文《北京seo培训(robots.txt让搜索引擎不要抓取没用的页面)》由网赚联盟（ wangzhuan.org.cn ）整理或原创，感谢您的阅读。

随机文章

SEO教程
友情链接交换
关键词排名优化
SEO小小课堂网
SEO教程
站长导航
友情链接交换
搜素引擎算法

百度搜索“网赚联盟”即可找到本站，微信搜索“小小课堂网”关注小小课堂网公众号。网赚联盟（ wangzhuan.org.cn ）欢迎用户投稿，发布者：用户投稿，文章版权归作者所有，投稿文章不代表网赚联盟立场，中二少年发布为网赚联盟原创文章，转载请注明出处：https://wangzhuan.org.cn/126329.html