robots.txt蜘蛛收录规则文件常用写法

robots.txt文件是搜索引擎收录规则文件，告诉搜索引擎哪些是不希望被收录的，可以定义为哪些目录允许搜索引擎抓取，哪些搜索引擎可以抓取，将以下代码根据需求另存为robots.txt存放到网站根目录中，即可生效。

禁止所有搜索引擎收录

User-agent: *

Disallow: /

禁止google爬虫

User-agent: Googlebot

Disallow: /

禁止百度爬虫

User-agent: Baiduspider

Disallow: /

禁止抓取后台目录

User-agent: *

Disallow: /admin/

Disallow: /user/

禁止收录所有动态页面

User-agent: *

Disallow: /*.asp  或 .php

禁止收录图片

User-agent: *

Disallow: .jpg$

Disallow: .png$

Disallow: .gif$

只允许收录html静态页面

User-agent: *

Allow: .html$

Disallow: /

以上规则可以根据实际需要组合使用。

• > PHP7和PHP8都有哪些重要改变？哪个运行速度更快 2024-11-1
• > 为什么要选择香港虚拟主机？都有哪些明显优势？ 2024-11-1
• > 网站SSL证书有什么用？ 什么情况下需要申请SSL证书？ 2024-10-31
• > PbootCMS后台无法登录打开后提示发生错误 2024-10-30
• > 香港虚拟主机和香港云服务器有什么区别？ 2024-10-24
• > ASP网站运行需要什么样的虚拟主机？ 2024-1-9
• > 什么是免备案虚拟主机？免备案主机优势分析 2024-1-5
• > 网站出现Maximum execution time of 30 seconds exceeded 2023-12-27
• > 网站目录下的web.config文件有什么用？ 2023-12-26
• > 为什么要选择香港主机？香港主机有哪些优势？ 2023-12-26