robots txt怎么写？完整写法与规则详解

📍 WDQWDWQD987AAAAA:216.73.217.52
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cf4d0ba9dfa7.html
📄

robots.txt 是网站根目录下的纯文本文件，用于告诉搜索引擎爬虫哪些页面可以抓取、哪些禁止抓取。正确编写 robots.txt 能保护后台、隐私页面，同时避免误伤正常收录。下面从基础语法到常见场景，说明 robots txt怎么写。

一、robots.txt 基本结构

一个标准 robots.txt 由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。核心语法如下：

• User-agent：指定爬虫名称，* 表示所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，用于覆盖 Disallow。
• Sitemap：声明网站地图地址，便于爬虫发现。

二、robots.txt 写作示例

允许所有爬虫抓取全站，可写：

• User-agent: *
• Disallow:
• Sitemap: https://www.example.com/sitemap.xml

禁止抓取后台和临时目录：

• User-agent: *
• Disallow: /admin/
• Disallow: /tmp/
• Allow: /admin/public/

注意：Allow 与 Disallow 同时存在时，遵循最长路径匹配原则，更具体的规则优先。

三、编写注意事项

1. 文件必须放在网站根目录，文件名全小写为 robots.txt。
2. 每行一条规则，冒号后建议加一个空格，路径区分大小写。
3. 不要用 Disallow 屏蔽 CSS、JS 等渲染资源，以免影响收录评估。
4. 测试时可用搜索引擎官方工具验证，避免误屏蔽重要页面。

掌握以上规则，就能根据网站结构写出清晰有效的 robots.txt，既保护敏感目录，又保障搜索引擎正常抓取。