修改WordPress的robots.txt前，先确认当前规则由服务器文件还是WordPress动态输出。找到真正生效的位置，比同时在多个插件里改规则更重要。
先确认当前生效的文件
在浏览器打开域名根路径/robots.txt，保存现有文本和HTTP状态。再用主机文件管理器或SSH查看站点根目录有没有实体robots.txt。存在实体文件时，WordPress的动态规则不一定会覆盖它；不要仅凭后台输入框判断已经生效。
选择一个维护位置
由实体文件管理时，备份后编辑该文件；由WordPress或插件输出时，检查负责生成规则的设置或代码。部分插件界面取决于文件权限和版本，不应反复创建多个副本。保存为UTF-8纯文本，避免编辑器加入HTML。创建规则的要求可参考Google官方操作说明。
用具体URL复查改动
| 样本 | 需要确认 |
|---|---|
| 首页和重要产品页 | 没有被意外的目录或通配符规则阻止 |
| CSS、脚本和图片 | 页面呈现所需资源仍可抓取 |
| 不重要的站内搜索或参数URL | 实际规则与计划一致 |
| 站点地图 | 文件地址有效，包含预期的规范页面 |
发布后验证与回退
清理相关缓存后重新请求/robots.txt，对比修改前后文本。用Search Console检查关键URL；爬虫规则更新和重新抓取需要时间，不要把浏览器显示更新等同于搜索系统已处理完成。若重要页面被误挡，先恢复备份规则，再观察抓取。
不要用错工具
敏感资料应限制访问；需要移除索引的公开页面则另行处理。两者都不能只靠Disallow完成。
