按蜘蛛分别设置允许/禁止范围（User-agent 下拉 + Disallow 输入），「限制目录」可以点「添加」扩到多条，Sitemap 行同理；点「生成robots」后结果写进下框。
生成结果请另存为 robots.txt 放到站点根目录。
| 按钮 / 选项 | 结果 |
|---|---|
| 生成robots首行注释带本页地址，便于溯源 | # robots.txt generated at https://www.is46.com/wenben/robots.html
User-agent: *
Disallow:
Disallow: /admin
Sitemap: http://xxx.com/sitemap.xml
|
默认状态是 User-agent: * / Disallow:（冒号后为空）＝不禁止任何抓取；若要整站禁止，填 Disallow: /。
robots.txt 只是礼貌约定，不是访问控制：它不阻止任何人直接访问被禁止的 URL，敏感内容请用登录与权限保护。