robots.txt 与 sitemap.xml 生成

按爬虫设置允许 / 禁止路径生成 robots.txt,或粘贴 URL 列表批量生成规范的 sitemap.xml。

每行一条,例如 /admin/ 表示禁止抓取后台目录。

每行一条,用于在禁止目录中放行个别路径。

部分爬虫不支持,可留空。

生成结果
生成内容
生成后在此输出文件内容,可直接复制保存
尚未生成。