robots.txt 与 sitemap.xml 生成
按爬虫设置允许 / 禁止路径生成 robots.txt,或粘贴 URL 列表批量生成规范的 sitemap.xml。
每行一条,例如 /admin/ 表示禁止抓取后台目录。
每行一条,用于在禁止目录中放行个别路径。
部分爬虫不支持,可留空。
每行一个完整地址(含 https://),空行会自动跳过。
最后修改时间
生成结果
生成内容
生成后在此输出文件内容,可直接复制保存
尚未生成。
按爬虫设置允许 / 禁止路径生成 robots.txt,或粘贴 URL 列表批量生成规范的 sitemap.xml。
每行一条,例如 /admin/ 表示禁止抓取后台目录。
每行一条,用于在禁止目录中放行个别路径。
部分爬虫不支持,可留空。
每行一个完整地址(含 https://),空行会自动跳过。