生成的robots.txt内容符合标准格式，可以直接用于网站根目录。所有配置项均为可选，未设置的选项会自动忽略。
常用配置选项：预设主流搜索引擎User-agent，自定义User-agent支持，多路径禁止/允许设置，爬取延迟设置，网站地图地址配置等。