广告

Robots.txt 生成器

生成真正符合你意图的 robots.txt:覆盖当前的搜索引擎与 AI 爬虫,提供现成的起点、通配符规则,并通过检查找出会让网站从 Google 消失的错误。全程在浏览器中完成。

检查线上文件

由我们的服务器请求该网站的 robots.txt,并如实显示返回的内容。

粘贴文件

除非需要区别对待,否则请保持“通用规则”。

按名称添加其他爬虫

每个平台的起点都是该平台当前自带的默认文件,而不是过时的博客文章。 训练类爬虫收集页面用于训练模型。AI 搜索类爬虫会收录页面,让助手能够引用并链接到你。屏蔽前一类不会让你从后一类中消失。 robots.txt 只是请求。除非另有标注,这里列出的爬虫均有文档说明会遵守它。

所有爬虫的规则

适用于所有没有专属规则的爬虫。
* 和 $ 的作用
* 代表任意一段字符,也可以为空。
$ 表示地址结尾。不加它时,规则会匹配所有以该路径开头的地址。
/*.pdf$所有以 .pdf 结尾的地址
/*?所有带查询字符串的地址
/thank-you$仅这一个页面,不含 /thank-you/more 和 /thank-you?x=1
/*/feed/任意文件夹中的 feed
/*?sort= /*&sort=排序后的列表页,不论参数出现在哪个位置
/private/该文件夹及其中全部内容。/private(末尾没有斜杠)还会匹配 /private-notes
两条规则同时匹配时,较长的一条生效;长度相同则 Allow 生效。
路径区分大小写:/Page 与 /page 不同。

Google 会忽略 Crawl-delay,Bing 和其他一些搜索引擎会遵守。

站点地图

用于显示文件的存放位置,并补全站点地图的地址。

你的文件


      

      robots.txt 能做什么,不能做什么。它告诉爬虫网站的哪些部分不要访问。守规矩的爬虫会遵循它;但它拦不住选择不遵守的爬虫,也不会隐藏任何内容,因为文件本身是公开的。它不能用来把页面从搜索结果中移除,也不是安全措施:私密内容请用登录来保护。
      广告

      关于 Robots.txt 生成器

      Robots.txt生成器把你选好的规则拼成一份有效的robots.txt文件,整个过程在浏览器里完成,不用逐行手敲指令。ToolsPivot这一版从各平台当前自带的默认文件起步,覆盖现行的搜索引擎爬虫和AI爬虫,替你写好带*和$的通配符规则,边写边检查那些会让网站从搜索结果里消失的错误。生成之后,可以把任意网址放进去测试,也可以配合站点地图生成器把Sitemap地址一起写进文件。

      如何使用ToolsPivot生成robots.txt文件

      1. 在第1步“起始模板”里选一个起点:全部允许、WordPress、WooCommerce、Joomla、Drupal、Magento、Shopify、测试站或全部屏蔽。网站已经有文件的话,用“加载现有文件”粘贴原文,或者在“检查线上文件”里输入域名,直接取回线上版本。选择WordPress起始模板
      2. 在第2步“AI 爬虫”里做一次选择,同时设定18个AI爬虫:不做特殊处理、屏蔽AI训练但允许AI搜索、屏蔽全部AI爬虫,或者逐个设置。一次屏蔽AI训练爬虫
      3. 在“所有爬虫的规则”里点“添加规则”,逐行写Allow或Disallow,也可以直接套用现成的通配符写法。要给某个爬虫单独设规则,就用“按名称添加其他爬虫”,再点“添加专属规则”。新增Disallow规则和匹配模式
      4. 在“站点地图”里点“添加站点地图”,可以加不止一条。只填/sitemap.xml这样的路径也行,生成器会补全成完整网址。站点地图补全为完整网址
      5. 右侧“你的文件”随输入实时更新。先看检查清单和白话摘要,再用“测试地址”试几个关键网址,最后点“复制”或“下载”,也可以复制一个能还原整套设置的链接,下次接着改。复制、下载和地址测试

      除了取回线上文件,解析、写文件、校验和路径匹配都由浏览器里的JavaScript完成,这些代码是ToolsPivot自己写的,匹配器不依赖正则表达式。服务器只在你检查线上文件时参与:它只接受域名,固定请求该域名下的/robots.txt,拒绝内网地址,也不需要API密钥。

      九种起始模板怎么选

      起始模板决定文件的底子。平台模板取的是平台本身当前的默认内容:WordPress核心自己输出的规则、WooCommerce 10.3在此基础上加的几行、Joomla 5.4和6.1随安装包附带的文件、Drupal 11的文件,以及Magento 2.3+的默认文件。

      对WordPress站来说,这一点影响最大。WordPress核心现在只屏蔽/wp-admin/,同时放行/wp-admin/admin-ajax.php。可网上不少中文教程给的“完整版”模板,仍然写着Disallow: /wp-includes/和Disallow: /wp-content/,等于把系统脚本、主题和插件目录一起挡住。jQuery就在/wp-includes/目录下,把这类模板载入后用测试地址一查,会看到Google抓不到jQuery,渲染页面时缺了脚本。

      Shopify店铺选Shopify模板后,可以把输出切换成“Shopify (robots.txt.liquid)”:生成的模板保留Shopify默认规则,再追加你自己的规则。测试站模板用于还没上线的预发布环境,全部屏蔽模板则是整站Disallow: /。这两个模板最容易在上线后忘记撤掉,下文的检查项会专门盯住这一条。

      AI爬虫:屏蔽训练,不等于退出AI搜索

      第二步把18个AI爬虫按用途分成三类:训练类、AI搜索类和用户触发类。想保护原创内容、又不想从AI回答里消失,选“屏蔽AI训练但允许AI搜索”就够了。常见的反面做法是看到AI抓取的新闻,就给所有AI爬虫写上Disallow: /,结果连AI搜索引用页面时用的爬虫也挡在门外。想让AI更准确地理解站点结构,可以再生成一份llms.txt文件作补充。

      用户触发类要单独理解。ChatGPT-User、Perplexity-User、Meta-ExternalFetcher和Amzn-User是在有人提问时替这个人去打开页面,robots.txt对它们只是一个请求,它们可能不予理会。真要挡住,只能靠登录或服务器层面的拦截。

      爬虫名单共39个,AI部分逐一对照各厂商自己的文档:OpenAI、Anthropic、Perplexity、Google、Apple、Meta、Amazon和Common Crawl,最近一次核对在2026年10月10日。字节跳动的Bytespider也在名单里,但运营方没有公开说明文档,名单里如实标注为未公开。设置完成后,想知道站点在AI搜索里能见度如何,可以做一次站点GEO审计。

      通配符*和$的写法对照

      通配符写错是robots.txt里最隐蔽的问题,文件看着整齐,匹配范围却和你想的不一样。生成器内置了下面这几种现成写法:

      你想要的效果生成器写出的规则匹配范围
      整个文件夹/private/该文件夹及其中所有内容
      某种文件类型,不论位置/*.pdf$所有以“.pdf”结尾的地址
      带某个参数的地址/*?sort=和/*&sort=参数排在第一位或后面都能匹配
      所有带查询字符串的地址/*?任何含有问号的地址
      只限一个地址/thank-you$只匹配这一页,不含/thank-you/more这类子页
      含某个词的地址/*preview“preview”出现在地址任何位置都会命中
      屏蔽文件夹但留一个文件先Disallow文件夹,再Allow这个文件文件夹挡住,这个文件照常开放

      判定规则很固定:*代表任意一段字符,$表示地址到此结束。两条规则同时命中时,路径更长的那条生效;长度相同,Allow优先。路径区分大小写,/Private/和/private/是两条不同的规则。这套判定依据Google搜索中心的robots.txt文档和RFC 9309,其中还包括两条细节:Google的次级爬虫找不到自己的组时,会改用Googlebot的组;AdsBot则不理会面向所有爬虫的通用组。

      具名爬虫的组最容易出错。爬虫只服从最贴近自己名字的那一组,通用组里的规则对它不再生效。比如通用组里屏蔽了/admin/,又单独给Baiduspider写了一组放行规则,百度蜘蛛就会照样去抓后台目录。ToolsPivot会把通用规则自动复制进每个具名爬虫的组,堵上这个漏洞。

      生成器会拦下哪些错误

      检查清单随文件实时刷新,覆盖下面这些情况:

      • 整站屏蔽:User-agent: *下面跟着Disallow: /。
      • 屏蔽了搜索引擎:给Googlebot这类搜索爬虫写了全站禁止。
      • 挡住了CSS或JavaScript,搜索引擎渲染页面时拿不到这些文件。
      • 路径缺少开头的斜杠,写成了private/。
      • 站点地图写成相对地址。
      • $出现在规则中间,而它只能放在末尾。
      • 用了正则表达式语法,比如把*写成“.*”。
      • 写了不受支持的指令:Noindex、Host、Clean-param。
      • 某个爬虫的专属组覆盖了通用规则。
      • 文件超过500 KiB的大小上限。

      其中代价最大的两个错误会单独提醒。第一个是上线后遗留的整站屏蔽,新站从测试环境迁过来,最常见的“搜不到网站”就出在这一行。第二个是把Disallow当成从Google删除页面的办法。Google的文档写得很清楚,遭到屏蔽的网址如果在别处有链接,仍可能编入索引,只是不显示摘要,Search Console里会提示网页“已编入索引,尽管遭到robots.txt屏蔽”。

      想让页面退出搜索结果,正确做法是放开抓取,再给页面加上noindex,然后用网页Meta标签检查工具确认标签已经生效,过一段时间再用收录查询工具看页面是否掉出索引。如果检查清单提示CSS或JavaScript遭到屏蔽,改完之后可以跑一遍移动设备适配测试,看页面能否正常渲染。

      检查线上文件会看到什么

      在“检查线上文件”输入域名后,ToolsPivot的服务器会去请求该域名下的/robots.txt,报告状态码、每一次重定向、内容类型和文件大小。它最多跟随5次重定向,最多读取600 KB,30秒没有结果就停止,每位访客每天可以查询40次。

      结果这样看:状态码应为200。按Google的规则,429以外的4xx状态码会被当作网站没有robots.txt,等于不设限制;5xx状态码则会让Google暂停抓取全站,这比文件写错更危险,可以用服务器状态检查多测几次。重定向会逐跳列出,跳转链过长时,用重定向检查工具排查www与非www的设置。内容类型通常应是text/plain,如果返回的是网页类型,往往说明服务器拿首页或错误页顶替了robots.txt,HTTP头信息查询能看到完整的响应头。

      读取上限定在600 KB,比500 KiB的检查上限多出一截,所以超限的文件也能完整读回并标出问题。取回的文件可以“载入生成器”继续编辑,检查清单和测试地址照常可用。

      导出的robots.txt是UTF-8编码、不带BOM,组与组之间空一行。文件必须放在网站根目录,也就是“域名/robots.txt”这个位置。“文件放在哪里”分别说明了WordPress、Shopify、Wix和Squarespace的放法。上传后,用蜘蛛模拟器看一眼爬虫实际能读到的页面内容,确认没有误伤。

      这个工具做不到什么

      说到底,robots.txt是请求,不是强制。守规矩的搜索引擎会照做,用户触发的抓取器可能不理会,恶意爬虫更不会遵守。私密内容请用登录保护,单靠robots.txt挡不住。

      测试地址按Google公布的匹配规则判定,百度、必应等其他爬虫的处理方式可能不同。网站主要做百度流量的话,测试结果只能作参考,最终以百度搜索资源平台的说明和实际抓取记录为准。在Shopify格式下,测试只覆盖你追加的规则,不包括Shopify内置的那部分。线上检查每天限40次,只接受域名,只读取根目录下的/robots.txt。

      和老牌中文生成器比,差别主要在名单和检查上。站长工具(tool.chinaz.com/robots)的生成器名单里还列着SOSO、有道、Cuil、MSN Search、DMOZ和Alexa/Wayback这些早已停止运营的搜索引擎或目录,没有AI爬虫,也不提供检查、测试或载入现有文件。如果你只需要一份全站允许的最简文件,它也够用。miniwebtool的中文版同样可以粘贴现有文件做验证。要看Google实际读到的是哪个版本,最权威的仍是Search Console里的robots.txt报告。上线前想把标题、速度、链接等问题一次看全,可以再跑一遍网站SEO检测。

      数据来自工具方法说明:爬虫名单核对于2026年10月10日,匹配规则以Google搜索中心文档和RFC 9309为准;竞品信息查看于2026年11月15日,上线后待复测。

      常见问题

      报告问题