AI 爬虫 robots.txt 新标准解读：OpenAI 支持统一训练偏好信号，网站站长如何配置？
2026 年 10 月 30 日，OpenAI 宣布支持通过 robots.txt 表达统一的 AI 模型训练偏好，减少网站分别管理多个 AI 爬虫的复杂度。本文解析 IETF AI Preferences、G…
话题标签
2026 年 10 月 30 日，OpenAI 宣布支持通过 robots.txt 表达统一的 AI 模型训练偏好，减少网站分别管理多个 AI 爬虫的复杂度。本文解析 IETF AI Preferences、G…