OpenAI, Google, Microsoft и Anthropic заявяват, че ще спазват общ сигнал в robots.txt, с който операторите на сайтове посочват дали съдържанието им може да се използва за AI обучение, съобщи The Verge на 30 октомври 2026 г. Досега сайтовете трябваше да задават тези предпочитания поотделно за роботите на всяка компания.
Сигналът е „токен за политика“, предложен в Internet Engineering Task Force от Кевин Кели, технически ръководител по стандартите в Anthropic. Той стъпва на работата на работната група на IETF за AI предпочитания. В собственото си съобщение OpenAI посочва, че сигналът се отнася до използването на съдържание за обучение на базови генеративни AI модели и няма да замени вече предлаганите от OpenAI настройки за роботите, които продължават да важат.
Сроковете се различават. Anthropic вече е въвела сигнала. OpenAI планира да го въведе „в следващите месеци“ и ще публикува подробности тогава. Google и Microsoft планират поддръжка догодина. Microsoft ще предложи отделни настройки за отказ от AI обучение и от AI grounding, тоест използване на страницата като източник за отговори, като сайтовете ще продължат да се показват в резултатите на Bing независимо от избора си. Ръководителят на комуникациите на Meta Анди Стоун изрази подкрепа, но не каза дали Meta ще спазва сигнала.
Инициативата е доброволна. Както всичко в robots.txt, тя работи само за роботи, които избират да спазват файла. Освен това засяга обучението, което е само една от няколко употреби. Разделението на Microsoft между обучение и grounding показва границата: използването на страница за изграждане на модел и извличането ѝ, за да се отговори на въпрос, са различни употреби с различен ефект върху трафика на сайта.
Защо това е важно за собствениците на сайтове
За корпоративен сайт един ред в robots.txt скоро може да замени списък с имена на роботи, който се променя на няколко месеца. Самото решение остава същото: дали да се позволи обучение и отделно дали сайтът да остане видим в търсенето и в AI отговорите. Точният синтаксис ще има значение, когато доставчиците публикуват реализациите си. Дотогава работещият инструмент остават досегашните правила за отделните роботи.
Тази статия не е правен съвет.
