Сайты заблокируют доступ поисковому роботу ChatGPT

Недавнее добавление компанией OpenAI подробностей о своем поисковом роботе GPTBot вызвало реакцию со стороны различных сайтов, некоторые из которых намерены заблокировать доступ бота к своему контенту.

GPTBot используется OpenAI для изучения веб-страниц для обучения таких моделей ИИ, как GPT-4. В новой документации говорится о том, что веб-страницы, найденные ботом GPTBot, могут быть использованы для улучшения еще и будущих моделей.

OpenAI заверяет, что установила фильтры, чтобы избежать доступа к платным источникам, источникам, собирающим персональные данные, или контенту, нарушающему их политику. Однако этот шаг был предпринят слишком поздно, чтобы повлиять на текущие обучающие данные ChatGPT и GPT-4.

Администраторы сайтов теперь могут заблокировать GPTBot с помощью стандартного файла robots.txt. OpenAI предоставляет инструкцию по этому процессу, позволяющую ограничить доступ GPTBot или указать части сайта, которые могут быть изучены.

Несмотря на то, что решение OpenAI позволяет расширить возможности контроля, еще предстоит выяснить, как различные сайты будут использовать эту возможность, поскольку область генеративного ИИ продолжает развиваться.