Как мы мы уже писали ранее, глава Cloudflare Мэттью Принс предупреждал, что ИИ-системы забирают контент сайтов для генерации ответов без разрешения, что лишает издателей трафика и подрывает привычную бизнес-модель интернета.
Компания предоставила клиентам возможность блокировать ИИ-ботов в июле 2024 года. С тех пор, по её данным, эту опцию выбрали более миллиона клиентов, а новая модель с оплатой сейчас проходит тестирование. В рамках программы Pay Per Crawl можно установить цену за доступ к контенту, включая возможность динамического тарифа в будущем. Оплата и распределение средств будут проходить через Cloudflare и, если у краулера нет настроенных платёжных отношений с Cloudflare, ему будет возвращено сообщение об ошибке с предложением пройти регистрацию для доступа.
Поддержку инициативе выразили крупные издатели, включая Associated Press и The Atlantic, на фоне роста популярности ИИ-чатботов, которые вытесняют традиционный поиск. По оценке Cloudflare, активность ИИ-сканеров за полгода выросла на 65%.