Генеративный искусственный интеллект и web scraping

Генеративный искусственный интеллект и web scraping

Опубликовано
19 ноября, 2026
Автор
Храбрых С. А.
Язык оригинала
Русский

Доклад посвящён правовым ограничениям автоматизированного сбора общедоступных интернет-данных для обучения, дообучения и оценки генеративных моделей. Центральный вопрос исследования состоит не в том, может ли программа технически загрузить страницу, а в том, при каких условиях организация вправе извлекать, объединять, хранить и многократно использовать сведения о конкретных лицах. Исходная позиция авторов: общедоступность материала не заменяет правового основания обработки по статье 6 GDPR, ограничений статей 9 и 10 и прав субъектов данных.

Анализ охватывает GDPR, статью 53 AI Act об обязанностях поставщиков моделей общего назначения, рекомендации французского CNIL и британского ICO, а также проект Guidelines 03/2026 EDPB о web scraping в контексте генеративного ИИ, который на дату доклада остаётся документом для публичного обсуждения, а не новым законом. Рассмотрены роли контролёра, обработчика и продавца данных, трёхчастный тест законного интереса, прозрачность по статье 14 GDPR, минимизация, данные детей, сведения о здоровье и судимостях, memorisation в весах модели, проверка поставщиков готовых корпусов и соотношение с авторским правом.

Ключевые выводы: правомерность сбора требует оценки цели, основания, категорий данных, ожиданий людей и фактического движения информации по всей технической цепочке; независимая проверка должна опираться на реальные логи, источники и эффективность фильтров, а не на декларации; удаление записи из набора и устранение её влияния на уже обученную модель являются разными техническими задачами. Отдельно разобраны условные сценарии ошибочной санкционной атрибуции и устаревших сведений о международном розыске и экстрадиции.

Практическая часть включает 50 приложений: формы анализа законного интереса и DPIA, карточки источников и provenance-манифесты, процедуры проверки data brokers и запросов субъектов, программу независимого аудита и учебные кейсы. Observatoire ARGA формулирует авторские предложения к проекту EDPB — проверяемый минимальный стандарт происхождения данных, честное раскрытие пределов opt-out и machine unlearning, специальные предохранители для чувствительных категорий и воспроизводимые показатели аудита — с оговоркой, что их включение в окончательный текст не определено.

Исследование носит нормативно-методологический характер: авторы не имели доступа к внутренним обучающим наборам разработчиков и не приписывают нарушений какой-либо организации. Внешняя проверка не гарантирует полного восстановления обучающего корпуса, а дальнейшая программа предусматривает эмпирическую оценку фильтров на нескольких языках и сравнительный анализ практики государств ЕС.

Полный текст документа
ARGA Observatory

Правила цитирования

  1. Обязательное указание источникаПри использовании материалов ARGA Observatory необходимо указывать полное название.
  2. Указание даты и версииДля аналитических отчётов обязательно указывать год публикации.
  3. Ссылка на оригиналЭлектронные материалы должны сопровождаться активной ссылкой на официальный сайт.
  4. Соблюдение контекстаЦитаты не должны сокращаться или изменяться таким образом, чтобы искажать смысл.
  5. Отдельная отметка при адаптацииЕсли текст сокращён или переведён, необходимо указать: «адаптировано из отчёта ARGA».
  6. Запрет на коммерческое использование без письменного разрешения организации
  7. Сохранение точности данныхГрафики и таблицы должны воспроизводиться без изменений.
Конфиденциальное обращение

Задайте вопрос экспертам ARGA

Четыре коротких шага. Ответим в течение рабочего дня.

Шаг 1 из 4
С какой ситуацией вы столкнулись?
На какой стадии дело?
Опишите ситуацию
Это поле можно пропустить.
Как с вами связаться?
Обращение уходит напрямую экспертам ARGA. Мы не публикуем и не передаём его третьим лицам.
Официальная регистрация
ARGA в международных реестрах
UNGM ID
1232417
ARGA зарегистрирована в системе закупок ООН.
Смотреть подтверждение
UN Global Compact
213173
Участник Глобального договора ООН.
ADB GMS Number
049963
Азиатский банк развития — зарегистрированный участник.
Прокрутить вверх