Независимый аудит искусственного интеллекта
Доклад посвящён независимому аудиту систем искусственного интеллекта и вопросу о том, при каких условиях вывод о конкретном юридически значимом свойстве системы можно обосновать и воспроизвести. Исходный тезис: формула «система прошла аудит» без указания объекта, версии, критериев и ограничений не сообщает, что именно установлено. Поэтому проверка строится от утверждения к процедуре: определяются объект, критерий, пользователь результата и доказательства, способные подтвердить или опровергнуть вывод.
Исследование сопоставляет основания проверок в ЕС, США и Великобритании: процедуры оценки соответствия по Регламенту ЕС об искусственном интеллекте, независимые аудиты крупных платформ по европейскому режиму цифровых услуг, правила Нью-Йорка об аудите инструментов автоматизированных кадровых решений. Отдельно рассматриваются стандарты и выбор критериев, независимость и конфликт интересов, компетентность команды, условия доступа и цепочка поставщиков.
Значительная часть доклада посвящена доказательственной методологии: происхождению и сохранности доказательств, качеству данных, выборке и проектированию испытаний, статистической неопределённости, предвзятости, объяснимости и человеческому контролю, информационной безопасности, защите персональных данных и воспроизводимости. На примере генеративного юридического помощника разбирается, какие ошибки считаются существенными: подмена заявления стороны установленным фактом, применение неприменимой нормы, вымышленная ссылка. Доклад подчёркивает, что отсутствие найденного инцидента, отсутствие доступа к сведениям и подтверждённое отсутствие действия — разные состояния, и в заключении они отражаются раздельно.
Главный вывод: обоснованный аудит требует согласованности измерения, статистического вывода и решения о применении системы, а положительная средняя динамика не компенсирует неустранённую критическую ошибку. Основной риск рынка авторы видят в разрыве между узким результатом проверки и широким обещанием: сертификат организации, отдельный тест и правовая экспертиза имеют разные предметы и не заменяют друг друга.
Для ARGA предлагаются ограниченный пилот — проверка юридического помощника, который обобщает досье с указанием источников, — и минимальная система качества с реестрами заданий, доказательств, конфликтов интересов и находок. Доклад прямо оговаривает, что это предложение: ARGA ещё не провела такие испытания и не получила официального статуса, а эффективность методики подлежит отдельной проверке.
Правила цитирования
- Обязательное указание источникаПри использовании материалов ARGA Observatory необходимо указывать полное название.
- Указание даты и версииДля аналитических отчётов обязательно указывать год публикации.
- Ссылка на оригиналЭлектронные материалы должны сопровождаться активной ссылкой на официальный сайт.
- Соблюдение контекстаЦитаты не должны сокращаться или изменяться таким образом, чтобы искажать смысл.
- Отдельная отметка при адаптацииЕсли текст сокращён или переведён, необходимо указать: «адаптировано из отчёта ARGA».
- Запрет на коммерческое использование без письменного разрешения организации
- Сохранение точности данныхГрафики и таблицы должны воспроизводиться без изменений.
Задайте вопрос экспертам ARGA
Четыре коротких шага. Ответим в течение рабочего дня.