IVENTURER RESEARCH · ИИ · УПРАВЛЕНИЕ РИСКАМИ
В Zillow ошибка прогноза превращалась в дом, который компания уже купила. В австралийской системе Robodebt ошибка исходного допущения превращалась в долг, который требовали вернуть. Между этими историями мало технического сходства. Зато у них один управленческий вопрос: кто и в какой момент решил, что расчёта достаточно, чтобы действовать?
В статье 15 примеров из бизнеса и публичного сектора. Среди них есть документированные сбои, остановленные пилоты, смена продуктового формата и один эпизод, который требует подтверждения. Robodebt и SyRI разбираем как случаи алгоритмической автоматизации. У каждого примера свой уровень доказательности.
Zillow. Прогноз оказался на балансе
Zillow Offers покупала дома и затем перепродавала их. В ноябре 2021 года Zillow объявила о сворачивании направления. В отчёте за III квартал компания сообщила примерно о $304 млн списания стоимости запасов по Zillow Offers. Объявленный план закрытия предусматривал сокращение численности сотрудников Zillow примерно на 25% в течение нескольких кварталов. Это разные показатели: первый относится к стоимости запасов в конкретном квартале, второй — к плану по всей компании. Письмо акционерам Zillow за III квартал 2021 года.
Руководство Zillow объясняло решение тем, что неопределённость прогноза цен оказалась выше ожидаемой, а масштабирование создавало бы слишком большую волатильность прибыли и баланса. Прогноз цены и решение купить объект требуют разных порогов уверенности. Во втором случае к ошибке оценки добавляются время перепродажи, стоимость ремонта, расходы на содержание и риск того, что спрос снизится сразу в нескольких районах. Электронная таблица закрывается одним кликом. Дом — по договору, с расходами и покупателем на другом конце сделки.
На инвестиционном комитете я бы просил показать, сколько сделок компания успеет заключить между первыми признаками ошибки и остановкой закупок. Средняя точность модели на прошлых данных этого не покажет. Нужны лимиты на объём покупок и концентрацию по рынкам, а также условия остановки, которые срабатывают, пока компания ещё может выбирать. Смежный вопрос о том, какие решения человек сохраняет за собой, мы разбирали в материале об организации работы с ИИ. Мир в 2036 и 2046 годах.
Air Canada. У сайта оказалось две версии одного правила
Пассажир Джейк Моффатт получил от чат-бота Air Canada неверную информацию о возможности запросить льготный тариф после поездки. Трибунал по гражданским спорам Британской Колумбии установил, что пассажир разумно полагался на ответ сайта, и присудил 812,02 канадского доллара с учётом компенсации, процентов и сборов. В центре дела было конкретное вводящее в заблуждение сообщение на сайте авиакомпании. Moffatt v. Air Canada, 2024 BCCRT 149.
Когда тариф меняется, кто обновляет ответ бота и как компания узнаёт, что новый ответ совпал с опубликованными условиями? Для тарифов, возвратов и гарантий нужен один утверждённый источник правил, дата его версии и возможность передать спорный случай сотруднику. В тесте стоит попросить бота объяснить одно условие пятью разными способами. Клиенту достаточно одного уверенного ответа, чтобы купить билет.
Tay и Gemini. Публичная среда меняет условия теста
В 2016 году Microsoft выпустила Tay в Twitter и быстро отключила бота после публикации оскорбительных сообщений. Компания сообщила, что группа пользователей целенаправленно использовала уязвимость. История показывает, насколько отличается тест с добросовестными участниками от запуска, где аудитория заодно проверяет, чем систему можно спровоцировать. Для публичного агента это полноценный сценарий эксплуатации. Разбор запуска Tay от Microsoft.
В феврале 2024 года Google временно приостановила генерацию изображений людей в Gemini. Компания описала две проблемы: в одних случаях настройки приводили к фактическим ошибкам, в других модель чрезмерно осторожно отказывалась выполнять обычные запросы. У генератора изображений могут быть разные требования для исторической иллюстрации и вымышленной сцены. Проверять их одной оценкой качества удобно до первой попытки выяснить, почему пользователь получил отказ или неверное изображение. Объяснение Google о генерации изображений.
Для запуска нужны отдельные тесты на злоупотребление, фактическую точность и необоснованные отказы. Полезно заранее знать, можно ли отключить одну функцию, сколько займёт откат и кто уполномочен принять решение в выходной. Кнопка остановки приобретает ценность в тот момент, когда на её поиски уже нет времени. Как небольшие команды распределяют такие обязанности, мы разбирали в материале о компаниях из одного человека и ИИ-агентов.
Ещё четыре случая из бизнеса
IBM Watson for Oncology. Клиническая рекомендация требует клинической проверки
Внутренние материалы, изученные STAT, описывали случаи потенциально небезопасных рекомендаций Watson for Oncology. Это сообщения о работе системы без подтверждённой частоты ошибок в реальной практике или данных об исходах пациентов. В 2022 году IBM объявила о продаже части активов Watson Health компании Francisco Partners. Условия сделки не раскрывались. Сообщение IBM о сделке. Для клиники важнее всего проверить рекомендации на собственных типах случаев и локальных протоколах. Расследование STAT.
Amazon. Резюме и память о прежнем найме
По данным Reuters, экспериментальный инструмент Amazon по оценке резюме усваивал закономерности исторических данных. Среди признаков, за которые он мог снижать оценку, были формулировки со словом women’s. Reuters описывает внутренний эксперимент, а масштаб влияния на фактические решения о найме публично не установлен. Проверка начинается с вопроса, что историческая оценка вообще измеряет: пригодность к работе или сходство с теми, кого уже нанимали. Расследование Reuters.
McDonald’s. Заказ через окно оказался сложнее демо
В 2024 году McDonald’s прекратила испытание голосового приёма заказов с IBM. AP описывало жалобы на неверно распознанные заказы и приводило позицию компаний об окончании конкретного пилота. Ролики с ошибками показывают, что такой сбой возможен, а его частоту можно узнать только из журналов заказов. Для ресторана метрика проста: сколько заказов дошло до выдачи без повторного разговора, ручной правки или возврата. AP о завершении пилота.
Amazon Just Walk Out. Один магазин, разные способы расчёта
Amazon стала продвигать Dash Cart в больших продуктовых магазинах, а Just Walk Out продолжила развивать в компактных форматах и у партнёров. Для покупателя с полной тележкой полезно видеть сумму и скидки по ходу покупок. На стадионе за бутылкой воды ценность может быть в скорости прохода. Кейс показывает, как формат меняет экономику и пользу технологии. Публичных данных для вывода об убыточности всей системы недостаточно. Объяснение Amazon.
Госуслуги. Прогноз, сигнал риска и решение имеют разные последствия
Австралия, Robodebt. Система использовала усреднение налоговых данных для расчёта дохода в двухнедельных периодах, от которых зависел размер пособия. При нерегулярной занятости годовой доход сам по себе не показывал, сколько человек получил в конкретные две недели. Если нет фактических данных за нужный период, усреднение может дать повод проверить дело. В Robodebt этот метод применяли для расчёта предполагаемых долгов. Последствия и решения ведомств подробно разобрала королевская комиссия. Отчёт Королевской комиссии по Robodebt.
Нидерланды, детские пособия. В 2021 году нидерландский регулятор по защите данных оштрафовал налоговую службу на €2,75 млн за незаконную и дискриминационную обработку данных о гражданстве заявителей. Регулятор отдельно установил, что признак «нидерландское или иное гражданство» использовали для автоматической оценки риска. Здесь вопрос возникает до измерения точности: зачем системе нужен этот признак и на каком основании его применяют? Решение и разъяснение нидерландского регулятора.
Нидерланды, SyRI. В отдельном деле суд Гааги в 2020 году признал, что правовое регулирование системы выявления рисков мошенничества SyRI не соответствует статье 8 Европейской конвенции о правах человека. Суд рассмотрел соразмерность вмешательства в частную жизнь и недостаточную прозрачность системы. Сама цель борьбы с мошенничеством не освобождает ведомство от обязанности обосновать объём сбора и использования данных. Решение суда Гааги по SyRI.
В госуслугах возможность оспорить решение стоит проектировать одновременно с автоматизацией. Человеку нужно узнать, какие сведения повлияли на решение, исправить ошибку и получить пересмотр в срок, который имеет смысл для его ситуации. Подпись сотрудника под выводом системы мало помогает, если сотрудник видит тот же балл риска и не имеет доступа к материалам дела.
Ещё четыре случая из публичного сектора
Великобритания, Home Office. Ошибка в пересказе интервью
Министерство тестировало подготовку кратких пересказов интервью об убежище и поиск по страновым материалам. По данным проверок, полученным через запросы о свободе информации и описанным The Register, более одной пятой проверенных экспертами резюме не прошли проверку точности. Публикация данных проверки. Это результат проверенной выборки. Из него нельзя вычислить долю ошибочных решений по заявлениям. В деле об убежище особенно опасно, когда из краткого текста исчезает существенная оговорка. Сотрудник должен сверять существенные обстоятельства с записью или стенограммой. Оценка испытаний Home Office.
Великобритания, Capita. Пенсии и обещания автоматизации
При переходе к новому администратору пенсионной схемы госслужащих парламент и аудиторы разбирали готовность процессов, обязательства подрядчика и качество обслуживания. Аудит NAO 2025 года указывал, что конкретные этапы цифровизации тогда ещё не были зафиксированы. Позднее парламент обсуждал исполнение контракта после передачи сервиса Capita. Эти материалы описывают проблемы перехода и контроля. Прямую причинную связь с конкретной моделью ИИ они не устанавливают. Письмо парламентскому комитету о работе пенсионной службы.
Deloitte. Библиография тоже часть поставки
В Австралии ведомство опубликовало обновлённую версию обзора, подготовленного Deloitte. AP сообщило об ошибочных ссылках, исправлении текста и частичном возврате оплаты. Сообщение AP. В канадской провинции Ньюфаундленд и Лабрадор пресса отдельно сообщила об исправлениях ссылок в отчёте о кадрах здравоохранения. Сообщение Canadian Press. Deloitte Canada заявила, что использовала ИИ для части ссылок и сохранила рекомендации отчёта. Австралийский возврат нельзя автоматически приписывать канадскому контракту. Для заказчика проверка начинается с простого действия: открыть ссылку и найти утверждение в источнике. Опубликованный австралийским ведомством отчёт.
Россия, Госуслуги. Причину отказа нужно установить
В черновике описана жалоба на отказ в пособии из-за различия между формулировками «не замужем» и «разведена». Публичного решения или материалов дела, по которым можно подтвердить этот эпизод и роль автоматизации, найти не удалось. Здесь возможны ошибка в данных, условие назначения пособия или сбой передачи сведений. Отличить их можно по уведомлению об отказе и данным, на которых основано решение. Этот пункт остаётся сигналом для проверки, а не подтверждённым внедрением ИИ. СФР о правилах назначения единого пособия.
Пять вопросов перед запуском
- Какое действие запускает результат? Черновик для сотрудника и автоматическое списание денег требуют разных условий допуска.
- На каких случаях система ошибается чаще? Проверьте редкие события, смену рыночного режима, неравномерный доход и различия между группами пользователей.
- Кто может остановить действие? Укажите конкретную роль, дайте доступ к исходным данным и право отменить решение.
- Как обнаруживается ущерб? Вместе со скоростью и экономией измеряйте ошибочные отказы, повторные обращения, отмены и время до исправления.
- Что произойдёт после сбоя? Проверьте на практике, можно ли остановить новые действия, найти затронутых людей и восстановить корректное состояние.
Где ИИ даст вашему бизнесу измеримый результат?
Обсудим задачу, экономику внедрения и первый пилот с понятными критериями успеха.
По материалу: Когда ИИ даёт сбой. 15 примеров из бизнеса и госуслуг
