Объяснимый искусственный интеллект

Что такое объяснимый искусственный интеллект?

Объяснимый искусственный интеллект (XAI) — это название совокупности методов и приёмов, которые обосновывают решения систем искусственного интеллекта в понятной для человека форме. Модели искусственного интеллекта всё чаще участвуют в процессах принятия решений в таких критически важных сферах, как финансы, здравоохранение, право и управление персоналом. Однако подавляющее большинство этих моделей работает как «чёрный ящик»: со стороны невозможно понять, как модель пришла к тому или иному результату, какие данные и каким образом она оценила. Объяснимый искусственный интеллект стремится сделать этот чёрный ящик прозрачным.

Эта потребность проявляется наиболее наглядно в финансовых решениях. Если система отклоняет заявку на кредит, помечает расход как не соответствующий политике или останавливает оплату счёта, посчитав его подозрительным, то видеть обоснование этого решения — право как человека, которого оно затрагивает, так и финансовой команды, которой придётся это решение отстаивать. Решение, обоснование которого нельзя показать, каким бы точным оно ни было, порождает внутри компании не доверие, а трение.

Почему объяснимость критична в финансовых решениях?

В процессах управления расходами искусственный интеллект теперь используется для трёх основных задач: автоматически классифицировать расходы, выявлять необычные операции и проверять соответствие политике расходов. Общее у этих трёх задач следующее: результат напрямую затрагивает деньги сотрудника, ответственность руководителя за согласование и аудиторское досье компании. Именно поэтому в финансовых операциях объяснимость — это не предпочтение, а предварительное условие работы:

• Доверие к согласованию: руководители доверяют решению, когда видят обоснование предложения системы «согласовать» или «отклонить»; когда они его не видят, они начинают заново вручную проверять каждое предложение, и время, сэкономленное автоматизацией, снова теряется.
• Справедливость к сотруднику: сотрудник, чей расход отклонён, должен получить не ответ «так сказала система», а конкретное обоснование, например «статья проживания превышает верхний предел, установленный политикой команды». Отказ без обоснования подрывает доверие к процессу расходов.
• Аудиторский след: когда внутренний или независимый аудит спрашивает, почему расход был помечен или одобрен, необходимо иметь возможность задним числом показать, на какое правило и на какие данные опиралось решение.
• Выявление ошибок и предвзятости: когда обоснование решения видно, рано замечают и исправляют случаи, когда модель зациклилась на неверной закономерности (например, систематически считает подозрительными расходы определённого подразделения).
• Соответствие требованиям регуляторов: Закон Европейского союза об искусственном интеллекте требует, чтобы в системах высокого риска решения были обосновываемыми и проверяемыми; в Турции законодательство о защите персональных данных также гарантирует право граждан на информирование в процессах автоматического принятия решений.

Видимое обоснование при согласовании расходов

В классическом процессе согласования руководитель видит только сумму и категорию статьи расходов и принимает решение интуитивно. В процессе же с поддержкой искусственного интеллекта система формирует предложение по каждой статье. Объяснимость здесь означает: показывать вместе с предложением и факторы, которые его породили.

Например, рядом с предложением «эту статью расходов следует проверить» перечисляются такие обоснования, как несовпадение даты чека с датами поездки, значительное превышение суммой прошлых расходов той же категории или использование того же чека ранее в другом отчёте. Тем самым руководитель не делегирует решение, а принимает ускоренное и обоснованное решение. Это различие важно: в хорошо выстроенной системе последнее слово всегда за человеком, а искусственный интеллект лишь готовит решение.

Ещё одно преимущество видимого обоснования — на стороне бюджета. Когда можно отчитаться, какие расходы и по каким причинам застряли, финансовая команда видит пробелы в тексте политики и обновляет планирование бюджета в соответствии с реальным поведением расходов.

Прозрачность в выявлении аномалий: «почему именно эта операция?»

Самый большой риск систем, отлавливающих необычные расходы, — генерировать оповещения без обоснования. Оповещение без обоснования обходится дорого в обоих направлениях: ложные тревоги отнимают время финансовой команды, и через некоторое время все предупреждения начинают игнорировать; а когда отлавливается настоящее злоупотребление расходами, то без показанного обоснования вопрос к сотруднику остаётся необоснованным.

Объяснимое выявление аномалий помещает рядом с каждым предупреждением ответ на вопрос «почему эта операция необычна»: дублирующийся чек, деловой обед, выпавший на выходные, повторяющиеся расходы, вплотную подбирающиеся к верхнему пределу политики, и тому подобное. Так предупреждение становится не обвинением, а находкой, которую предстоит рассмотреть вместе. Финансовая команда знает, что и почему она проверяет; сотрудник видит, с чем он столкнулся; а аудитор подтверждает по записям, что процесс работает по правилам, а не произвольно.

Готовый к аудиту искусственный интеллект: запись, обоснование, обжалование

У того, чтобы сделать объяснимость постоянной в финансовых операциях, есть три практические опоры:

• Запись решений: каждое предложение, данное искусственным интеллектом, должно фиксироваться вместе с датой, данными, на которые оно опирается, и применённым правилом. В момент аудита вопрос «почему система в тот день приняла именно такое решение» должен получать ретроспективный и исчерпывающий ответ.
• Объяснение в зависимости от стейкхолдера: обоснование одного и того же решения должно предоставляться разным аудиториям с разной глубиной. Сотрудник ждёт понятного обоснования в одну фразу, финансовая команда — выкладки правил и данных, аудитор — сквозную прослеживаемую запись.
• Механизм обжалования: для каждого автоматически помеченного решения должен оставаться открытым путь обращения к человеку. Обжалования одновременно являются самым ценным источником обратной связи, показывающим ошибки модели.

Эта триада превращает объяснимость из технической функции в корпоративный договор о доверии: система предлагает решение, показывает его обоснование, ведёт его запись и оставляет последнее слово человеку.

Часто задаваемые вопросы

Снижает ли объяснимость скорость согласования расходов?

Напротив, повышает. Предложения без обоснования вынуждают руководителя вручную проверять каждую статью; обоснованные же предложения позволяют останавливаться только на действительно подозрительных статьях. Объяснение — это предварительное условие того, чтобы автоматизацию можно было использовать с доверием.

Каждый ли расход, помеченный искусственным интеллектом, является злоупотреблением?

Нет. Пометка — это не приговор, а призыв к проверке. Дублирующийся чек чаще всего возникает по невнимательности, превышение политики — чаще всего из-за неактуального правила. Объяснимость как раз и позволяет быстро провести это различие.

Применимо ли это к малому и среднему бизнесу?

Да. Даже если объём расходов невелик, проблема решений без обоснования та же. Готовые решения по управлению расходами предоставляют показ правил и обоснований в своём составе, поэтому не требуют дополнительных инвестиций в разработку.

В чём самая большая сложность объяснимости?

Это баланс между точностью и понятностью. Более сложные модели обычно дают более точный результат, но показать их обоснование становится труднее. В финансовых процессах баланс должен строиться на той стороне, где обоснование можно показать; ведь решение, которое нельзя защитить, даже будучи точным, не имеет ценности при аудите и в глазах сотрудника.

Сделайте свои решения о расходах прозрачными

Объяснимый искусственный интеллект — это инфраструктура доверия в финансовых операциях: согласования ускоряются, предупреждения становятся обоснованными, аудиторское досье формируется само собой. Решение Masraff по управлению расходами предлагает свои умные возможности — от классификации расходов до контроля политики — на основе этого принципа прозрачности. Чтобы увидеть свои процессы на месте, свяжитесь с нами.