ИИ не отнимает работу у экспертов – он возвращает им время

Дмитрий Улыбин – инженер машинного обучения, который создает системы для работы с текстами и документами. Сегодня его разработки помогают бухгалтерам работать с налоговыми документами, инженерам разбираться с сообщениями об уязвимостях, а разработчикам быстрее создавать новые ИИ-системы. «Экспресс газета» поговорила с экспертом о том, какую работу действительно стоит отдавать машине, почему большая нейросеть нужна далеко не всегда и как искусственный интеллект меняет работу специалистов.

— Вы говорите, что ИИ не отнимает работу у экспертов, а возвращает им время. Откуда появилась эта идея?

Дмитрий Улыбин: Она появилась из практики, поскольку в реальной работе специалист далеко не все время тратит непосредственно на экспертизу. Очень большая часть дня уходит на подготовку: собрать документы, проверить их комплектность, найти нужную информацию, разложить ее по категориям, составить типовой список.

Я пять лет руководил юридическим отделом и хорошо помню эту сторону работы. Поэтому, когда пришел в машинное обучение, мне было интересно не просто сделать систему, которая умеет что-то предсказывать или генерировать текст. Мне хотелось понять, какую часть работы специалист действительно готов отдать машине. Я измеряю пользу любой своей системы в одной единице: сколько часов дорогого специалиста она вернула. Не в точности модели и не в количестве нейронов. Если бухгалтер тратил на задачу тридцать минут, а теперь пять, это и есть результат. Все остальное – технические подробности.

— Один из ваших самых показательных проектов связан именно с бухгалтерами. Что там удалось автоматизировать?

Дмитрий Улыбин: Перед налоговым сезоном бухгалтерской фирме нужно подготовить для каждого клиента список документов, которые тот должен предоставить. Чтобы его составить, специалист открывал прошлогоднюю налоговую декларацию, иногда на десятки страниц, изучал ее и вручную выписывал необходимые формы и документы. На одного клиента уходило примерно полчаса.

Мы построили систему, которая читает прошлогоднюю декларацию, определяет, какие формы и источники дохода в ней есть, и формирует персональный список документов. Бухгалтеру остается проверить его и отправить клиенту. В результате работа, занимавшая около тридцати минут, стала занимать примерно пять. Это уже не самостоятельный разбор документа, а проверка результата.

За время работы система сформировала более 75 тысяч таких списков для более чем двух тысяч бухгалтерских фирм. В пересчете на высвобожденное время это более 30 тысяч часов работы бухгалтеров за сезон. Если считать по клиентской ставке порядка 150 долларов в час, речь идет примерно о 4,5 миллиона долларов оплачиваемого времени. Важно понимать: это не деньги, которые компании получили на счет, а стоимость времени специалистов, которое можно было направить на другую работу.

— Получается, основную работу сделала нейросеть?

Дмитрий Улыбин: Не совсем и это как раз интересный момент. Нейросеть читает документ, но самая полезная часть системы не она. Вместе с бухгалтерами мы составили правила, по которым определяем, какие документы нужны человеку в зависимости от того, что есть в его декларации. Если бы мы просто попросили нейросеть «догадаться», что понадобится конкретному клиенту, мы получили бы красивую демонстрацию, но не систему, которой бухгалтер готов доверять.

Для экспертной работы важно понимать, откуда взялся результат. Бухгалтер видит список и может проверить, почему в нем появился тот или иной документ. Кроме того, налоговые декларации содержат конфиденциальную информацию. Разработчики не должны просто брать реальные документы клиентов и использовать их для обучения. Поэтому для разработки и первоначальной проверки мы использовали искусственно созданные документы, похожие по структуре на настоящие.

Это оказалось даже полезно. Когда у тебя нет возможности просто посмотреть на тысячи реальных документов, ты вынужден гораздо лучше разобраться в самой задаче, а не заучивать готовые примеры. Этот проект мы создавали в компании TaxDome с нуля – без готовой инфраструктуры и накопленных данных. От постановки задачи до выхода системы в работу прошло около полугода.

— Вы работали не только с бухгалтерами, но также вы занимались системой безопасности. С какой проблемой вы работали?

Дмитрий Улыбин: В данном случае была противоположная ситуация. У компании много программных продуктов, которые постоянно проверяются системами безопасности. Такие сканеры находят уязвимости, но далеко не каждое сообщение действительно означает проблему. Около 70% сообщений оказывались ложными тревогами.

Для инженера это большая проблема. Представьте сигнализацию, которая срабатывает каждый раз, когда мимо дома пробегает кошка. Первые несколько раз вы проверите, что произошло. Потом начнете отключать звук. В программной безопасности происходит примерно то же самое.

В МТС RED мы сделали систему, которая отсеивала такие ложные срабатывания до того, как сообщение попадало к инженеру. В результате поток задач для ручного разбора сократился примерно на 70%. И здесь я понял важную вещь: в экспертной работе иногда сначала нужно автоматизировать не поиск проблемы, а фильтр шума. Если девять сигналов из десяти оказываются пустыми, человек постепенно перестает доверять системе. И в какой-то момент может пропустить десятый – настоящий.

— Но разве автоматизация не создает риск, что система отсеет вместе с ложными и настоящую угрозу?

Дмитрий Улыбин: Именно поэтому нельзя просто сказать: «Пусть машина сама решает». Я придерживаюсь простого принципа: машина может подготовить, предложить, отсортировать. Но там, где действие необратимо – отправить что-то клиенту, удалить информацию, списать деньги, принять решение с серьезными последствиями, последнее слово должно оставаться за человеком. Граница доверия к машине должна быть спроектирована заранее, а не обнаружена после первой ошибки.

— Сейчас много говорят о том, что искусственный интеллект должен быть максимально самостоятельным. Почему вы не спешите отдавать ему окончательные решения?

Дмитрий Улыбин: Потому что самостоятельность машины сама по себе не является целью. Если система способна подготовить для человека 90% работы и сделать это быстро и надежно, она уже приносит огромную пользу. Не обязательно заставлять ее делать последние 10%, если именно там начинается зона ответственности эксперта. Более того, человек должен понимать, что произошло. В хорошем инструменте ИИ не прячет результат за магией нейросети. Он должен давать специалисту возможность проверить его и при необходимости изменить.

— Вы говорите о скорости как об одном из главных критериев. Разве точность не важнее?

Дмитрий Улыбин: Сначала система, конечно, должна достичь необходимого уровня качества. Но после этого еще один процент точности может оказаться менее важным, чем скорость. Эксперт не будет ждать. Если инструмент думает дольше, чем человек сделал бы ту же задачу руками, им просто не будут пользоваться, даже если он почти не ошибается.

Это особенно хорошо видно на повторяющихся операциях. Человек должен чувствовать, что инструмент действительно ускоряет его работу, а не создает еще один этап, который нужно обслуживать. Поэтому я смотрю сразу на несколько вещей: насколько система надежна, сколько она стоит, как быстро работает и сколько времени специалиста она освобождает.

— А правда ли, что для таких задач обязательно нужны самые большие и современные нейросети?

Дмитрий Улыбин: Нет, иногда это как раз одна из самых дорогих ошибок. Большая универсальная модель хорошо подходит для задач, где действительно нужна широта возможностей: сложная работа с текстом, поиск связей, многоэтапное выполнение задачи. Но если нам нужно выполнять одну повторяющуюся операцию, часто достаточно небольшой специализированной модели или вообще обычного набора правил. Никто не вызывает башенный кран, чтобы повесить полку. С нейросетями почему-то считается иначе. Поэтому я всегда начинаю не с вопроса о том, какую модель мы будем использовать, а с того, какую проблему мы решаем. Иногда после этого выясняется, что машинное обучение здесь вообще не нужно.

— Вы сами пришли в машинное обучение не из технической сферы. Как вообще бывший руководитель юридического отдела оказался в ИИ?

Дмитрий Улыбин: Я пришел в профессию в 31 год. До этого пять лет руководил юридическим отделом. Компания, в которой я работал, в один день лишилась лицензии и закрылась. И в этот момент я понял, что юриспруденция во многом была выбрана за меня, а профессию я впервые могу выбрать сам. После этого я около года учился самостоятельно по ночам: Python, статистика, линейная алгебра, участвовал в соревнованиях по анализу данных.

Первую работу в машинном обучении нашел довольно случайно – на встрече специалистов по анализу данных в пиццерии. Я сказал, что я бывший юрист, и услышал: «Нам нужны люди со знанием юридической предметной области». В итоге попал совсем на другой проект, но в профессию вошел. Через несколько лет стал старшим инженером в ведущей телеком-компании, а затем начал с нуля строить направление машинного обучения в другой компании.

— Помогает ли вам сегодня юридическое прошлое?

Дмитрий Улыбин: Очень сильно, из юриспруденции я вынес одну важную вещь: большая часть работы эксперта – это не сама экспертиза, а подготовка к ней. Юристу нужно собрать документы, проверить их комплектность, найти нужный пункт, сопоставить информацию. Бухгалтер работает с огромным количеством документов. Инженер по безопасности разбирает поток сообщений и пытается понять, какие из них действительно требуют его внимания.

Я сам годами выполнял такую работу руками, поэтому понимаю, какую ее часть человек готов отдать машине без сожаления. И это, на мой взгляд, гораздо интереснее, чем просто попытка сделать очередного универсального чат-бота.

— А что происходит с самими разработчиками ИИ? Они тоже используют искусственный интеллект для своей работы?

Дмитрий Улыбин: Конечно, иначе это было бы довольно странно. В нашей команде ИИ помогает писать типовой код, создавать искусственные данные, делать первоначальную разметку примеров. Человек при этом остается в процессе: проверяет результат, исправляет ошибки, принимает решения. Получается своего рода внутренний тест. Прежде чем экономить время бухгалтеров или других специалистов, ИИ должен экономить время нам самим. Если инженеры, которые строят такие системы, не готовы доверить им рутинную часть собственной работы, почему им должен доверять бухгалтер?

— Вы много говорите о пользе, но наверняка сталкивались с ситуациями, когда люди не принимали даже правильные решения машины.

Дмитрий Улыбин: Да и это один из самых интересных выводов из практики. Когда мы разбирались, почему пользователи возвращают старые названия автоматически переименованных документов, увидели, что пользователи иногда возвращали старое название файла. Сначала кажется, что модель ошиблась. Но когда начинаешь разбираться, выясняется: новое название было правильным, просто человека устраивало старое. Модель была права, а человек все равно сказал: «Верни как было». Для меня это очень важное наблюдение. Правильность и полезность – не одно и то же. Можно построить систему, которая технически идеально выполняет поставленную задачу, но при этом мешает человеку работать привычным способом. И тогда пользователи будут сопротивляться даже очень точному инструменту.

— Получается, главный показатель хорошего ИИ – не точность самой модели?

Дмитрий Улыбин: Точность важна, но сама по себе она ничего не гарантирует. Можно иметь великолепную модель, которая решает задачу на 99 процентов, но если ее ответ приходится ждать пять минут, специалист будет продолжать делать все вручную. Можно сделать систему, которая идеально переименовывает документы, но пользователю это не нужно. Можно автоматически находить все возможные уязвимости, но если девять из десяти сообщений – ложные, инженер перестанет читать отчеты. Поэтому я возвращаюсь к простому вопросу: сколько времени дорогого специалиста система действительно вернула? Это самый честный показатель.

— А как понять, что компания уже опоздала с перестройкой своих процессов?

Дмитрий Улыбин: Перестройку нужно начинать не тогда, когда система перестала работать, а тогда, когда стоимость изменений начинает расти быстрее сложности самих задач. Первые признаки обычно заметны. Простая функция требует изменений сразу в нескольких несвязанных местах. Оценка небольшой задачи постоянно увеличивается из-за возможных побочных эффектов. Релизы требуют все больше ручных проверок. Разработчики боятся менять отдельные участки кода. Знания о системе сосредоточены у одного-двух человек. Еще один тревожный сигнал – когда команда постоянно говорит: «Сейчас не время трогать эту часть системы». Если это продолжается несколько кварталов, технический долг уже начинает влиять на развитие продукта.

Компания действительно опоздала тогда, когда архитектура начинает диктовать бизнесу, что он может или не может запустить. Но даже в этот момент я бы не советовал все бросать и переписывать с нуля. Нужно найти самые дорогие и рискованные места и постепенно менять их, не останавливая работающий продукт.

— Почему полный отказ от старой системы кажется таким привлекательным решением?

Дмитрий Улыбин: Потому что старый код часто выглядит страшно человеку, который приходит в проект сегодня. Хочется сказать: «Давайте просто выбросим все и напишем нормально». Но за старым решением может стоять важная причина, о которой мы уже забыли. Иногда технически не самое красивое решение защищает реальный пользовательский сценарий или бизнес-правило. Поэтому хороший инженер сначала исследует систему, а уже потом ее меняет. Для меня работа с унаследованным кодом вообще не про борьбу со старым. Цель не в том, чтобы избавиться от всего, что было написано раньше. Цель – снова сделать систему пригодной для безопасных и предсказуемых изменений.

— Как, на ваш взгляд, в ближайшие годы изменится роль человека в работе с ИИ?

Дмитрий Улыбин: Мне кажется, мы будем все меньше платить людям за подготовительную работу и все больше – за способность принимать решения. Машина уже хорошо справляется с сортировкой, поиском, подготовкой черновика, первичным анализом большого объема информации. Но ответственность, понимание контекста, разговор с клиентом, выбор между несколькими неоднозначными вариантами – это то, что остается на стороне человека и, скорее всего, будет становиться еще ценнее.

Поэтому я не думаю, что главный вопрос звучит как «заменит ли ИИ человека». Гораздо интереснее спросить: какую часть своей работы человек больше не должен делать вручную? Если автоматизация отвечает на этот вопрос правильно, она не отнимает у специалиста профессию. Она возвращает ему время на ту работу, ради которой его вообще наняли.

Василий Черный