AI-агенты, кто вы такие? Собрали мнение рынка

AI-агент — это программа-обертка над LLM, которая может взаимодействовать с окружающей средой и сохранять свое состояние. Это позволяет ей взаимодействовать с LLM более сложным, чем просто в формате «‎запрос-ответ»‎, образом: строить цепочки запросов, использовать LLM-судей и тому подобное.

В индустрии AI-агентов чаще всего понимают как системы на базе LLM, способные действовать самостоятельно и принимать решения на основе широкого контекста. Такой агент должен уметь: понимать и интерпретировать задачи, сформулированные пользователем в тексте, разбивать задачу на этапы, самостоятельно выбирать внешние сервисы для ее выполнения, искать ответы в интернете и внутренних источниках и принимать решения в зависимости от контекста. Развитие технологий пока не позволяет создавать полностью автономных агентов, которые способны выполнять сложные задачи вообще без контроля человека.

Главное отличие AI-агента от обычной программы — автономность и способность к адаптации. Обычная программа выполняет фиксированные инструкции, а AI-агент может учиться, менять свое поведение в зависимости от среды и даже формулировать новые гипотезы для решения задачи.

Мы рассматриваем автономность как способность агента решать максимально широкий спектр задач, используя предоставленные ему инструменты и самостоятельно выбирая, какие из них применять в конкретной ситуации. Наши AI-агенты пока далеки от полной автономности, в том числе по соображениям безопасности, но мы активно работаем в этом направлении.

Для нас AI-агент — это система на базе языковой модели, способная самостоятельно принимать решения, планировать свои действия и использовать внешние инструменты для выполнения задач без заранее определенного сценария. Наш основной критерий автономности — способность агента самостоятельно адаптироваться к неизвестным заранее условиям, выбирать подходящие инструменты и корректировать план действий в зависимости от промежуточных результатов.

AI-агент — это запрос к большой языковой модели, выполняющий какую-либо задачу end-to-end. Чтобы AI-агент считался автономным, он должен быть самодостаточным и работать с минимальным вмешательством человека. Также он должен быть самосогласованным и генерировать несколько возможных путей рассуждения при решении задачи. Важна и саморефлексия AI-агента — умение оценивать промежуточные результаты.

AI-агент — автономная или полуавтономная программная система, которая использует искусственный интеллект для выполнения задач или достижения целей от имени пользователя. Агент может планировать шаги наперед, запоминать контекст прошлых взаимодействий и применять инструменты для воздействия на внешний мир.

Среди его характеристик — способность воспринимать среду через различные входные данные, принятие решений на их основе, выполнение действий для достижения целей и адаптация к изменениям.

В команде прикладной разработки Just AI мы используем стек Python с библиотеками LangChain/LangGraph и наши собственные решения. Это связано с тем, что в рамках внутреннего проекта компании Just AI LLM Bot 2.0 мы строим не только конечное решение (голосового бота на базе LLM), но и новые подходы к разработке виртуальных ассистентов.

Мы прорабатываем разные варианты использования AI-агентов в Авито в будущем. Основой для них может стать наша большая языковая модель A-Vibe. Мы создали ее для понимания контекста покупок и продаж, учитывая специфику классифайда. Обучение включало работу с датасетом в 10+ терабайт, где были ценны наши собственные обезличенные и синтетические данные о различных сценариях взаимодействия на площадке.

Также для своих разработок мы применяем open source инструменты. Пишем код в основном на Python, в некоторых частях системы используем Golang и Rustlang. Для инференса используем vLLM — это открытая Python-библиотека, созданная для оптимизации работы LLM через снижение задержек и повышения масштабируемости. Она ускоряет вывод приложений на базе GenAI за счет более эффективного использования графической памяти.

Большинство инфраструктурных задач при работе с AI-агентами решаются с использованием привычных для разработчиков инструментов — Python, Kubernetes, Docker, Kafka, Mongo, Elasticsearch. Но присутствует и специфика: интеллектуальное ядро таких агентов — это LLM, появление которых и сделало возможным агентные подходы. Для работы с этой средой приходится разрабатывать свои библиотеки или переиспользовать открытые — LiteLLM, Triton, vLLM, CrewAI, AutoGen, LlamaIndex.

Мы используем для создания AI-агентов Python как основной язык программирования, LangChain или LlamaIndex для проектирования и управления агентами, а в качестве языковых моделей применяем ChatGPT, Claude или открытые модели (например, Llama). Для организации хранения и быстрого поиска знаний используем векторные базы данных — Pinecone, Chroma или Qdrant. Такой стек обеспечивает баланс между простотой, гибкостью и возможностью масштабирования решений под различные задачи.

Используем LangGraph, PydanticAI. Остановили свой выбор на них, поскольку они предоставляют гибкую и удобную среду для оркестрации мультиагентных систем.

Для построения AI-агентов в качестве основы мы используем LLM как когнитивное ядро. Декомпозировать сложные задачи помогают инструменты планирования, а взаимодействовать с внешними системами — API. Сохраняем контекст и обучения с помощью разных механизмов памяти, контролируем действия и предотвращаем ошибки с помощью систем безопасности. Выбор технологий зависит от конкретных задач, требований к надежности и автономности, а также необходимых возможностей интеграции.

AI-агенты могут стать стандартом индустрии в области разработки решений на базе LLM: большие языковые модели без «обертки» куда менее полезны, чем сложные агентские системы. Использовать агентов будут все: кто-то будет получать подсказки и комментарии от поисковика, даже не подозревая, что взаимодействует с AI-агентом, а кто-то будет разрабатывать собственные решения и встраивать их в процессы разработки бэкенда.

Трудностью станет валидация результатов работы и точность AI-агентов. Чтобы не было кейсов дезинформации, нужно обязательно проверять ответы на адекватность. Еще одно препятствие — стоимость решений. Одни только сервера и видеокарты стоят дорого. За счет постепенной оптимизации LLM и снижения стоимости железа через некоторое время индустрия получит возможность внедрять AI-агентов во многие процессы. Но пока что вопрос затрат на внедрение актуален.

Сейчас мы на стадии изучения потенциала агентов и формирования требований к ним. Этим занимается наша внутренняя команда, которая использует собственные данные. Возможности потенциального применения AI-агентов в Авито разнообразны: от создания системы передачи знаний внутри компании и умного поиска по базе данных до планирования встреч с учетом занятости участников, генерации текстов и презентаций, помощи в разработке кода и аналитике.

При внедрении любых AI-решений мы фокусируемся на создании систем для решения конкретных бизнес-задач. Любая технология должна демонстрировать измеримые результаты. Перед внедрением AI-агентов мы анализируем, какие именно цели могут быть достигнуты и на какие метрики это может повлиять.

Помимо разработки программного обеспечения, AI-агенты будут востребованы во многих сферах, где возможна автоматизация, включая здравоохранение, юриспруденцию, финансы, образование и логистику. Однако, поскольку AI-агенты не являются субъектами права, остается нерешенной проблема ответственности за ошибки и наличия рисков для безопасности, особенно в критически важных областях, таких как медицина. Кроме того, важно, чтобы они учитывали правовые ограничения, а также социальные и культурные особенности при принятии решений.

Я верю, что в ближайшие годы AI-агенты станут более автономными и надежными, найдут применение в клиентском обслуживании, разработке программного обеспечения, аналитике, медицине и автоматизации бизнес-процессов. Однако развитие столкнется с трудностями в виде этических и правовых вопросов, необходимости в обеспечении прозрачности решений, управлении рисками некорректного поведения агентов и высокой стоимости их эксплуатации и настройки.

Основные трудности при переходах от уровня к уровню — доступность «чистых» данных и ограничения архитектуры типа трансформер, на основе которой сделаны большинство больших языковых моделей.

Есть предположение, что AI-агенты будут развиваться в нескольких направлениях. Как персональные ассистенты они станут более интегрированными в повседневную жизнь. Для корпораций поможет автоматизировать бизнес-процессы и принимать решения. В науке и исследованиях помогут автономно автоматизировать данных и планировать эксперименты. А в промышленности — управлять производственными процессами.

Из трудностей — вопросы доверия и безопасности, этические аспекты делегирования решений, нормативное регулирование инноваций. Помимо этого, технические ограничения в понимании неоднозначного контекста и интеграция с существующими системами.

В итоге, использование агентов будет расширяться от техноэнтузиастов до массового применения, при этом уровень доверия будет расти и развитие экосистем — ускоряться.