Как в команде автотестировщиков РСХБ.Цифра увеличили скорость работы в 2 раза

В 2024 году команда РСХБ.Цифра решила ускорить процессы в тестировании с помощью GenAI. В рамках проекта предстояло собрать команду, инструменты, обеспечить работу «провайдера» LLM и внедрить AI в разработку SDET-сервисов, создание UI-автотестов и API-автотестов.

Первым делом команда РСХБ.Цифра занялась подбором провайдера LLM. Нашли практически идеальный вариант, который дает возможность взаимодействовать с широким классом моделей через единое API, имеет классный интерфейс и кучу всяких плюсов.

Решили не искать уникального специалиста, который умеет и тестирование, и использует LLM. Итог — собрали как классических автоматизаторов, которые раньше занимались тестированием и знают, с чем придется работать, так и специалистов по AI. Заметили, что именно со специалистами уровня Middle и Senior при использовании AI происходит эффект ускорения.

На этапе написания кода с AI в РСХБ.Цифра пошло ускорение в тестировании. В ряде случаев, используя код фронта, который клиент получает в HTML, можно было получать готовые селекторы.

Протестировали гипотезу по сбору из данных кластеров семантически близких тест-кейсов, чтобы на автоматизацию одного тест-кейса тратить больше времени, а на автоматизацию семантически близкого тест-кейса намного меньше.

Для этого построили векторную базу для тест-кейсов самостоятельно на базе распределенной векторной базы данных Milvus и эмбединговой модели deep VK. Эффект был заметным — появился новый инструмент, который стал частью методики.

В ходе автоматизации тест-кейсов стали использовать подход, который можно назвать воронкой промптов. Если на вершине воронки промпты были абстрактные вроде «определить айдишники», без особых деталей, то потом код проходил ниже по воронке — и промпты усложнялись — например, нужно было написать методы, затем код. А в конце, когда код доходил до низа, появлялась задача форматирования. У каждой команды свои правила оформления кода, который AI послушно исполнял.

При генерации этих автотестов появилась сложность интеграции человеческого кода со сгенерированным AI кодом. Чтобы решить этот вопрос, команда РСХБ.Цифра попросила модель написать вспомогательный код — функционально такой же, как человеческий, но написанный AI.

Вторая задача была связана с единым промптом — команда написала серию промптов и объединила в конвейер DAG (Directed Acyclic Graph) в Apache Airflow. На этой базе был построен такой DAG для управления задачами. Этот граф брал задачу, брал тест-кейс, на входе он получал тест-кейс, информацию преобразовывал и вызывал базовый агент.

После построения эффективного процесса генерации API автотестов построили систему для автоматизации и управления процессами обработки данных: на вход поступает список тест-кейсов, а на выходе инженер получает массу работающих автотестов прямо в кодовой базе.

LLM стали использоваться как способ ускорения разработки, не являясь центральным звеном. В качестве фреймворка использовался streamlit. Что стала делать команда?

Опыт РСХБ.Цифра показывает, что при внедрении AI сложным моментом становится человеческий фактор. Но и его можно сделать предсказуемым для AI.

На положительный исход внедрения генеративного AI оказывают влияние процессы и подходы к тестированию. При низкой цифровизации и прозрачности в компании, AI не сможет раскрыться в полной мере.