Как считать эффективность GenAI в разработке: три методологии измерения

Команды разработки — самый дорогой ресурс в IT-компаниях. При этом GenAI в этом направлении внедряют активнее всего, а измерить реальную отдачу от внедрения новых инструментов сложно.

Григорий Бездольный, Adoption Lead в Axenix. За три года практики команда Григория протестировала более 50 сценариев использования GenAI на всех этапах разработки ПО и разработала систему измерения реального эффекта от внедрения нейросетей. В статье Григорий делится инсайтами о внедрении GenAI в разработку и оценке эффективности таких решений.

Команда Axenix столкнулась с тем, что разработчики активно использовали нейросети, код генерировался быстрее, функции писались за минуты вместо часов. Но стандартные метрики не работали.

Количество строк кода выросло на 50%, но половина переписывается на code review. Скорость написания функций увеличилась, но время до релиза осталось прежним — узкое место оказалось в тестировании. Субъективные оценки показывают 40% экономии, автоматические замеры — всего 7%.

Нужна была методология, которая покажет минимально подтверждаемый эффект — тот, который выдержит проверку финансистов и позволит принимать обоснованные решения об инвестициях в AI.

Axenix уже давно не использует традиционный подход к разработке ПО, когда каждый этап SDLC выполняется вручную. Компания выжала из классической автоматизации максимум — внедрила low-code репозитории, шаблоны и паттерны, автоматизацию тестирования, акселераторы. Передовой подход давал стабильные 10-20% прироста эффективности.

Но команды разработки остаются самым дорогим ресурсом, и когда появились генеративные нейросети, встал вопрос: можно ли выжать еще 5-10%?

Тогда решили перейти на новаторский подход, где GenAI применяется на каждом этапе цикла разработки:

• Инициация: AI создает требования и подтверждает их корректность.
• Анализ: AI помогает в проектировании и поиске соответствий между данными, генерирует диаграммы.
• Дизайн: AI создает low-code репозитории и использует акселераторы.
• Разработка: AI автоматически конфигурирует системы, генерирует код и валидирует его, ищет ошибки.
• Тестирование создает тест-кейсы и синтетические данные. При развертывании генерирует конфигурации и обеспечивает безопасность.

Теоретически это должно добавить еще 5-10% эффективности сверх классической автоматизации. Но как это проверить на практике?

Команда Axenix разработала систему из трех подходов к измерению эффективности GenAI. Каждый решает свою задачу и применяется на разных этапах внедрения.

Первая методология используется на старте, когда у компании еще нет инфраструктуры для автоматического сбора данных. Она хороша для старта пилота и вовлечения команды.

Когда пилот показал первые результаты, Axenix перешла к более строгой методологии.

Самая продвинутая методология, которую Axenix разработала для комплексной оценки. Вместо того чтобы считать строки кода, система анализирует проницаемость AI в финальный продукт и полезность сгенерированного контента. Методология применима для всех разработчиков независимо от их навыков. Ее можно совместить с расчетом количественного эффекта для более полной картины. Эффект считается за счет объема кода, но с учетом того, насколько этот код действительно полезен и попал в финальный продукт.

Axenix применила все три методологии на реальных проектах в банковском, финансовом и промышленном секторах.

Команда разработки менее 20 человек, срок внедрения 3 месяца. На старте использовали только качественный подход — A/B группы и опросы разработчиков.

Субъективные оценки показали 28% повышение производительности и 10% среднюю экономию времени на типовых задачах.

Когда подключили количественный подход с автоматическим расчетом, реальная цифра оказалась 7% экономии рабочего времени. Субъективные оценки оказались завышены примерно в полтора раза, но даже консервативные 7% для команды разработки — серьезная экономия.

SDLC-команда менее 100 человек, включая разработчиков, аналитиков, тестировщиков. Срок внедрения 3-6 месяцев. Задача — ускорить разработку внутренних систем управления производством.

Использовали все три подхода одновременно для сравнения. Субъективные оценки показали 24% повышение производительности и 31% сокращение времени на типовые задачи, особенно на генерации документации, создании диаграмм, написании bash-скриптов.

Автоматический расчет дал стабильные 5-10% экономии времени на задачах разработки. Генеративный подход показал от 10% до 40% проницаемости AI-кода в зависимости от этапа SDLC.

На большой команде эффект оказался более предсказуемым. GenAI показал максимальную пользу на рутинных задачах: генерация unit-тестов дает 50% экономии, объяснение кода — 60%, создание SQL-запросов — 50%.

SDLC-команда около 200 человек, срок внедрения 3-6 месяцев. Задача — интеграция GenAI во все этапы разработки финансовых продуктов. Использовали полный цикл замеров от субъективных оценок до генеративного подхода.

Субъективные оценки дали 18% средней экономии времени. Генеративный подход показал, что 17% AI-кода принято разработчиками — почти пятая часть итогового кода сгенерирована нейросетью. Автоматический расчет подтвердил примерно 10% экономии времени как стабильный показатель для крупной команды.

Чтобы получить эти результаты, команда Axenix протестировала более 50 конкретных сценариев использования AI на всех этапах SDLC. Генерация unit-тестов — лидер по экономии времени, что эквивалентно высвобождению трети команды тестирования.

GenAI-технологии дают эффект только тогда, когда люди готовы ее использовать. Команда Axenix разработала модель зрелости сотрудников по двум осям: активность использования и полезность результатов.

Команде Axenix пришлось преодолевать несколько типичных барьеров.

Опыт Axenix по внедрению GenAI в команды разработки показывает несколько ключевых моментов.

1. GenAI приносит реальные эффекты при целевом внедрении. Консервативная оценка дает стабильные 5-10% экономии времени, субъективная оценка показывает 20-40%.
2. Целевое внедрение требует устранения барьеров и поиска драйверов. Без вовлечения людей технология не работает.
3. Эффект нужно измерять комплексно: через связку технических, операционных и финансовых показателей. Качественный подход для старта, количественный для консервативной оценки, генеративный для полной картины.
4. Начинать нужно с приоритетных сценариев через пилот и масштабирование. Протестировать 50+ сценариев, выбрать топ-10 по эффективности для конкретной команды, масштабировать.

Как любой инструмент, GenAI требует навыка использования, правильного внедрения и честного измерения результатов.