У меня не получается добиться от ИИ воспроизводимых результатов

«У меня не получается добиться от ИИ воспроизводимых результатов!» — «Погоди, а как ты это обеспечил в пайплайне?» — «Кто? Я?..»

Текстовые трансформеры, будучи по своей природе авторегрессионными моделями, зачастую демонстрируют переменчивые результаты даже при одинаковых входных данных. Именно поэтому добиться от ИИ воспроизводимых результатов бывает непросто. То, что я пишу, — не магия, а набор инструментов и методик, чтобы удерживать результат в коммерчески допустимых рамках. Те, кто будет настаивать на 100% гарантиях, могут сразу пройти мимо. Договорились? Погнали.

Короче, главный приём: сейчас вы пытаетесь задать конечный результат сразу в промте. Те, кто поумнее, — пытаются задать это в спецификациях по методикам SDD: SpecKit, OpenSpec, BMAD и прочие. Так или иначе, вы пытаетесь с одного выстрела, или one-shot, попасть в цель.

На самом деле, эффективное создание решений с использованием ИИ — это последовательное приближение к цели. Оно реализуется через автоматизированный ПОТОК обратной связи, который позволяет моделям итеративно улучшать свои результаты. Это достигается не однократным запросом, а цикличной работой, где каждый шаг корректируется на основе предыдущего.

ВЫ ДОЛЖНЫ построить конвейер (пайплайн), который будет регулярно поставлять ИИ обратную связь об отклонении от цели. А в идеале — и конкретные инструкции, куда нужно подвинуться, чтобы точнее в цель попасть.

Повезло тем, кто в институте изучал программирование управляющих микроконтроллеров. Кстати, именно на этом принципе работают все системы автоматического управления, от термостатов до автопилотов. ИИ здесь — просто новый исполнительный механизм. Но и программистам будет легко понять: разница такая же, как между тем, чтобы отклонять пулл-реквест джуна без объяснений или с объяснениями и примерами. Только автоматически.

Для этого крайне важно организовать работу с ИИ таким образом, чтобы после каждой итерации автоматически срабатывали скрипты, оценивающие результат и определяющие отклонение от поставленной цели. Это могут быть различные механизмы, включая автотесты, браузерные тесты, интеграционные тесты API, анализ лог-файлов ошибок, а также использование внешнего AI-ассистента для прокликивания приложения и сравнения с постановкой задачи.

Банальный пример: сокращение объёма текста средствами ИИ до некоторого заданного размера в N символов. Вы можете упороться, описывая это в промте, — и результатом будет полная чушь. Сам пробовал. А если вы поставите на выходе ИИ банальный скрипт, который делает delta = limit – output.length() и замыкает кольцо обратно в ИИ с промтом: «Сократи этот текст ещё на {delta} символов», — вы решите задачу практически влёт.

Скрипт этот, конечно, тоже можно написать силами ИИ, так что всё кошерно.

Поэтому так:
– определяете критерии достижения задачи в спецификациях;
– подключаете инструмент, который смотрит результат;
– подключаете инструмент, который считает отклонение результата от цели;
– заворачиваете цикл обратной связи обратно в модель.
Всё.

У кого не получается? Пишите в комментах, разберём ваш пример.