Засунуть в RAG недостаточно

— Засунь книжку в RAG, и будет то же самое.

Нет. Пробовал — и это совсем не то.

RAG — это контекстный поиск. Вы задаёте вопрос, а он извлекает из индекса фрагменты текста, которые семантически близки вашему запросу. Важно понимать: RAG, хоть и оптимизирует вывод больших языковых моделей, используя авторитетную базу знаний, всё равно работает с неструктурированными текстовыми фрагментами. В нём нет встроенной структуры, явных связей между понятиями или иерархии — это просто набор извлечённых кусков текста, объединённых в промпт.

NotebookLM, бесспорно, эффективно справляется с суммаризацией, преобразуя документы и заметки в лаконичные обзоры. Я сам им пользуюсь. Однако суммаризация по своей природе подразумевает сокращение информации, что неизбежно приводит к потере деталей. В результате вы работаете уже не с полной книгой, а с её пересказом или конспектом.

А вот Китмановский скрипт делает принципиально другое. Он разбирает текст на концепты и строит из них вики.

– Каждый концепт — отдельная статья.
– Все статьи перелинкованы между собой.
– Похожие концепты объединяются.
– Сомнительные — помечаются для проверки.
– При загрузке новой книги он интегрирует её, избегая дублирования.

Помните, как в детстве открывали Википедию на статье про одно, а через час читали про что-то совсем другое? Вот это оно и есть. Только в базе знаний, которую вы сами сделали из нужной литературы.

Человечество не зря веками развивало системы каталогизации и перекрёстных ссылок — от библиотечных картотек до гиперссылок в интернете. Мы интуитивно понимаем ценность структуры.

Когда же ИИ работает поверх такой структурированной базы знаний, например, в формате вики с взаимосвязанными концептами, его возможности качественно меняются. Он действует не по размытому индексу, а может глубоко анализировать данные: следуя по ссылкам, переключаясь между различными уровнями абстракции, достигая страниц первоисточника. Такая механика, основанная на структурированных знаниях, позволяет ИИ формировать ответы, прочно основанные на фактах, что недостижимо при работе с неструктурированными текстовыми фрагментами, как в случае с RAG.

Писать промпт «представь, что ты архитектор с 25-летним опытом» или совать неструктурированные данные в RAG и считать, что эффект тот же — это как вместо обучения студента просить его на экзамене просто притвориться умным. Глупо, правда?

RAG не сделает вам такого. Пора перестать мыслить категориями прошлого.