Почему QuizPilot не обёртка над ИИ

Каждый документ идёт кратчайшим путём, который даёт корректный результат. Его читают в зависимости от типа файла, проверяют, есть ли в нём уже вопросы, и классифицируют по типу содержимого, потому что лист по физике требует иных правил форматирования, чем тест по истории.

Затем запускается каскад детерминированных парсеров. Одиннадцать форматных парсеров пробуют по очереди, и побеждает первый, который совпал чисто, без участия модели. Если не подходит ни один, документ проваливается на всё более мощные и более дорогие этапы: разбор структуры, где модель просят лишь выбрать правильный вариант, затем полное извлечение по фрагментам, разделённым по границам вопросов, и, наконец, модель зрения для страниц, которые отсканированы или искажены. Большинство документов так далеко не доходят.

Именно это слово обёртка передаёт неверно. У модели в QuizPilot маленькая, чётко ограниченная задача. Она вычитывает варианты из фрагмента текста, а на этапе разбора структуры делает лишь одно: выбирает, какой вариант верный. Она не решает, где заканчивается один вопрос и начинается следующий, какие ответы дублируются и достаточно ли результат хорош, чтобы его отдать. Всем этим владеет детерминированный код, вместе с извлечением из файла, распознаванием, сегментацией, проверкой, дедупликацией, перемешиванием ответов, кэшированием и метриками.

Результат измерим. Примерно один загруженный файл из трёх превращается в тест вообще без обращения к модели извлечения, разобранный от начала до конца детерминированным каскадом. Для остальных модель, это один ограниченный шаг внутри конвейера, который проверяет её работу, а не сам конвейер.

Когда модель нужна, основной извлекатель, это Gemini 2.5 Flash-Lite, с автоматическим переключением на второго провайдера, если он перегружен или отказывает, и отдельная модель зрения для отсканированных страниц. Интересно здесь не то, какую модель мы вызываем. Интересно, как мало мы у неё просим. Меньшая задача дешевле, быстрее и оставляет меньше места для ошибки.

Несколько реальных примеров проясняют суть. Внутри одного документа нумерация вопросов редко единообразна. Один вопрос записан как 1. с пробелом после точки, следующий как 2.Вопрос, приклеенный прямо к тексту. Наивный парсер тихо вклеивает приклеенный в предыдущий вопрос, и вы теряете вопрос, даже не зная, что он был.

Символы перегружены. Решётка может быть номером вопроса, меткой правильного ответа или разделителем, в зависимости от контекста, а метка правильного ответа меняется в зависимости от региона и формата. Это может быть звёздочка, плюс, знак равенства, решётка, галочка или слова о правильном ответе, написанные целиком. Один и тот же символ приходится читать тремя разными способами в трёх разных строках, чего одно жёсткое правило сделать не может, а аккуратный каскад может.

Таблицы смещаются. Банк вопросов заполняет столбец предмета в первой строке блока и оставляет его пустым ниже, поэтому более поздняя строка выравнивается не по тому столбцу, и правильный ответ помечается неверно. Это незаметно для модели, читающей ячейку за ячейкой, и улавливается кодом, который знает форму таблицы. Каждый из этих случаев был реальной ошибкой, найденной в реальном документе, и каждый теперь стал постоянным регрессионным тестом, чтобы не вернуться.

Это одно правило объясняет весь слой проверки. Прежде чем тест будет отдан, проверяется каждый вопрос. У него должны быть настоящие варианты, не заглушки и не пустые. Варианты должны быть уникальны. Индекс правильного ответа должен указывать на существующий вариант, с автоматической поправкой на частый случай, когда модель считает с единицы вместо нуля. Вопросы со слишком малым числом вариантов или с разбором структуры, в котором модель не уверена, отбрасываются, а не угадываются.

Собранный тест дедуплицируется по нормализованной сигнатуре, позиции ответов перемешиваются, чтобы правильный выбор не всегда был на одном месте, а неудачное или частичное извлечение никогда не кэшируется, чтобы плохой проход не отравил последующие. Защита по покрытию не даёт горстке случайных меток в длинном документе захватить весь разбор. А если платящий пользователь когда-либо теряет больше малой доли ожидаемых вопросов, оповещение поднимается автоматически, и мы узнаём о плохом документе прежде, чем нам о нём скажут.

Чтобы дойти до этого, потребовалась работа, которой не видно на демонстрации. Разделитель, идущий от границ и уважающий, где вопросы действительно начинаются, сократил разрывы посреди вопроса на 18 процентов и уменьшил число обращений к модели на 13 процентов. Обучение его обрабатывать склеенные и пронумерованные решёткой вопросы сократило эти разрывы ещё на 33 процента.

Детерминированная доля не заморожена. Она растёт через повторяемый цикл: собрать новые форматы документов, которые загружают реальные пользователи, найти те, что парсеры пропускают, построить и состязательно проверить новый парсер на реальных файлах и выпустить его. Каждый проход расширяет набор документов, обрабатываемых вообще без ИИ. Обёртка всегда настолько хороша, насколько хороша её модель на этой неделе. Это же становится лучше по собственному графику.

Система также построена под конкретную реальность. У центральноазиатских банков вопросов свои условности: билеты, смешанные кириллица, латиница и тюркские письменности, региональные метки ответов. Универсальный инструмент превращения документа в тест на них спотыкается. QuizPilot оттачивался на тысячах таких реальных документов, и это преимущество, которое мало связано с моделью и целиком связано с годами форматов, которые он уже научился читать.

Ничто из этого не значит, что QuizPilot избегает ИИ. Он использует его, осознанно и узко, для решений, в которых модель сильна, и детерминированный код делает всё вокруг и проверяет результат. Честное утверждение не в том, что результат идеален. Оно в том, что ответы на детерминированном пути привязаны к метке в исходнике, а не выведены, а путь с моделью ограничен и проверен, а не принят на веру.

Вместе хирургически точное применение ИИ, региональные форматы и процесс, который накапливается, скопировать куда труднее, чем любой отдельный вызов модели. В этом и разница между обёрткой и системой. Одна отдаёт то, что сказала модель. Другая спроектирована быть правой.