Проверяем, действительно ли AvtoPilot работает
На сайте появился раздел «Исследования», где мы разбираем, как устроены наши продукты, с реальными цифрами и честными оговорками. Первые два материала: инженерный разбор пайплайна извлечения QuizPilot и наше первое исследование эффективности, попытка ответить на единственный вопрос, который по-настоящему важен для учебного продукта: становятся ли лучше те, кто им пользуется?
Исследование начинается с неудобного наблюдения. За первые десять активных дней в AvtoPilot почти все цифры в приложении ползут вниз. Общая точность в практике падает с 84 до 78 процентов, а точность на впервые увиденных вопросах с 81 до 73 процентов. Если бы нам был нужен красивый дашборд, мы бы этого не показывали.
Это снижение и есть работа метода. Система интервального повторения FSRS в AvtoPilot намеренно возвращает вопросы, которые ученик вот-вот забудет, а лёгкий материал заканчивается рано, поэтому оставшееся сложнее по самому устройству. Нельзя измерять обучение сложностью того, что ты выдерживаешь, поэтому нужна была линейка, которую система не может согнуть.
Эта линейка: фиксированный пробный экзамен, двадцать вопросов, случайно выбранных из всего банка в 1 220 вопросов, оцениваемых одинаково каждый раз и никогда не усложняемых адаптивно. Там картина переворачивается. За десять попыток средний балл растёт с 14,0 до 15,7 из 20, а доля сдавших с 20 до 31 процента. Результат держится и при самом строгом отборе: 1 416 учеников, прошедших не менее пяти пробных, улучшились с 14,01 до 14,72, а доля набравших проходные 18 и выше выросла с 19,8 до 26,1 процента.
Материал так же честно говорит о том, чем он не является. Это наблюдательные данные без контрольной группы, на наших собственных пробных экзаменах с низкими ставками, а не на государственном, и всего около пяти месяцев жизни молодого продукта. Ученики, которые практиковались, улучшились по нашим метрикам; мы не утверждаем, что причиной был AvtoPilot. Именно такой планки мы хотим держаться публично, а полное исследование лежит в разделе «Исследования».