Почему точность в AvtoPilot падает по мере того, как ученики становятся лучше

Начнём с общей точности, простой доли учебных вопросов, на которые ученик отвечает правильно. Возьмём тех, кто остался, 420 учеников, которые занимались не менее чем в десять отдельных дней, и выстроим их точность по активным дням. Получается 84, 85, 84, 81, 82, 81, 80, 79, 79, 78. Небольшой подъём на второй день, затем устойчивое снижение на шесть пунктов.

Теперь уберём память. Посмотрим только на вопросы, которые ученик видит впервые, где ни один ответ не может быть запомненным. Среди 309 учеников из этой группы, у которых достаточно данных по первому показу, проявляется та же форма, ниже и круче: 81 в первый день, затем 76, 76, 73, 74, 73, 71, 72, 71 и 73 на десятый день. По любой из мер, чем дольше целеустремлённый ученик занимается, тем ниже процент на экране.

Мы могли бы убрать этот график. Большинство продуктов так и сделали бы. Мы начинаем именно с него, потому что соблазн в нашем положении, это потянуться за лестной историей, а честная версия полезнее. По метрике, которую ученик видит чаще всего, самая преданная когорта становится хуже десять дней подряд. Затем мы посмотрели, чем именно система их кормила, и тревога перевернулась.

AvtoPilot планирует практику с помощью FSRS, современного алгоритма интервального повторения. Вся его задача, это оценить для каждого вопроса момент, когда вы вот-вот забудете ответ, и снова показать вам этот вопрос как раз перед этим. Вопрос, на который вы правильно ответили несколько дней назад и с тех пор не видели, это ровно то, что планировщик подаёт вам сегодня, в той точке, где он считает, что ваша память истончилась до предела. Вопросы, которыми вы уверенно овладели, выпадают из ротации. Те, что вот-вот ускользнут, возвращаются.

Вторая сила толкает в ту же сторону. В банке 1 220 вопросов, и они не одинаково сложны. Лёгкие и частые отвечаются, заучиваются и рано выводятся из оборота. То, что остаётся ученику через десять дней, это длинный хвост: редкие знаки, краевые правила приоритета проезда, почти одинаковые пары, на которых спотыкаются все. Набор не стоит на месте, пока ученик становится лучше относительно него. Сам набор становится сложнее.

Сложите это вместе, и падающая линия означает почти противоположное тому, как она выглядит. Ученик, удерживающий 78 процентов на десятый день, делает это на намеренно более сложном материале, чем ученик с 84 процентами в первый день. Это то, что исследователи обучения называют желательной трудностью: продуктивное усилие по извлечению того, что вы почти забыли, и есть именно то, что переводит это в долговременную память. Очередь, которая удерживала бы вашу точность почти безупречной, была бы очередью, переставшей вас чему-либо учить.

В этом и ловушка точности как измерителя. Она меняется по двум причинам, указывающим в противоположные стороны, сколько вы выучили и насколько сложен текущий материал, и при интервальном повторении второй эффект перекрывает первый. Нельзя измерять обучение по сложности того, что вы переживаете. Именно поэтому, чтобы вообще измерить обучение, мы перестаём смотреть на точность и смотрим в другое место.

Если сложность практики смещается, нужно измерение, которое не смещается. В AvtoPilot такое встроено. Пробный экзамен каждый раз имеет ту же форму, что и настоящий: двадцать вопросов, свежая случайная выборка из всего банка в 1 220 вопросов, допускается две ошибки, оценка из двадцати. Он не адаптивный. Он не показывает заново ваши слабые вопросы и не выводит из оборота сильные. Каждый пробник, это несмещённая выборка из всего объёма материала, что делает первую попытку ученика напрямую сопоставимой с десятой. Когда сложность держится ровной, любое движение в балле, это движение в ученике, а не в тесте.

Возьмём 1 416 учеников, прошедших не менее пяти пробников, и усредним их балл по номеру попытки. Он растёт: 14,0, 14,3, 14,5, 14,6, 14,7, 14,9, 15,2, 15,3, 15,4, 15,7 из 20. Доля сдавших, доля набравших восемнадцать или больше, растёт вместе с ним: 20, 22, 21, 25, 26, 27, 29, 31, 32, 31 процент. Те же люди, показывающие более низкий процент в адаптивной практике, показывают более высокий балл на фиксированном тесте.

Это та же совокупность людей, то же приложение, те же пять месяцев. Единственное, что изменилось, это линейка. Перестаньте измерять людей по сложности того, что они переживают, измерьте их по фиксированному, репрезентативному тесту, и снижение превращается в рост.

У кривой из десяти попыток есть подвох, который мы не станем прятать. Не все проходят десять пробников. Первая попытка усреднена по всем 1 416 ученикам, но к десятой остаются только 546, и люди, проходящие десять пробников, это не случайная выборка из тех, кто проходит один. Часть этой растущей линии, это самые целеустремлённые ученики, отбирающие сами себя в более поздние попытки.

Поэтому мы посчитали строгим способом. Каждый из 1 416 учеников прошёл не менее пяти пробников, поэтому мы можем поставить первый пробник каждого человека рядом с его пятым, и никто не выпадает из сравнения. На этой парной основе, по одним и тем же людям, средний балл растёт с 14,01 до 14,72 из 20, прирост в 0,71. Доля сдавших растёт с 19,8 процента до 26,1 процента, прирост в 6,3 пункта.

Это самый консервативный отбор, который мы можем сделать, те же ученики, измеренные от их первого фиксированного теста до пятого, и результат сохраняется. Полная кривая из десяти попыток указывает дальше в ту же сторону, к 15,7 из 20 и доле сдавших 31 процент, и мы приводим её как ориентировочную именно потому, что её более поздние точки опираются на эту сжимающуюся, самоотобранную группу.

Ещё два измерения встают за ростом пробного экзамена, и ни одно из них не процент точности. Первое, это скорость. По десятидневной когорте время на вопрос падает с примерно 19,3 секунды в первый день до примерно 15,8 на десятый день, примерно на 18 процентов быстрее. Это происходит, пока вопросы становятся сложнее, а не легче, что исключает простое объяснение, будто люди просто проносятся по более лёгким вопросам. Быстрее на более сложном материале, это узнавание, становящееся автоматическим.

Второе, это память, измеренная на её собственных условиях. FSRS не только планирует повторения, он предсказывает вероятность того, что ученик вспомнит каждый вопрос, когда подойдёт его срок. Для 1 187 учеников с не менее чем 50 повторениями и параметрами, подогнанными под их собственную историю, модель предсказала 88,6 процента удержания и наблюдала 87,7 процента. Прогноз попадает в пределах примерно одного пункта от реальности, что говорит нам о двух вещах. Планирование хорошо откалибровано, и ученики действительно удерживают примерно 88 процентов материала, подходящего по сроку, а не зубрят его и сбрасывают.

Ни одно из этого не главный заголовок. Это подтверждение. Ученик, который становится быстрее на более сложных вопросах, удерживая при этом почти девять из десяти подошедших по сроку вопросов, согласуется с ростом баллов на пробниках и не согласуется с тем, что падение точности в практике означает то, чем оно кажется.

Мы будем точны в отношении ограничений, потому что честная версия этой истории полезнее лестной.

Во-первых, это наблюдение, а не эксперимент. У нас нет контрольной группы, нет учеников, случайно назначенных заниматься каким-то другим способом. Поэтому мы можем сказать, что ученики, практиковавшиеся в AvtoPilot, улучшили наши показатели. Мы не можем сказать, что причиной улучшения стал AvtoPilot, а не мотивация, которая возвращала этих учеников, или простой эффект того, что со временем они видят больше вопросов. Причинность, это не то, что могут нести эти данные.

Во-вторых, эффект выживших проходит через всё это. Из примерно 34 000 человек, которые вообще практиковались, 672 достигли пяти активных дней, 420 достигли десяти, а 281 достиг четырнадцати. Десятидневная когорта, это целеустремлённое меньшинство, примерно 420 из 34 000, а целеустремлённые люди, как правило, и есть те, кто улучшается. Парное сравнение от первого к пятому построено так, чтобы убрать худшую часть этого, но оно не может изменить того факта, что мы в основном описываем людей, выбравших продолжать.

В-третьих, и это самое важное, доля сдавших здесь, это не государственная доля сдачи. Это доля наших собственных малозначимых учебных пробников, набравших восемнадцать или больше, порог, который мы установили, чтобы отразить настоящий. Мы не делаем никаких утверждений о том, как эти ученики справляются в центре тестирования. Мы этого не измеряем и не будем подразумевать число, которого у нас нет.

В-четвёртых, пробники берут вопросы из того же банка, на котором ученики практикуются, поэтому часть любого прироста, это простое знакомство с вопросами, а не более глубокое понимание правил. Мы делаем выборку случайной и перемешиваем порядок ответов, чтобы притупить это, но не можем утверждать, что устранили это полностью.

В-пятых, речь идёт о примерно пяти месяцах жизни молодого продукта. Пяти месяцев достаточно, чтобы увидеть закономерность. Их недостаточно, чтобы назвать её постоянной.

Сведём это к тому, за что мы готовы поручиться. В адаптивной практике AvtoPilot точность падает за первые десять активных дней, потому что система намеренно подаёт более сложный материал, и это снижение, это работа метода так, как задумано, а не ухудшение учеников. На фиксированном пробном экзамене, который так не усложняется, те же ученики улучшаются: с 14,0 до 15,7 из 20 за десять попыток, и рост доли сдавших на 6,3 пункта от первого пробника каждого ученика до пятого, без эффекта выживших в этом сравнении. Скорость и откалиброванное удержание движутся в ту же сторону.

То, во что мы верим, сформулированное аккуратно, таково. Ученики, продолжающие практиковаться в AvtoPilot, измеримо лучше справляются с нашим фиксированным пробным тестом в формате экзамена, единственной линейкой, которую мы не позволили системе прогнуть, и два независимых измерения с этим согласуются. Мы не утверждаем, что причиной стали мы. Мы ничего не утверждаем о центре тестирования. Мы не обещаем ни одному ученику результата.

Общий урок, тот же, с которого мы начали. Когда показатели обучающего приложения падают, первый вопрос не в том, проваливаются ли ученики. Он в том, сделало ли приложение вопросы сложнее. Здесь оно сделало, намеренно, и те, кто остался, всё равно стали лучше. Постройте измерение, которое не может вам льстить, держите его неподвижным и следите за ним. Когда мы так сделали, число выросло.