Nega oʻquvchilar yaxshilangan sari AvtoPilotʼda aniqlik pasayadi

Dastlab sof aniqlikdan, yaʼni oʻquvchi toʻgʻri javob beradigan amaliyot savollarining umumiy ulushidan boshlaylik. Kamida oʻnta alohida kunda shugʻullangan 420 oʻquvchini olib, ularning aniqligini faol kunlar boʻyicha tahlil qilamiz. Natijalar quyidagicha: 84, 85, 84, 81, 82, 81, 80, 79, 79, 78. Ikkinchi kuni kichik oʻsish, soʻngra olti punktlik barqaror pasayish kuzatiladi.

Endi xotira omilini olib tashlaymiz. Faqat oʻquvchi birinchi marta koʻrayotgan savollarga qaraymiz, bu yerda javobni eslab qolish imkonsiz. Ushbu guruhdagi yetarli ilk koʻrish maʼlumotiga ega 309 oʻquvchi orasida xuddi shu tendensiya pastroq va tikroq shaklda namoyon boʻladi: birinchi kuni 81, soʻngra 76, 76, 73, 74, 73, 71, 72, 71, va oʻninchi kuni 73. Ikkala oʻlchovda ham izchil oʻquvchi qancha koʻp shugʻullansa, ekrandagi foiz shuncha past boʻladi.

Biz bu grafikni koʻrsatmasligimiz ham mumkin edi. Koʻpchilik shunday qilgan boʻlardi. Biz maqolani aynan shundan boshlayapmiz, chunki bizning oʻrnimizda chiroyli raqamlarni koʻrsatish vasvasasi kuchli, ammo halol yondashuv ancha foydaliroqdir. Oʻquvchi eng koʻp eʼtibor beradigan koʻrsatkich boʻyicha eng tirishqoq guruh ketma-ket oʻn kun davomida yomonlashib boradi. Shundan soʻng biz tizim ularga aslida nima berayotganini tahlil qildik va xavotirimiz oʻz tasdigʻini topmadi.

AvtoPilot amaliyotni zamonaviy intervalli takrorlash algoritmi boʻlgan FSRS yordamida rejalashtiradi. Uning asosiy vazifasi har bir savol uchun siz javobni unutay deb turgan lahzani aniqlash va oʻsha savolni aynan shu vaqtda qayta koʻrsatishdir. Bir necha kun oldin toʻgʻri javob bergan va shundan beri koʻrmagan savolingizni tizim aynan xotirangizdan oʻchay deb turgan paytda sizga taqdim etadi. Siz yaxshi oʻzlashtirgan savollar aylanishdan chiqadi. Unutilish arafasida turganlari esa qaytadi.

Ikkinchi omil ham xuddi shu yoʻnalishda ishlaydi. Savollar banki 1,220 ta savoldan iborat boʻlib, ularning qiyinlik darajasi turlicha. Oson va koʻp uchraydigan savollarga javob beriladi, ular oʻrganiladi va tezda aylanishdan chiqadi. Oʻn kun shugʻullangan oʻquvchi uchun eng qiyin savollar qoladi: kam uchraydigan belgilar, murakkab chorrahalar, hammani chalgʻitadigan oʻxshash savollar. Oʻquvchi yaxshilanib borgani sari savollar toʻplami ham qiyinlashib boradi.

Bularni umumlashtirsak, pasayib borayotgan chiziq koʻrinishiga nisbatan butunlay teskari maʼnoni anglatadi. Oʻninchi kuni 78 foiz natija koʻrsatayotgan oʻquvchi buni birinchi kundagi 84 foizlik natijaga qaraganda ataylab qiyinlashtirilgan materialda qilmoqda. Buni taʼlim tadqiqotchilari foydali qiyinchilik deb atashadi: deyarli unutilgan maʼlumotni esga tushirishga urinish jarayoni uni uzoq muddatli xotiraga muhrlaydi. Aniqlikni doimiy yuqori darajada ushlab turadigan tizim sizga hech narsa oʻrgatmaydigan tizim boʻlar edi.

Aniqlikni asosiy oʻlchov sifatida qabul qilishning xatosi shunda. U oʻzaro zid boʻlgan ikkita sababga, yaʼni qancha oʻrganganingiz va hozirgi materialning qanchalik qiyinligiga qarab oʻzgaradi. Intervalli takrorlashda esa ikkinchi omil birinchisini bosib ketadi. Oʻrganish jarayonini siz yengib oʻtayotgan savollarning qiyinligi bilan oʻlchab boʻlmaydi. Aynan shu sababli, bilimni xolis baholash uchun biz aniqlikka emas, boshqa koʻrsatkichga qaraymiz.

Agar amaliyot qiyinligi oʻzgarib tursa, sizga oʻzgarmaydigan oʻlchov kerak boʻladi. AvtoPilotʼda bunday oʻlchov mavjud. Sinov imtihoni har safar haqiqiy imtihon bilan bir xil shaklda boʻladi: yigirmata savol, butun 1,220 savollik bankdan tasodifiy tanlanadi, ikkita xatoga ruxsat beriladi va yigirma ballik tizimda baholanadi. U moslashuvchan emas. U sizning zaif tomonlaringizni qayta koʻrsatmaydi yoki kuchli tomonlaringizni olib tashlamaydi. Har bir sinov imtihoni butun materialning xolis namunasi boʻlib, bu oʻquvchining birinchi urinishini oʻninchisi bilan bevosita taqqoslash imkonini beradi. Qiyinlik darajasi bir xil ushlab turilganda, balldagi har qanday oʻzgarish testning emas, oʻquvchining oʻsishini koʻrsatadi.

Kamida beshta sinov imtihonini topshirgan 1,416 oʻquvchini olib, ularning oʻrtacha ballini urinishlar soni boʻyicha hisoblaymiz. U koʻtarilib boradi: 20 balldan 14.0, 14.3, 14.5, 14.6, 14.7, 14.9, 15.2, 15.3, 15.4, 15.7. Oʻtish darajasi, yaʼni oʻn sakkiz yoki undan yuqori ball toʻplaganlar ulushi ham u bilan birga oʻsadi: 20, 22, 21, 25, 26, 27, 29, 31, 32, 31 foiz. Moslashuvchan amaliyotda pastroq foiz koʻrsatayotgan oʻsha odamlar qatʼiy testda yuqoriroq ball olmoqda.

Bu oʻsha auditoriya, oʻsha ilova, oʻsha besh oy. Oʻzgargan yagona narsa bu oʻlchov usuli. Odamlarni ular yengib oʻtayotgan savollarning qiyinligi boʻyicha oʻlchashni toʻxtatib, ularni qatʼiy, xolis test orqali baholasangiz, pasayish oʻsishga aylanadi.

Oʻnta urinish grafigining biz yashirmaydigan bir jihati bor. Hamma ham oʻnta sinov imtihoni topshirmaydi. Birinchi urinish barcha 1,416 oʻquvchi boʻyicha hisoblanadi, ammo oʻninchisiga kelib ularning faqat 546 nafari qoladi. Oʻnta sinov imtihoni topshiradiganlar bitta topshiradiganlarning tasodifiy namunasi emas. Oʻsha koʻtarilayotgan chiziqning bir qismi eng izchil oʻquvchilarning keyingi urinishlarga oʻzlarini saralab olishi bilan bogʻliq.

Shuning uchun biz buni eng qatʼiy usulda tahlil qildik. 1,416 oʻquvchining har biri kamida beshta sinov imtihonini topshirgan, shuning uchun biz har bir odamning birinchi sinovini beshinchisi bilan, hech kimni tushirib qoldirmasdan taqqoslashimiz mumkin. Ushbu juftlangan, bir xil odamlar asosida oʻrtacha ball 20 balldan 14.01 dan 14.72 ga koʻtariladi, yaʼni 0.71 punktlik oʻsish. Oʻtish darajasi 19.8 foizdan 26.1 foizga koʻtariladi, bu 6.3 punktlik oʻsish demakdir.

Bu biz qila oladigan eng ehtiyotkor tahlil boʻlib, bir xil oʻquvchilar oʻzlarining birinchi qatʼiy testidan beshinchisigacha oʻlchanadi va natija oʻzgarishsiz qoladi. Toʻliq oʻnta urinish grafigi xuddi shu yoʻnalishda yanada yuqoriroqqa, 20 balldan 15.7 ga va 31 foiz oʻtish darajasiga ishora qiladi. Biz buni shunchaki yoʻnalish koʻrsatkichi sifatida taqdim etamiz, chunki uning keyingi nuqtalari oʻsha qisqarib borayotgan, oʻzini oʻzi saralagan guruhga tayanadi.

Yana ikkita oʻlchov sinov imtihoni natijalari oʻsishini tasdiqlaydi va ularning hech biri aniqlik foizi emas. Birinchisi bu tezlik. Oʻn kunlik guruh boʻylab har bir savolga sarflangan vaqt birinchi kuni taxminan 19.3 soniyadan oʻninchi kuni taxminan 15.8 soniyaga tushadi, yaʼni taxminan 18 foizga tezlashadi. Bu savollar osonlashayotganda emas, qiyinlashayotganda sodir boʻladi. Bu esa odamlar shunchaki oddiy savollardan tezroq oʻtib ketyapti degan farazni inkor etadi. Qiyinroq materialda tezroq javob berish bilimlarning avtomatlashayotganini bildiradi.

Ikkinchisi bu xotira boʻlib, u oʻz mezonlari asosida oʻlchanadi. FSRS faqat takrorlashlarni rejalashtiribgina qolmay, oʻquvchi har bir savolning muddati kelganda uni esga tushirish ehtimolini ham bashorat qiladi. Kamida 50 ta takrorlashga ega va oʻz tarixiga moslab sozlangan parametrli 1,187 oʻquvchi uchun model 88.6 foiz eslab qolishni bashorat qildi va amalda 87.7 foiz kuzatildi. Bashorat haqiqatga deyarli bir punkt aniqlikda toʻgʻri keladi, bu bizga ikkita narsani anglatadi. Rejalashtirish toʻgʻri sozlangan va oʻquvchilar muddati kelgan materialning taxminan 88 foizini haqiqatan ham eslab qolmoqda, uni shunchaki yodlab, keyin unutib yubormayapti.

Bularning hech biri asosiy yangilik emas. Ular shunchaki tasdiq. Qiyinroq savollarga tezroq javob berayotgan va ayni paytda muddati kelgan savollarning deyarli oʻntadan toʻqqiztasini eslab qolayotgan oʻquvchining holati sinov imtihoni ballarining koʻtarilishiga toʻla mos keladi va pasayib borayotgan amaliyot aniqligi aslida yomonlashuvni anglatmasligini isbotlaydi.

Biz cheklovlar borasida ochiq boʻlamiz, chunki bu holatning halol talqini chiroyli koʻrsatishdan koʻra foydaliroqdir.

Birinchidan, bu eksperiment emas, balki kuzatuvdir. Bizda nazorat guruhi yoʻq, boshqacha usulda oʻqishga tasodifiy taqsimlangan oʻquvchilar yoʻq. Shuning uchun AvtoPilotʼda shugʻullangan oʻquvchilar bizning oʻlchovlarimiz boʻyicha yaxshilandi deya olamiz. Ammo bu yaxshilanishni oʻsha oʻquvchilarni ilovaga qaytargan motivatsiya yoki vaqt oʻtishi bilan koʻproq savol koʻrishning oddiy taʼsiri emas, balki aynan AvtoPilot keltirib chiqardi deb ayta olmaymiz. Bu maʼlumotlar sabab-oqibat bogʻliqligini isbotlash uchun yetarli emas.

Ikkinchidan, saralanish taʼsiri barcha bosqichlarda mavjud. Umuman shugʻullangan taxminan 34,000 odamdan 672 nafari besh faol kunga yetdi, 420 nafari oʻn kunga, 281 nafari esa oʻn toʻrt kunga yetdi. Oʻn kunlik guruh bu tirishqoq ozchilik boʻlib, 34,000 kishidan bor-yoʻgʻi 420 nafarni tashkil etadi. Tirishqoq odamlar esa odatda doim yaxshilanib boradiganlar toifasiga kiradi. Birinchi va beshinchi urinishlarni juftlab taqqoslash bu taʼsirni biroz kamaytirish uchun qilingan, ammo biz asosan oʻqishni davom ettirishni tanlagan odamlarni tahlil qilayotganimiz haqiqatini oʻzgartira olmaydi.

Uchinchidan va eng muhimi, bu yerdagi oʻtish darajasi davlat imtihonidagi oʻtish darajasi emas. Bu oʻzimizning oddiy sinov imtihonlarimizda oʻn sakkiz yoki undan yuqori ball toʻplaganlar ulushi boʻlib, biz uni haqiqiy imtihonga moslash uchun belgilaganmiz. Bu oʻquvchilar imtihon markazida qanday natija koʻrsatishi haqida hech qanday daʼvo qilmaymiz. Biz buni oʻlchamaymiz va oʻzimizda yoʻq raqamga ishora qilmaymiz.

Toʻrtinchidan, sinov imtihonlari oʻquvchilar shugʻullanadigan savollar bankidan olinadi, shuning uchun har qanday oʻsishning bir qismi qoidalarni chuqurroq tushunish emas, balki savollar bilan oddiy tanishlik boʻlishi mumkin. Buni kamaytirish uchun biz savollarni tasodifiy tanlaymiz va javoblar tartibini aralashtiramiz, ammo bu taʼsirni butunlay yoʻq qildik deya olmaymiz.

Beshinchidan, bu yosh mahsulotning besh oylik natijalari. Besh oy qandaydir tendensiyani koʻrish uchun yetarli. Ammo uni doimiy deb atash uchun yetarli emas.

Faqat ishonch bilan ayta oladigan xulosalarimizga toʻxtalsak. AvtoPilotʼning moslashuvchan amaliyotida aniqlik dastlabki oʻnta faol kun davomida pasayadi, chunki tizim ataylab qiyinroq material bermoqda. Bu pasayish usulning moʻljallanganidek ishlayotganini bildiradi, oʻquvchilarning bilimi yomonlashayotganini emas. Qiyinlashtirilmaydigan qatʼiy sinov imtihonida oʻsha oʻquvchilarning natijasi yaxshilanadi: oʻnta urinish davomida 20 balldan 14.0 dan 15.7 ga koʻtariladi. Har bir oʻquvchining birinchi sinov imtihonidan beshinchisigacha oʻtish darajasida 6.3 punkt oʻsish kuzatiladi va bu taqqoslashda saralanish taʼsiri yoʻq. Tezlik va kalibrlangan xotira koʻrsatkichlari ham xuddi shu yoʻnalishda oʻsadi.

Bizning ehtiyotkorlik bilan aytadigan xulosamiz shundan iborat. AvtoPilotʼda shugʻullanishni davom ettirgan oʻquvchilar bizning qatʼiy, imtihon formatidagi sinov testimizda, yaʼni tizim oʻzgartira olmaydigan yagona oʻlchovda sezilarli darajada yaxshilanadi va ikkita mustaqil oʻlchov ham buni tasdiqlaydi. Biz buni oʻzimiz keltirib chiqardik deb daʼvo qilmaymiz. Imtihon markazi haqida hech narsa demaymiz. Hech bir oʻquvchiga aniq natija vaʼda qilmaymiz.

Umumiy xulosa maqola boshida aytganimizdek. Oʻquv ilovasining koʻrsatkichlari pasayganda, birinchi savol oʻquvchilar yomonlashyaptimi degani emas. Balki ilova savollarni qiyinlashtirdimi degani boʻlishi kerak. Bu yerda u aynan shunday qildi, ataylab qiyinlashtirdi va qolgan odamlar baribir yaxshilandi. Sizga chiroyli koʻrinmaydigan xolis oʻlchovni yarating, uni oʻzgarishsiz saqlang va aynan oʻshanga eʼtibor qarating. Biz shunday qilganimizda, koʻrsatkichlar yuqoriga koʻtarildi.