AvtoPilot chindan ishlashini qanday oʻlchayapmiz
Saytda endi Tadqiqotlar boʻlimi bor: unda mahsulotlarimiz qanday ishlashini real raqamlar va halol cheklovlar bilan yozib boramiz. Dastlabki ikki material: QuizPilotʼning savol ajratish tizimi haqidagi injenerlik tahlili va birinchi samaradorlik tadqiqotimiz. U oʻquv mahsuloti haqidagi yagona muhim savolga javob izlaydi: undan foydalanganlar chindan ham yaxshilanadimi?
Tadqiqot noqulay kuzatuvdan boshlanadi. AvtoPilotʼdagi dastlabki oʻn faol kunda ilova ichidagi deyarli barcha koʻrsatkichlar pastga siljiydi. Sof amaliyot aniqligi 84 foizdan 78 foizga, ilk koʻrishdagi aniqlik esa 81 foizdan 73 foizga tushadi. Bizga chiroyli koʻrsatkichlar kerak boʻlganida, buni koʻrsatmasdik.
Bu pasayish metodning oʻzi ishlayotganini bildiradi. AvtoPilotʼning FSRS intervalli takrorlash tizimi oʻquvchi unutay deb turgan savollarni ataylab qaytaradi, oson savollar esa erta tugaydi, shuning uchun qolgani tabiatan qiyinroq. Oʻrganishni bardosh berilayotgan narsaning qiyinligi bilan oʻlchab boʻlmaydi, shuning uchun tizim egib qoʻyolmaydigan oʻlchov kerak edi.
Bu oʻlchov qatʼiy sinov imtihoni: butun bazadagi 1 220 ta savoldan tasodifiy tanlangan yigirmata savol, har safar bir xil baholanadi va hech qachon moslashuvchan tarzda qiyinlashtirilmaydi. U yerda manzara teskarisiga oʻzgaradi. Oʻnta urinish davomida oʻrtacha ball 20 balldan 14.0 dan 15.7 ga koʻtariladi, oʻtish darajasi esa 20 foizdan 31 foizga oʻsadi. Natija eng qatʼiy kesimda ham saqlanadi: kamida beshta sinov topshirgan 1 416 nafar oʻquvchida oʻrtacha ball 14.01 dan 14.72 ga, 18 va undan yuqori ball toʻplaganlar ulushi esa 19.8 foizdan 26.1 foizga chiqqan.
Material bu tadqiqot nima emasligini ham ochiq aytadi. Bu nazorat guruhisiz kuzatuv maʼlumotlari; davlat imtihoni emas, oʻzimizning sinov imtihonlarimiz; va yosh mahsulotning taxminan besh oylik tarixi. Mashq qilgan oʻquvchilar bizning oʻlchovlarimizda yaxshilandi; buni AvtoPilot keltirib chiqardi deb daʼvo qilmaymiz. Ochiq eʼlon qilinadigan har bir raqam uchun mezonimiz shu, toʻliq tadqiqot esa Tadqiqotlar boʻlimida turibdi.