Kaip Lietuvos vaikai mokosi matematikos? PUPP ir VBE rezultatų analizė

Apie ką šis straipsnis?

2020 m. gruodžio 17 d. Švietimo, mokslo ir sporto ministerijoje (ŠMSM), Nacionalinėje švietimo agentūroje (NŠA), o 2021 m. sausio 12 d. Lietuvos statistikos departamente pristatytas projekto „ES šalių švietimo sistemų efektyvumo ir našumo analizė naudojant antrinius didelės apimties duomenis“ (sutrumpintai EFECTAS) tyrimas apie Lietuvos matematikos Pagrindinio ugdymo pasiekimų patikrinimo (PUPP) ir Valstybinių brandos egzaminų (VBE) mokinio lygmens rezultatus. Pristatyme atsakyta į šiuos klausimus:

  • ar reikšmingai skiriasi matematikos pasiekimai tarp vaikinų ir merginų?
  • ar tiesa, kad mokinių, kurie mokosi kaimo mokyklose, pasiekimai gerokai žemesni nei tų, kurie mokosi miestuose;
  • ar rezultatai, kuriuos skelbia nacionaliniai tyrimai, tokie patys, kaip ir tarptautinių pasiekimų?

 

Projekto tyrime analizuoti nuasmeninti visų Lietuvos bendrojo ugdymo mokyklų mokinių pasiekimai, kurie nuo 2011–2012 mokslo metų iki 2015–2016 mokslo metų laikė matematikos PUPP kartu su jų VBE vertinimais po dvejų metų (t. y. analizavome kiekvieno mokinio du matematikos vertinimus).

 

Tyrimo duomenų šaltinis – Informacinių technologijų centras (dabar – Nacionalinė švietimo agentūra). Įžangoje pradėkime nuo statistikos terminų, kurie buvo analizuojami tyrime, aptarimo, tada apžvelgsime bendras tendencijas ir pereisime prie atsakymų į klausimus.

Vidurkis, mediana ar moda?

 

Vidurkis itin dažnai minimas žiniasklaidoje ir naudojamas visų mūsų kasdienybėje, tik ar dažnai užduodame klausimą, ar tai tinkama statistikos charakteristika apibūdinti, pavyzdžiui, darbo užmokesčiui šalyje. Dažniausiai atsakome: netinkama. Ta pati tiesa yra ir mokinių pasiekimams aprašyti. Taigi kodėl ir kada vidurkis netinkama duomenų centro charakteristika. Atsakymas paprastas: jeigu analizuojamas kintamasis (darbo užmokestis ar matematikos pasiekimai) turi išskirtinai mažų arba išskirtinai didelių stebėjimų, tai vidurkis bus pasislinkęs į mažesnę pusę (dėl išskirtinai mažų stebėjimų) arba į didesnę pusę (dėl išskirtinai didelių stebėjimų). Kai yra išskirtinių stebėjimų, rodikliams apibūdinti turėtų būti skaičiuojama ir interpretuojama mediana, o ne vidurkis. Mediana yra reikšmė, už kurią iki 50 proc. stebėjimų yra mažesni ir iki 50 proc. didesni. Taigi mediana dar vadinama vidurine rodiklio reikšme ir jai skaičiuoti reikalingi tik rodiklio centro stebėjimai, todėl, jeigu ir yra išskirčių, jos neturi įtakos medianai skaičiuoti. Jeigu nėra išskirtinių stebėjimų, vidurkis lygus medianai ir analizuojant reiškinius nėra svarbu, kurią charakteristiką nagrinėsime. Moda yra dar viena informatyvi charakteristika, kuri nurodo, kuri kintamojo reikšmė stebima dažniausiai, pvz., matematikos pasiekimų dažniausias pažymys yra 5 ar 6, jeigu nagrinėjama dešimtbalė skalė.

 

Šiame tyrime analizavome ne tik šias tris statistikos charakteristikas, bet ir išsamius egzaminų rezultatų skirstinius, t. y., koks yra kiekvieno balo dažnis. Jeigu užduotys paruoštos tinkamai – pasiekimų skirstinys turėtų atitikti varpo formos kreivę arba Gauso skirstinį (žr. 1 grafiką). Tikimasi, kad daugiausiai mokinių atsidurs vidutinių pasiekimų srityje, o mažesnė dalis – bus įvertinti aukštais ir žemais pasiekimais. Kaip matome, grafikas simetriškas ir, tokiu atveju, vidurkis, mediana ir moda sutampa.

1 grafikas. Egzaminų rezultatų pasiskirstymas pagal Gauso skirstinį

Mokslinės studijos teigia, kad, jeigu egzaminų vertinimas kriterinis, pasiekimų skirstinys galėtų pasižymėti neigiama asimetrija, t. y. didesnės dalies vaikų pasiekimus nustatysime aukštesnių vidutinių ir aukštų pasiekimų dalyje. Neigiamos asimetrijos atveju, vidurkis yra mažesnis nei mediana. Nagrinėjamu periodu PUPP ir VBE vertinimas yra kriterinis. Lietuvos švietimo atstovai tokį skirstinį matytų pagrindinių pasiekimų, o ne abitūros egzaminų srityje. Taigi lūkestis – pamatyti normalųjį arba neigiamos asimetrijos skirstinį. Akcentuotina, jog analizuoti visos populiacijos duomenys, atliekant mokinio lygmens analizę. Imties sudarymo paklaidų nėra.

Bendros VBE ir PUPP tendencijos

 

2015–2016 mokslo metais, palyginti su 2011–2012 mokslo metais, PUPP laikė 16,7 proc. mažiau vaikų. VBE laikiusiųjų skaičius 2017–2018 mokslo metais, palyginti su 2013–2014 mokslo metais, padidėjo 9,4 proc. Stebima dalyvių mažėjimo tendencija, be abejo, atspindi mažėjančią populiaciją. O didesnis VBE dalyvių skaičius siejamas su 2015–2016 mokslo metais įsigaliojančiu nauju reikalavimu – stojantieji į valstybės finansuojamas vietas Lietuvos aukštosiose mokyklose (išskyrus į menų krypties specialybes) privalo būti išlaikę matematikos valstybinį brandos egzaminą. Tais metais laikančių matematiką skaičius, lyginant su ankstesniais metais, išaugo 22,8 procento. PUPP nagrinėjamu periodu neišlaikė iki 3 proc., o VBE iki 5 proc. mokinių.

 

Analizuojant PUPP kiekvienų analizuojamų metų matematikos rezultatus, gauta, jog tik 2012–2013 mokslo metais pasiekimų skirstinys yra artimas varpo formos kreivei, o visais kitais – pasiekimų skirstinys neatitinka normaliojo skirstinio. 2015–2016 mokslo metų skirstinį matote 2 grafike, ten vidurkis ir mediana skiriasi nedaug. Visais nagrinėjamais mokslo metais pasiekimų moda (dažniausias vertinimas) – lygi 4 ir, kaip žinome, mokykloje 4 yra paskutinis teigiamas įvertinimas. Kadangi pasiekimų skirstinys neatitinka normaliojo skirstinio, analizuojame medianas, o ne vidurkius. Matematikos PUPP pasiekimų mediana, priklausomai nuo metų, – lygi 5 arba 6 (PUPP skalė dešimtbalė), tai reiškia, jog 10 klasėje pusės mokinių matematikos pasiekimai žemi.


Vėliausių tyrime nagrinėjamų mokslo metų PUPP ir VBE matematikos pasiekimų skirstiniai, – mėlyna punktyrinė linija yra medianos, o raudona – vidurkio vieta.

 

Nagrinėjant matematikos VBE rezultatus stebimas pastovus atotrūkis tarp vidurkio ir medianos, t. y. vidurkis aukštesnis nei mediana, tai reiškia, kad didžioji dalis stebėjimų koncentruojami žemų pasiekimų dalyje, o vidurkį didina santykinai nedidelė aukščiausius balus surenkanti mokinių dalis (žr. 2 grafiką dešinėje). Kaip matome 2 grafike, matematikos pasiekimų VBE skirstinys nė iš tolo nepanašus į normalųjį skirstinį, o pasižymi teigiama (atvirkščiai nei laukta) asimetrija. Nors pateikiame tik vienerių metų skirstinį, tačiau kitų, grafike nepavaizduotų, metų skirstinių forma panaši. VBE mediana lygi 42 balams arba mažesnė, o moda – ties 25, tai rodo, jog iki pusės matematikos pasiekimų koncentruojami žemesnių pasiekimų srityje. Dar įdomiau, kad metiniuose duomenyse stebima pjūklo tipo tendencija, t. y. 30 balų medianą 2013–2014 metais po metų pakeitė 36 balų mediana, kuri krito iki 32 balų 2015–2016 ir vėl padidėjo iki 42 balų po metų, o 2017–2018 metais mediana siekė vos 28 balus ir buvo mažiausia per visą stebėtą periodą. Tai kelia itin įdomių klausimų, tai yra, ar kas antri metai mokiniai mažiau gabesni, ar kas antrus metus keičiasi mokymo ir mokymosi kokybė, o gal kas antrus metus turime neatitikimą tarp mokymo turinio ir egzamino užduočių. Kadangi šiame tyrime analizuojame tik pasiekimų duomenis, nenagrinėdami ugdymo turinio ar egzaminų užduočių kokybės, tad atsakyti į iškeltus klausimus reikia papildomų tyrimų.

 

Primename, kad pirminė abitūros egzaminų skalė yra nuo 0 iki 60 balų, o vėliau ji paverčiama skale nuo 16 iki 100 balų. Neišlaikiusiųjų egzamino vertinimas lygus 0. Vadinasi, nėra vertinimų 1–15 balų intervalu. Tokio trūkaus skirstinio analizė statistiškai komplikuota, todėl Švietimo, mokslo ir sporto ministerijai ir Nacionalinei švietimo agentūrai tyrėjų komanda iškėlė klausimą, ar tikrai svarbu išlaikyti būtent tokį VBE vertinimo modelį – juk svarbu žinoti, ar surinktas tam tikras taškų skaičius, nors galutinis įvertinimas ir neigiamas?

Ar reikšmingai skiriasi vaikinų ir merginų matematikos pasiekimai?

 

Atsakymas – nesiskiria.

Nagrinėjant PUPP ir VBE pasiekimų skirstinius pagal lytis, nepastebima jų prasilenkimų. Užfiksuota, jog PUPP mergaičių žinios dažniau vertinamos aukštesniais balais nei berniukų, tačiau, žvelgdami į centro charakteristikas, pastebėjome, kad yra tik vieneri metai, kai mergaičių mediana vienu balu aukštesnė, todėl negalima įvardyti, jog esama lyčių mokymosi atotrūkio. Akivaizdu, kad Lietuvoje 10 kl. mergaičių ir berniukų matematikos žinios panašaus lygio.

 

Pirmus dvejus metus mergaitės matematikos VBE laikė geriau, tačiau vėliau situacija keičiasi ir per kitus dvejus metus egzaminą geriau išlaikė berniukai. Paskutiniaisiais metais skirtumo tarp lyčių laikant matematikos VBE praktiškai neliko. Taigi pagal lytį neįmanoma išskirti, kas valstybinį matematikos brandos egzaminą laiko geriau.

 

Švietime pasiekimų skirtumai tarp lyčių – itin svarbi dimensija. Tačiau Lietuvoje nepastebime matematikos PUPP ir VBE pasiekimų skirtumų tarp lyčių. Skirtumas tarp lyčių pastebimas itin nedidelis – vidutiniškai iki vos 0,3 balo. Skirtumai tarp lyčių menkai paaiškina matematikos pasiekimų variacijas (PUPP 0,4–0,8 proc., o VBE iki 0,5 proc.).

Ar tiesa, kad kaimo mokyklų mokinių pasiekimai yra gerokai žemesni nei miestų?

 

Atsakymas – nėra gerokai mažesni.

Analizavome, kaip skiriasi skirstiniai pagal mokyklų vietovę. Išskyrėme Vilnių, didžiuosius miestus (Kauną, Klaipėdą, Šiaulius, Panevėžį), miestus (15–100 tūkst. gyv.), miestelius (3–15 tūkst. gyv.) ir kaimo vietoves (<3 tūkst. gyv.). Norėjome patikrinti hipotezę, ar kaimiškose vietovėse pasiekimai gerokai žemesni, jei lyginame juos su miestų rezultatais. Gavome, jog matematikos pasiekimų PUPP ir VBE skirstiniai pagal vietovę persidengia, t. y. didelių skirtumų nėra.

 

PUPP moda lygi 4. Tokia išlieka visais pjūviais. Rezultatus šiek tiek keičia Vilnius ir didieji miestai, ten vaikų pasiekimai dažniau vertinami 8–10 balų. Tai, kad vaikas mokėsi Vilniaus mokykloje, gali lemti vidutiniškai 1 balu aukštesnius PUPP pasiekimus, palyginti su kaimo vietovėmis, ir tai didžiausias įvertintas skirtumas.

 

VBE skirstinio pikas ties 25 balais stebimas visais tyrinėtais metais, o tai reiškia, kad nemaža dalis mokinių matematikos brandos egzaminą išlaiko silpnai ir tai nepriklauso nuo vietovės. Vis dėlto analizuojant VBE pasiekimus matome, kad iki 2016–2017 m. matematikos VBE 100 balų įvertinimai arba aukštieji balai buvo kaip išskirtys ir tik keliose savivaldybėse. Tačiau 2017–2018 m. situacija kardinaliai skiriasi. Atrodytų, kad tų metų užduotys buvo siurprizas abiturientams ir aukštų balų įvertinimai tapo išskirtimis praktiškai visur, išskyrus Vilniaus ir Kauno miestų savivaldybes.

 

Vietovė, kurioje vaikas mokosi, yra tarsi svarbesnis pasiekimų skirtumus paaiškinantis rodiklis nei lytis ir parodo nuo 2,4 iki 4,7 proc. PUPP pasiekimų variacijos, o VBE atitinkamai 4,8–6,4 proc.

Ar sutampa nacionaliniai ir tarptautiniai pasiekimų rezultatai?

 

Rezultatai skiriasi.

Tarptautiniai penkiolikmečių (PISA) tyrimai remiasi atsitiktine imtimi.

Šių duomenų skirstinys yra normalusis (žr. 3 grafiką), nes tai lemia tyrimo metodologija. PISA 2015 tyrimas atskleidė, kad kaimo vietovėse rezultatai statistiškai reikšmingai skiriasi nuo miesto, t. y. kaimo vietovės pasiekimų skirstinys pasislinkęs į kairę, lyginant su miesto vaikų pasiekimų skirstiniu. Tokio poslinkio VBE pasiekimų rezultatuose nepastebime, kaip ir nepastebime normaliojo skirstinio. Kadangi PISA skirstinys yra normalusis, mediana ir vidurkis lygūs, tai reiškia, kad apibūdinant pasiekimus galima operuoti vidurkiu. Tačiau nacionalinių pasiekimų skirstiniai neatitinka normaliojo skirstinio, o tai reiškia, kad vidurkis nėra tinkama interpretuoti charakteristika, nes ji, pvz., 2017–2018 m. m. VBE 2 grafike, parodo „per gerą vaizdą“. VBE pasiekimų skirstinio pikas yra žemų pasiekimų srityje, kai PISA pasiekimų pikas – skalės viduryje. Jeigu pagal PISA skirstinį Lietuvos pasiekimai nėra vidutiniškai blogi, tai pagal VBE būtent taip ir yra.

 

Galime pateikti klausimą, ar reikėtų formuoti švietimo politiką tik pagal PISA rezultatus? Atsakymas iš tyrimo pusės – ne. Todėl mūsų švietimo politikos dokumentuose tai turėtų būti keistina, aprėpiamas gerokai platesnis švietimui įtaką darančių veiksnių laukas.

 

Šiame straipsnyje mokslininkai pasidalino tik dalimi rezultatų, todėl kviečia detaliau sekti ir skaityti jų mokslines publikacijas projekto svetainėje.

 

Nuo 2018 m. Vilniaus universiteto mokslininkai vykdo aukšto lygio MTEP projektą „ES šalių švietimo sistemų efektyvumo ir našumo analizė naudojant antrinius didelės apimties duomenis“ (sutrumpinimas EFECTAS), kurio dvi pagrindinės veiklos yra:

  • nustatyti ir palyginti skirtingo lygmens veiksnius, veikiančius ES šalių švietimo sistemų efektyvumą ir našumą;
  • sukurti naujus efektyvumą ir našumą vertinančius metodus ir įrankius.

 

Projektą Lietuvoje įgyvendinanti mokslininkų grupė: prof. dr. Audronė Jakaitienė (projekto vadovė), prof. habil. dr. Rimantas Želvys, prof. dr. (HP) Julius Žilinskas, prof. dr. Saulė Raižienė, dr. Rita Dukynaitė, dr. Laura Ringienė, dr. Dovilė Stumbrienė, Jogaila Vaitekaitis.

 

Nuo 2018 m. Vilniaus universiteto mokslininkai vykdo aukšto lygio Mokslinių tyrimų ir eksperimentinės plėtros (MTEP) projektą „ES šalių švietimo sistemų efektyvumo ir našumo analizė naudojant antrinius didelės apimties duomenis“ (sutrumpinimas EFECTAS), kurio dvi pagrindinės veiklos yra: nustatyti ir palyginti skirtingo lygmens veiksnius, veikiančius Europos Sąjungos šalių švietimo sistemų efektyvumą ir našumą bei sukurti naujų vertinimo metodų ir priemonių, skirtų įvertinti efektyvumą ir našumą. Projektas bendrai finansuotas iš Europos socialinio fondo lėšų (projekto Nr. DOTSUT-39 (09.3.3-LMT-K-712-01-0018) / LSS-250000-57) pagal dotacijos sutartį su Lietuvos mokslo taryba (LMTLT).

Kaip Lietuvos vaikai mokosi lietuvių kalbos ir literatūros? (PUPP ir VBE rezultatų analizė) skaitykite: čia

Parengė Aušra Židžiūnienė

Mielai sutinkame pasidalyti „Švietimo naujienų“ svetainėje skelbiamais tekstais ir nuotraukomis, tik prašome nurodyti informacijos šaltinį ir autorius.