Lyginamasis vertinimas ir nepriklausomas vertinimas
Lyginamasis vertinimas ir nepriklausomas vertinimas yra du skirtingi kokybės vertinimo metodai kritinio mąstymo kontekste. Lyginamasis vertinimas remiasi santykiniais darbų porų palyginimais, o nepriklausomas vertinimas naudoja absoliučius kriterijus, taikomus kiekvienam elementui atskirai. Abu metodai yra pasiteisinę švietimo ir mokslinių tyrimų aplinkoje.
Akcentai
Lyginamasis vertinimas naudoja porinius palyginimus, o nepriklausomas vertinimas – absoliučius kriterijus.
Statistiniai modeliai, tokie kaip Bradley-Terry, pagrindžia lyginamojo vertinimo patikimumą
Nepriklausomas vertinimas dominuoja standartizuotų testų ir sertifikavimo kontekstuose
Naudoja kiekvienam elementui atskirai taikomas rubrikas, kontrolinius sąrašus arba vertinimo skales
Leidžia tiesiogiai palyginti su iš anksto nustatytais standartais
Sudaro daugumos standartizuotų testavimo sistemų pagrindą visame pasaulyje
Leidžia greičiau įvertinti, kai jau yra aiškūs lyginamieji rodikliai
Palyginimo lentelė
Funkcija
Lyginamasis sprendimas
Nepriklausomas vertinimas
Vertinimo tipas
Santykinis (porinis palyginimas)
Absoliutus (pagrįstas kriterijais)
Taškų skaičiavimo metodas
Teisėjai iš dviejų dalykų išrenka geresnį
Kiekvienas elementas buvo įvertintas pagal fiksuotą vertinimo kriterijų
Statistinis modelis
Bradley-Terry arba Thurstonian modeliai
Klasikinė testų teorija arba atsakymų į klausimus teorija
Teisėjo darbo krūvis
Aukštas (reikia daug palyginimų)
Vidutinis (po vieną vertinimą kiekvienam elementui)
Atsparumas šališkumui
Griežtai prieštarauja individualiam teisėjo šališkumui
Pažeidžiami individualaus vertintojo dreifo
Geriausias naudojimo atvejis
Holistinis kokybės vertinimas
Standartais pagrįstas sertifikavimas
Atsiliepimų greitis
Lėtesnis dėl palyginimo apimties
Greičiau su nustatytomis vertinimo skalėmis
Patikimumo šaltinis
Daug teisėjų palyginimų
Kalibruotos rubrikos ir apmokyti vertintojai
Išsamus palyginimas
Pagrindinė metodologija
Esminis skirtumas slypi tame, kaip kiekvienas metodas vertina kokybę. Lyginamasis vertinimas prašo vertintojų greta įvertinti du elementus ir nuspręsti, kuris iš jų yra geresnis, taip išvengiant absoliučių balų skyrimo sunkumų. Tuo tarpu nepriklausomas vertinimas prašo vertintojų įvertinti kiekvieną elementą pagal iš anksto nustatytą vertinimo kriterijų ar standartą, kiekvieną pateiktą dalyką traktuojant kaip atskirą atvejį.
Patikimumas ir nuoseklumas
Lyginamasis vertinimas didina patikimumą dėl didelio porinių palyginimų kiekio, o statistiniai modeliai išlygina individualius vertintojų trūkumus. Nepriklausomas vertinimas labai priklauso nuo rubrikų aiškumo ir vertintojų mokymo, o tai reiškia, kad nuoseklumas gali labai skirtis tarp vertintojų, nebent į procesą būtų įtrauktos kalibravimo sesijos.
Praktinis pritaikymas
Švietimo aplinkoje lyginamasis vertinimas įgijo populiarumą vertinant rašymo portfolio, kur holistinė kokybė yra svarbesnė nei atitikimas kontroliniam sąrašui. Nepriklausomas vertinimas išlieka dominuojantis standartizuotame testavime, profesiniame sertifikavime ir bet kuriame kitame kontekste, kur sprendimai dėl teigiamo/neteisingo darbo turi atitikti fiksuotus kompetencijos standartus.
Stiprybės ir apribojimai
Lyginamasis vertinimas puikiai fiksuoja smulkius kokybės skirtumus, kurių vertinimo kriterijai gali nepastebėti, tačiau norint pasiekti statistinį reikšmingumą, reikia daugiau laiko ir didesnio vertintojų skaičiaus. Nepriklausomas vertinimas suteikia greitį ir aiškius kriterijus, tačiau gali supaprastinti sudėtingą darbą iki kontrolinio sąrašo balo, kuris neatspindi platesnio bendros kokybės vaizdo.
Tyrimų pagrindimas
Jungtinėje Karalystėje atlikti tyrimai parodė, kad lyginamojo vertinimo metodas užtikrina vertintojų tarpusavio patikimumą, panašų į tradicinį vertinimą, tačiau apskritai yra greitesnis. Nepriklausomo vertinimo pagrįstumą patvirtina dešimtmečius trukę psichometriniai tyrimai, ypač taikant tokias sistemas kaip Bloomo taksonomija ir šiuolaikinius kompetencijomis pagrįstus vertinimo modelius.
Privalumai ir trūkumai
Lyginamasis sprendimas
Privalumai
+Sumažina individualų šališkumą
+Užfiksuoja holistinę kokybę
+Stiprus statistinis pagrindas
+Natūralus sprendimų priėmimo procesas
Pasirinkta
−Laiko reikalaujantis nustatymas
−Reikia daug teisėjų
−Sunkiau paaiškinti
−Reikia daugiau palyginimų
Nepriklausomas vertinimas
Privalumai
+Aiškūs lyginamieji rodikliai
+Greitesnis apyvartumas
+Plačiai suprantama
+Lengva standartizuoti
Pasirinkta
−Rubrikos priklausomybė
−Vertintojo dreifo rizika
−Galima pernelyg supaprastinti
−Mažiau užfiksuotų niuansų
Dažni klaidingi įsitikinimai
Mitas
Lyginamasis vertinimas yra tik populiarumo konkursas tarp teisėjų.
Realybė
Šis metodas naudoja sudėtingus statistinius modelius, kad būtų galima apibendrinti daugybę nepriklausomų palyginimų, pašalinant individualius šališkumus. Esant pakankamai teisėjų ir palyginimų, gauti reitingai atspindi tikrus kokybės skirtumus, o ne vieno teisėjo pageidavimus.
Mitas
Nepriklausomas vertinimas yra visiškai objektyvus, nes jame naudojamos vertinimo skalės.
Realybė
Net ir taikant išsamias vertinimo vertinimo kriterijų sistemas, žmogaus sprendimas kiekviename vertinimo sprendime įneša subjektyvumo. Vertinimo kriterijai sumažina, bet niekada nepašalina vertintojų interpretavimo pasirinkimų, taikydami kriterijus realiam darbui.
Mitas
Lyginamasis vertinimas negali suteikti grįžtamojo ryšio besimokantiesiems.
Realybė
Šiuolaikiniai diegimai gali generuoti išsamų grįžtamąjį ryšį analizuodami, kurie elementai nuolat vertinami aukščiau, ir nustatydami savybes, kurios skiria geriausiai įvertintus darbus nuo žemesnio reitingo pateiktų darbų.
Mitas
Nepriklausomas vertinimas yra pasenęs, palyginti su naujesniais metodais.
Realybė
Nepriklausomas vertinimas išlieka auksiniu standartu svarbiose situacijose, tokiose kaip medicininis licencijavimas, teisinis sertifikavimas ir standartizuotas testavimas, būtent todėl, kad absoliutūs standartai yra svarbūs, kai kyla pavojus gyvybėms ar kvalifikacijai.
Dažnai užduodami klausimai
Kuo pagrindinis skirtumas tarp lyginamojo vertinimo ir nepriklausomo vertinimo?
Lyginamasis vertinimas prašo vertintojų palyginti du elementus ir pasirinkti geresnį, o nepriklausomas vertinimas kiekvieną elementą vertina pagal fiksuotą vertinimo kriterijų arba standartą. Pirmasis yra santykinis, antrasis – absoliutus.
Kuris metodas yra patikimesnis vertinant studentų rašto darbus?
JK švietimo sistemų tyrimai rodo, kad abu metodai gali pasiekti didelį patikimumą, tačiau lyginamasis vertinimas dažnai duoda nuoseklesnius rezultatus tarp vertintojų, nes jis apeina absoliutaus vertinimo kintamumą. Nepriklausomas vertinimas gali tai suderinti su griežtu rubrikų kalibravimu.
Kiek palyginimų reikia, kad lyginamasis vertinimas veiktų?
Daugumai įgyvendinimo būdų reikia, kad kiekvienas elementas būtų palygintas bent 10–15 kartų su skirtingais vertintojais. Pateikus 30 darbų, tai reiškia maždaug 200–300 palyginimų, kad būtų gauti statistiškai reikšmingi reitingai.
Ar lyginamasis vertinimas gali visiškai pakeisti tradicinį vertinimą?
Kai kuriais atvejais taip. Mokyklos, naudojančios platformą „No More Marking“, įprastą rašinių vertinimą pakeitė lyginamuoju vertinimu. Tačiau jis geriausiai veikia formuojamajam ir holistiniam vertinimui, o ne svarbiems sertifikavimo darbams.
Kodėl standartizuoti testai vis dar naudoja nepriklausomą vertinimą?
Standartizuotiems testams reikalingos aiškios išlaikymo / neišlaikymo ribos, susietos su konkrečiomis kompetencijomis. Nepriklausomas vertinimas pateikia absoliučius kriterijus, reikalingus sprendimams dėl kvalifikacijos suteikimo, o lyginamasis vertinimas pateikia tik santykinius reitingus.
Ar lyginamasis vertinimas yra greitesnis nei tradicinis vertinimas?
Nors intuicija nelogiška, taip. Nors kiekvienas palyginimas trunka tik kelias sekundes, taikant apibendrintą metodą bendras vertinimo laikas sutrumpėja, nes teisėjai, lygindami du elementus, priima sprendimus greičiau nei skirdami absoliučius balus sudėtingam darbui.
Kokių mokymų reikia teisėjams, norintiems atlikti nepriklausomą vertinimą?
Vertintojams paprastai reikalingos kalibravimo sesijos, kurių metu jie praktikuojasi taikyti vertinimo kriterijus imties darbams atlikti ir aptaria neatitikimus. Daugumai programų reikia kelių valandų mokymų ir nuolatinių kokybės patikrinimų, kad būtų išlaikytas nuoseklumas.
Ar abu metodus galima derinti viename vertinime?
Žinoma. Daugelis pedagogų naudoja nepriklausomą vertinimą pradinei atrankai pagal kriterijus, o tada taiko lyginamąjį vertinimą galutiniam elementų, atitinkančių bazinius reikalavimus, reitingavimui. Šis hibridinis metodas išnaudoja abiejų metodų privalumus.
Kuris metodas yra geresnis kritinio mąstymo vertinimui?
Lyginamasis vertinimas linkęs holistiniu būdu atspindėti kritinio mąstymo kokybę, nes jis atspindi bendrą vertinimą, o ne mąstymo redukavimą iki kontrolinio sąrašo punktų. Nepriklausomas vertinimas veikia gerai, kai kritinio mąstymo komponentus galima aiškiai apibrėžti ir atskirti.
Ar lyginamasis vertinimas tinka ir kitiems dalykams, ne tik rašymui?
Taip, jis buvo taikomas matematikos uždavinių sprendimui, gamtos mokslų tyrimams, meno portfolio ir net programavimo užduotims. Visur, kur svarbi holistinė kokybė, porinis palyginimas gali generuoti naudingus reitingus.
Nuosprendis
Vertindami holistinę daugelio pateiktų darbų kokybę, rinkitės lyginamąjį vertinimą ir turėsite prieigą prie kelių apmokytų vertintojų, norinčių atlikti daugybę palyginimų. Nepriklausomas vertinimas veikia geriau, kai jums reikia greitų sprendimų pagal nustatytus standartus, pavyzdžiui, sertifikavimo egzaminų ar kompetencijų patikrinimų metu su aiškiais teisingais atsakymais.