Comparthing Logo
kritinis mąstymasvertinimasišsilavinimasvertinimo metodaipsichometrija

Lyginamasis vertinimas ir nepriklausomas vertinimas

Lyginamasis vertinimas ir nepriklausomas vertinimas yra du skirtingi kokybės vertinimo metodai kritinio mąstymo kontekste. Lyginamasis vertinimas remiasi santykiniais darbų porų palyginimais, o nepriklausomas vertinimas naudoja absoliučius kriterijus, taikomus kiekvienam elementui atskirai. Abu metodai yra pasiteisinę švietimo ir mokslinių tyrimų aplinkoje.

Akcentai

  • Lyginamasis vertinimas naudoja porinius palyginimus, o nepriklausomas vertinimas – absoliučius kriterijus.
  • Statistiniai modeliai, tokie kaip Bradley-Terry, pagrindžia lyginamojo vertinimo patikimumą
  • Nepriklausomas vertinimas dominuoja standartizuotų testų ir sertifikavimo kontekstuose
  • Lyginamasis vertinimas sumažina individualų vertintojų šališkumą atliekant apibendrintus palyginimus

Kas yra Lyginamasis sprendimas?

Santykinis vertinimo metodas, kai vertintojai lygina porinius elementus ir pasirenka geresnį.

  • Sukurtas remiantis Thurstone'o lyginamojo vertinimo dėsniu 1920 m.
  • Naudoja porinius palyginimus, o ne absoliučias vertinimo skales
  • Remiamasi Bradley-Terry modeliu, kad porinius pasirinkimus paverstų reitingais
  • Reikalingi keli teisėjai, atliekantys daug palyginimų dėl statistinio patikimumo
  • Plačiai taikomas JK švietimo sistemose mokinių rašto darbams vertinti

Kas yra Nepriklausomas vertinimas?

Absoliutus vertinimo metodas, kai kiekvienas elementas vertinamas pagal individualius privalumus ir iš anksto nustatytus kriterijus.

  • Įsišaknijęs tradicinėje psichometrinių matavimų teorijoje
  • Naudoja kiekvienam elementui atskirai taikomas rubrikas, kontrolinius sąrašus arba vertinimo skales
  • Leidžia tiesiogiai palyginti su iš anksto nustatytais standartais
  • Sudaro daugumos standartizuotų testavimo sistemų pagrindą visame pasaulyje
  • Leidžia greičiau įvertinti, kai jau yra aiškūs lyginamieji rodikliai

Palyginimo lentelė

Funkcija Lyginamasis sprendimas Nepriklausomas vertinimas
Vertinimo tipas Santykinis (porinis palyginimas) Absoliutus (pagrįstas kriterijais)
Taškų skaičiavimo metodas Teisėjai iš dviejų dalykų išrenka geresnį Kiekvienas elementas buvo įvertintas pagal fiksuotą vertinimo kriterijų
Statistinis modelis Bradley-Terry arba Thurstonian modeliai Klasikinė testų teorija arba atsakymų į klausimus teorija
Teisėjo darbo krūvis Aukštas (reikia daug palyginimų) Vidutinis (po vieną vertinimą kiekvienam elementui)
Atsparumas šališkumui Griežtai prieštarauja individualiam teisėjo šališkumui Pažeidžiami individualaus vertintojo dreifo
Geriausias naudojimo atvejis Holistinis kokybės vertinimas Standartais pagrįstas sertifikavimas
Atsiliepimų greitis Lėtesnis dėl palyginimo apimties Greičiau su nustatytomis vertinimo skalėmis
Patikimumo šaltinis Daug teisėjų palyginimų Kalibruotos rubrikos ir apmokyti vertintojai

Išsamus palyginimas

Pagrindinė metodologija

Esminis skirtumas slypi tame, kaip kiekvienas metodas vertina kokybę. Lyginamasis vertinimas prašo vertintojų greta įvertinti du elementus ir nuspręsti, kuris iš jų yra geresnis, taip išvengiant absoliučių balų skyrimo sunkumų. Tuo tarpu nepriklausomas vertinimas prašo vertintojų įvertinti kiekvieną elementą pagal iš anksto nustatytą vertinimo kriterijų ar standartą, kiekvieną pateiktą dalyką traktuojant kaip atskirą atvejį.

Patikimumas ir nuoseklumas

Lyginamasis vertinimas didina patikimumą dėl didelio porinių palyginimų kiekio, o statistiniai modeliai išlygina individualius vertintojų trūkumus. Nepriklausomas vertinimas labai priklauso nuo rubrikų aiškumo ir vertintojų mokymo, o tai reiškia, kad nuoseklumas gali labai skirtis tarp vertintojų, nebent į procesą būtų įtrauktos kalibravimo sesijos.

Praktinis pritaikymas

Švietimo aplinkoje lyginamasis vertinimas įgijo populiarumą vertinant rašymo portfolio, kur holistinė kokybė yra svarbesnė nei atitikimas kontroliniam sąrašui. Nepriklausomas vertinimas išlieka dominuojantis standartizuotame testavime, profesiniame sertifikavime ir bet kuriame kitame kontekste, kur sprendimai dėl teigiamo/neteisingo darbo turi atitikti fiksuotus kompetencijos standartus.

Stiprybės ir apribojimai

Lyginamasis vertinimas puikiai fiksuoja smulkius kokybės skirtumus, kurių vertinimo kriterijai gali nepastebėti, tačiau norint pasiekti statistinį reikšmingumą, reikia daugiau laiko ir didesnio vertintojų skaičiaus. Nepriklausomas vertinimas suteikia greitį ir aiškius kriterijus, tačiau gali supaprastinti sudėtingą darbą iki kontrolinio sąrašo balo, kuris neatspindi platesnio bendros kokybės vaizdo.

Tyrimų pagrindimas

Jungtinėje Karalystėje atlikti tyrimai parodė, kad lyginamojo vertinimo metodas užtikrina vertintojų tarpusavio patikimumą, panašų į tradicinį vertinimą, tačiau apskritai yra greitesnis. Nepriklausomo vertinimo pagrįstumą patvirtina dešimtmečius trukę psichometriniai tyrimai, ypač taikant tokias sistemas kaip Bloomo taksonomija ir šiuolaikinius kompetencijomis pagrįstus vertinimo modelius.

Privalumai ir trūkumai

Lyginamasis sprendimas

Privalumai

  • + Sumažina individualų šališkumą
  • + Užfiksuoja holistinę kokybę
  • + Stiprus statistinis pagrindas
  • + Natūralus sprendimų priėmimo procesas

Pasirinkta

  • Laiko reikalaujantis nustatymas
  • Reikia daug teisėjų
  • Sunkiau paaiškinti
  • Reikia daugiau palyginimų

Nepriklausomas vertinimas

Privalumai

  • + Aiškūs lyginamieji rodikliai
  • + Greitesnis apyvartumas
  • + Plačiai suprantama
  • + Lengva standartizuoti

Pasirinkta

  • Rubrikos priklausomybė
  • Vertintojo dreifo rizika
  • Galima pernelyg supaprastinti
  • Mažiau užfiksuotų niuansų

Dažni klaidingi įsitikinimai

Mitas

Lyginamasis vertinimas yra tik populiarumo konkursas tarp teisėjų.

Realybė

Šis metodas naudoja sudėtingus statistinius modelius, kad būtų galima apibendrinti daugybę nepriklausomų palyginimų, pašalinant individualius šališkumus. Esant pakankamai teisėjų ir palyginimų, gauti reitingai atspindi tikrus kokybės skirtumus, o ne vieno teisėjo pageidavimus.

Mitas

Nepriklausomas vertinimas yra visiškai objektyvus, nes jame naudojamos vertinimo skalės.

Realybė

Net ir taikant išsamias vertinimo vertinimo kriterijų sistemas, žmogaus sprendimas kiekviename vertinimo sprendime įneša subjektyvumo. Vertinimo kriterijai sumažina, bet niekada nepašalina vertintojų interpretavimo pasirinkimų, taikydami kriterijus realiam darbui.

Mitas

Lyginamasis vertinimas negali suteikti grįžtamojo ryšio besimokantiesiems.

Realybė

Šiuolaikiniai diegimai gali generuoti išsamų grįžtamąjį ryšį analizuodami, kurie elementai nuolat vertinami aukščiau, ir nustatydami savybes, kurios skiria geriausiai įvertintus darbus nuo žemesnio reitingo pateiktų darbų.

Mitas

Nepriklausomas vertinimas yra pasenęs, palyginti su naujesniais metodais.

Realybė

Nepriklausomas vertinimas išlieka auksiniu standartu svarbiose situacijose, tokiose kaip medicininis licencijavimas, teisinis sertifikavimas ir standartizuotas testavimas, būtent todėl, kad absoliutūs standartai yra svarbūs, kai kyla pavojus gyvybėms ar kvalifikacijai.

Dažnai užduodami klausimai

Kuo pagrindinis skirtumas tarp lyginamojo vertinimo ir nepriklausomo vertinimo?
Lyginamasis vertinimas prašo vertintojų palyginti du elementus ir pasirinkti geresnį, o nepriklausomas vertinimas kiekvieną elementą vertina pagal fiksuotą vertinimo kriterijų arba standartą. Pirmasis yra santykinis, antrasis – absoliutus.
Kuris metodas yra patikimesnis vertinant studentų rašto darbus?
JK švietimo sistemų tyrimai rodo, kad abu metodai gali pasiekti didelį patikimumą, tačiau lyginamasis vertinimas dažnai duoda nuoseklesnius rezultatus tarp vertintojų, nes jis apeina absoliutaus vertinimo kintamumą. Nepriklausomas vertinimas gali tai suderinti su griežtu rubrikų kalibravimu.
Kiek palyginimų reikia, kad lyginamasis vertinimas veiktų?
Daugumai įgyvendinimo būdų reikia, kad kiekvienas elementas būtų palygintas bent 10–15 kartų su skirtingais vertintojais. Pateikus 30 darbų, tai reiškia maždaug 200–300 palyginimų, kad būtų gauti statistiškai reikšmingi reitingai.
Ar lyginamasis vertinimas gali visiškai pakeisti tradicinį vertinimą?
Kai kuriais atvejais taip. Mokyklos, naudojančios platformą „No More Marking“, įprastą rašinių vertinimą pakeitė lyginamuoju vertinimu. Tačiau jis geriausiai veikia formuojamajam ir holistiniam vertinimui, o ne svarbiems sertifikavimo darbams.
Kodėl standartizuoti testai vis dar naudoja nepriklausomą vertinimą?
Standartizuotiems testams reikalingos aiškios išlaikymo / neišlaikymo ribos, susietos su konkrečiomis kompetencijomis. Nepriklausomas vertinimas pateikia absoliučius kriterijus, reikalingus sprendimams dėl kvalifikacijos suteikimo, o lyginamasis vertinimas pateikia tik santykinius reitingus.
Ar lyginamasis vertinimas yra greitesnis nei tradicinis vertinimas?
Nors intuicija nelogiška, taip. Nors kiekvienas palyginimas trunka tik kelias sekundes, taikant apibendrintą metodą bendras vertinimo laikas sutrumpėja, nes teisėjai, lygindami du elementus, priima sprendimus greičiau nei skirdami absoliučius balus sudėtingam darbui.
Kokių mokymų reikia teisėjams, norintiems atlikti nepriklausomą vertinimą?
Vertintojams paprastai reikalingos kalibravimo sesijos, kurių metu jie praktikuojasi taikyti vertinimo kriterijus imties darbams atlikti ir aptaria neatitikimus. Daugumai programų reikia kelių valandų mokymų ir nuolatinių kokybės patikrinimų, kad būtų išlaikytas nuoseklumas.
Ar abu metodus galima derinti viename vertinime?
Žinoma. Daugelis pedagogų naudoja nepriklausomą vertinimą pradinei atrankai pagal kriterijus, o tada taiko lyginamąjį vertinimą galutiniam elementų, atitinkančių bazinius reikalavimus, reitingavimui. Šis hibridinis metodas išnaudoja abiejų metodų privalumus.
Kuris metodas yra geresnis kritinio mąstymo vertinimui?
Lyginamasis vertinimas linkęs holistiniu būdu atspindėti kritinio mąstymo kokybę, nes jis atspindi bendrą vertinimą, o ne mąstymo redukavimą iki kontrolinio sąrašo punktų. Nepriklausomas vertinimas veikia gerai, kai kritinio mąstymo komponentus galima aiškiai apibrėžti ir atskirti.
Ar lyginamasis vertinimas tinka ir kitiems dalykams, ne tik rašymui?
Taip, jis buvo taikomas matematikos uždavinių sprendimui, gamtos mokslų tyrimams, meno portfolio ir net programavimo užduotims. Visur, kur svarbi holistinė kokybė, porinis palyginimas gali generuoti naudingus reitingus.

Nuosprendis

Vertindami holistinę daugelio pateiktų darbų kokybę, rinkitės lyginamąjį vertinimą ir turėsite prieigą prie kelių apmokytų vertintojų, norinčių atlikti daugybę palyginimų. Nepriklausomas vertinimas veikia geriau, kai jums reikia greitų sprendimų pagal nustatytus standartus, pavyzdžiui, sertifikavimo egzaminų ar kompetencijų patikrinimų metu su aiškiais teisingais atsakymais.

Susiję palyginimai

Abstraktus problemų sprendimas ir taisyklėmis pagrįstas programavimas

Abstraktus problemų sprendimas pabrėžia lankstų, kūrybišką mąstymą nepažįstamose situacijose, o taisyklėmis pagrįstas programavimas remiasi iš anksto apibrėžtomis loginėmis instrukcijomis, kad gautų rezultatus. Abu metodai formuoja, kaip mašinos ir žmonės sprendžia iššūkius, tačiau jie labai skiriasi prisitaikomumu, skaidrumu ir problemų rūšimis, kurias jie geriausiai sprendžia.

Analitinis mąstymas ir tiesioginės patirties suvokimas

Analitinis mąstymas suskaido problemas į logines sudedamąsias dalis sisteminiam vertinimui, o tiesioginės patirties suvokimas grindžia supratimą tiesioginiu, įkūnytu suvokimu. Abu požiūriai formuoja tai, kaip mes apdorojame realybę, tačiau jie veikia iš esmės skirtingais kognityviniais keliais ir tarnauja skirtingiems tikslams priimant sprendimus.

Asimetrijos analizė ir simetrijos prielaida

Asimetrijos analizė ir simetrijos prielaida yra du priešingi įrodymų ir argumentų vertinimo būdai. Asimetrijos analizė vertina teiginius pagal jų konkretų kontekstą ir įrodymo naštą, o simetrijos prielaida konkuruojančius teiginius laiko vienodai patikimais, kol neįrodyta priešingai. Abiejų metodų supratimas padeda lavinti kritinį mąstymą.

Atsitiktinumas ir struktūriniai apribojimai

Atsitiktinumas ir struktūriniai apribojimai yra dvi priešingos jėgos kritiniame mąstyme. Atsitiktinumas įneša nenuspėjamumo ir naujumo, o struktūriniai apribojimai nustato tvarką, modelius ir ribas. Supratimas, kaip šios jėgos sąveikauja, formuoja samprotavimus, kūrybiškumą ir sprendimų priėmimą įvairiose disciplinose.

Atviri klausimai ir galutiniai atsakymai

Atviri klausimai ir galutiniai atsakymai yra du skirtingi žinių įsisavinimo ir bendravimo būdai. Vienas skatina tyrinėjimą, smalsumą ir įvairius požiūrius, o kitas pateikia aiškias, galutines išvadas, pagrįstas turima informacija. Abu yra būtini kritiniam mąstymui, derinant tyrimą su sprendimu, atsižvelgiant į kontekstą ir tikslą.