Hva å ignorere for å forstå barnets testpoeng

Nå som den første skoledagen er over, kan foreldrene gjøre seg klar for neste milepæl i skoleåret - de vil snart få rapporter om statstester barna deres tok i fjor.

Mine estimater viser at omtrent 26 millioner studenter i offentlige skoler tok statewide tester i lesing og matte i fjor. Mange av dem tok også statewide tester i vitenskap. Disse tester gir viktig informasjon til foreldrene om hvor godt barna har det på skolen.

Men min forskning viser også at når foreldrene mottar barnets testresultatrapport, kan de ha en vanskelig tid å skille den viktige informasjonen fra statistisk gibberish.

Dessuten kan resultatene ikke engang gi dem nøyaktige opplysninger om deres barns faglige vekst.

Er barnet ditt dyktig?

Det No Child Left Behind Law, vedtatt i 2002, påkrevde alle stater å sette "prestasjonsnivåstandarder" i lesing og matte for karakterer tre til åtte, og for en klasse i videregående skole, vanligvis 10th eller 11th grade. Det ble også pålagt stater å utvikle tester for å måle studenters nivå på “Kompetanse” på hver test.


innerself abonnere grafikk


Den nye føderale loven gikk i desember 2015, den Hver Student Sukses Act (ESSA), vil fortsette denne praksisen.

Som et resultat av dette får testrapporterne foreldrene å klassifisere barn i prestasjonsnivåer som "basic" eller "proficient." Hver stat bestemmer hva disse klassifiseringene kalles, men minst én kategori må betegne "dyktig".

Disse prestasjonsnivåkategorier er beskrevet på testpoengsrapporter, og derfor blir denne informasjonen lett forstått av foreldrene. For eksempel finner jeg det nyttig hvert år for å se om sønnerne mine oppnår ferdigheter i hvert fagområde.

Men barns testresultater i et gitt år, og deres prestasjonsnivå, er ikke den eneste informasjonen som er rapportert i noen stater. En ny statistisk indeks, kalt "Student Growth percentile" finner veien inn i rapportene sendt hjem til foreldre i 11 stater. Tjuesju stater bruker denne indeksen for å evaluere lærere også.

Selv om et mål på elevers "vekst" eller fremgang høres ut som en god ide, har studentvekstprosentiler ennå ikke støttet av forskning. Faktisk flere studier tyder på de ikke gi nøyaktige beskrivelser av student fremgang og lærer effektivitet.

Hva betyr det?

Hva er "student vekst prosentiler"?

De er indekser foreslått i 2008 av Damian W. Betebenner, en statistiker som foreslo at de ble brukt som et beskrivende mål på studenters "akademiske vekst" fra ett skoleår til det neste. Tanken var å beskrive elevers fremgang i forhold til sine jevnaldrende.

Som vekstdiagrammer som barnelegger bruker til å beskrive barns høyde og vekt, varierer studentvekstprosentiler fra en lav av en til en høy av 99. Men deres beregning innebærer mye mer feil enn fysisk måling som høyde og vekt. Vår forskning ved University of Massachusetts Amherst indikerer betydelig feil i deres beregning.

Studentvekstprosentiler er avledet fra testresultater, som ikke er helt nøyaktige beskrivelser av studentens faglige ferdigheter: Testresultatene påvirkes av mange faktorer, som for eksempel spørsmålene på en bestemt dag, elevers temperament, deres engasjement når de tar test eller bare metodene som brukes til å score sine svar.

Hver elevs vekstprosentil beregnes ved å bruke minst to forskjellige testresultater, typisk et år eller mer fra hverandre. De siste testpoengene til en student blir da sammenlignet med de siste testpoengene av studenter som hadde lignende score i tidligere år. Dette er å se hvilke av de studentene som hadde høyere eller lavere poeng i år.

Problemet er imidlertid at hver av beregningene har noen målefeil. Ytterligere beregninger sammensatte bare den feilen. Så mye at resultatene ender med dobbelt så mye feil. Ingen statistisk raffinement kan slette denne feilen.

Spørsmålet er, hvorfor er så mange stater ved hjelp av en slik upålitelig tiltak?

Bruk den til ansvar

Bruken av studentvekstprosentiler skyldes delvis et ønske om å se hvor mye studenter lærer i et bestemt år, og å knytte den fremgangen til ansvarlighetssystemer som lærerevaluering.

I 2010, den Race-to-the-Top tildelingskonkurranse inviterte stater til å komme med innovative måter å bruke testpoeng på for å evaluere lærere, noe som banet vei for at dette nye tiltaket av "vekst" skal bli raskt brukt over mange stater.

Imidlertid begynte bruken av studentvekstprosentiler før det ble utført forskning på nøyaktighet. Bare nå er det nok forskning til å evaluere dem, og alle studier peker på samme konklusjon - de inneholder mye feil.

I tillegg til vår forskning ved University of Massachusetts Amherst har forskning på nøyaktigheten av studentvekstprosentiler blitt utført av utdannings ideelle organisasjoner som WestEd, Utdanningstesting og annen forskningsinstitusjoner. Forskere JR Lockwood og Katherine E. Castellano nylig avsluttet at "En betydelig forskningsbase viser allerede at studentvekstprosentilestimater for individuelle studenter har store feil."

Imidlertid synes mange stater å være uvitende om disse forskningsresultatene. Massachusetts går selv så langt til klassifisere barn med vekstprosentiler mindre enn 40 som "lavere vekst" og barn med vekstprosentiler større enn 60 som "høyere vekst".

Måling av lærerytelse

Som nevnt tidligere bruker 27-stater studentvokseprosentiler for å klassifisere lærere som "effektive" eller "ineffektive." Forskning på bruk av vekstprosentiler for dette formålet indikerer at de kunne undervurder ytelsen av de mest effektive lærerne, og overestimere ytelsen av de minst effektive lærerne - det nøyaktige motsatte av hva disse landene prøver å gjøre med sine lærerevalueringssystemer.

En nylig rapport fra WestEd evaluerte bruken av studentvekstprosentiler for evaluering av lærere og konkluderte de "møtte ikke et nivå av stabilitet" som ville være nødvendig for slike high-stake beslutninger.

La oss gå tilbake til tradisjonelle tiltak

Jeg tror at studentvekstprosentiler har tatt oss et skritt bakover i bruk av pedagogiske tester for å forbedre studentenes læring.

Tradisjonelle tiltak av barns ytelse på utdanningsprøver, som om de er "dyktige" i et gitt år og deres faktiske testresultater, gir en god ide om hvor godt de har utført i matte eller lesing i et bestemt år.

Disse tradisjonelle prosentilstandene er fortsatt rapportert på mange utdanningsprøver, akkurat som de var da vi som foreldre var i skolen. Tradisjonelle prosentilstandene sammenlignet oss med en nasjonal- eller statsgruppe i et gitt år, i stedet for å sammenligne oss med hvordan andre barn i nasjonen eller staten "vokste" over ulike tester de tok i ulike år, ettersom studentvekstprosentiler forsøkte å gjøre.

Gitt det vi nå vet om studentvekstprosentiler, er mitt råd til foreldre ikke bare å ignorere dem på sine barns testresultatrapporter, men også å kontakte sin statsavdeling for utdanning og spørre hvorfor de rapporterer en slik upålitelig statistikk.

Å utvikle tiltak av hvor mye studenter har lært i løpet av et år er et godt mål. Dessverre gjør studentvekstprosentiler ikke en god jobb med å måle det.

Om forfatteren

Stephen Sireci, professor i utdanningspolitikken, University of Massachusetts Amherst

Denne artikkelen ble opprinnelig publisert på Den Conversation. Les opprinnelige artikkelen.

Relaterte bøker:

at InnerSelf Market og Amazon