Introduksjon til Sifra
- integrert system for studievaluering på nett

Til neste avsnitt:

Sifra er utviklet for å gjøre det lettere for studentene å si i fra hva de mener om studiet. Systemet kan brukes kostnadsfritt til studieevaluering innen offentlig høyere utdanning i Norge. Det er ikke beregnet for lærernes vurdering av studentene.

For å få et inntrykk av hvordan evaluering på nett ser ut for studentene kan du velgeTest Sifra i toppmenyen, fylle ut et testskjema, sende det inn og se på resultatene. For å få et inntrykk av arbeidsgangen med å lage en slik evaluering kan du bla gjennom Brukerveiledningen. Dersom du vil vurdere Sifra for bruk ved egen institusjon, får du tilgang til et konkret Eksempel på bruk av systemet ved å sende en epost til prosjektansvarlig. Pr. februar 2005 er det 95 brukere som har spurt om og blitt tildelt administrative rettigheter til Sifra.

Utvikling av systemet foregikk innefor prosjekt Fleirfagleg, finansiert av Høgskolen i Oslo og UFD. Når du er registrert som bruker kan du lage ditt eget evalueringsskjema med faste og/eller åpne svaralternativer. Skjemaet blir liggende på internett m/passord, koblet til en database. Resultatene fra spørsmål med faste svaralternativer regnes automatisk ut og blir presentert på en annen nettside m/passord. På denne resultatsida kan læreren skrive kommentarer til resultatet på det enkelte spørsmål.*

Analyse av resultater
Resultatet kan bearbeides ved bivariat analyse. Dermed kan en enkelt få resulatene både for et studentkull, for den enkelte klasse, sammenlikne ut fra kjønn, se om de som svarer ja på ett spørsmål er de samme som de som svarer ja på et annet, osv.

Digital behandling av dataene gjør følgelig at du ikke bare får prosentuerte svar på hvert enkelt spørsmål, slik du er vant til å få ved spørreskjema på papir gjennom å telle opp og regne ut. Du kan også følge de enkelte skjema gjennom materialet: Hvor mange av de som har svart "Ja" på spørsmål 13 har svart "Nei" på spørsmål 21 (bivariat analyse). Dette ligger innebygget som analysemulighet i systemet. Dermed kan du få opp resultatene for den enkelte klasse i forhold til hele studentkullet, sammenlikne ut fra kjønn eller alder, osv. Med bare kvantitative data går vanligvis også an å få til multivariat analyse ved å overføre resultatdata til et statistikkprogram, men i evalueringssammenheng er det sjelden grunnlag for det (jfr. kommentar i avsnitt nye analysemuligheter under).

Hensikt med å bruke Sifra

Hensikt Eksempelvis Gir muligheter for
- ressursbesparende ved store datamengder

- mange studenter og/eller
mange spørsmål

 - rask tilbakemelding til studentene. Det bør kombineres med evaluering midt i studieløpet, som gir mulighet for endringer av opplegget for de studentene som deltar i evalueringen. Samlet er dette en hovedpremiss for at ikke studentevaluering av undervisning skal forfalle til et ressurskrevende og innholdstomt rituale. Hvis evalueringens oppfølging er et vagt løfte noen måneder seinere om om at "dette må vi gjøre noe med neste år", kan i tillegg risikoen for evalueringstrøtthet blant studentene bli overhengende. Det forsterker disse problemene betydelig.
     
- fleksibelt ved datainnhenting og resultatpresentasjon - fjernstudenter - at gjennomføring av evaluering kan skje uavhengig av tid og sted. Det gir potensial for å øke svarprosenten, hvilket er et springende punkt for hva evalueringsresulatet er verdt. Ved lærerutdanninga har vi hatt svarprosent på vel 96. Det må sies være ganske sterkt. Hovedpremissen for brukbar svarprosent er imidlertid legitimitet for at evalueringsarbeidet er betydningsfullt. Det står i nær sammenheng med rask tilbakemelding og konkret oppfølging
   
- nye analysemuligheter - samvariasjon mellom sentrale størrelser - bivariat analyse, som i praksis ikke er mulig ved store informasjonsmengder i papirformat. Bivariat gir nesten alltid de analysemuligheter en har behov for i evalueringssammenheng. Multivariat analyse hadde krevd langt dyrere utvikling og langt mer komplekst grensesnitt. Den viktigste grunnen for å stoppe på bivariat analyse er likevel at datamaterialet sjelden gir grunnlag for mer sofistikerte beregninger. Fordi dette er evaluering og ikke forskning, gjør de ressursmessige rammene for utvikling av spørreskjemaet at det må gjøres en del forbehold mht hva resultatene er uttrykk for. Avansert regning på et relativt omtrentlig materiale kan gikk inntrykk av større gyldighet enn det som er tilfelle. Det blir vanskelig å kikke evalueringsansvarlige i kortene. Dermed kan en fort få et problem med redeligheten, og det bør man jo prøve å unngå.

Teknisk sett vil det likevel vanligvis være mulig å bruke multivariat analyse dersom en bare bruker kvantitative data. I de tilfellene kan en overføre svarmaterialet til et databehandlingsprogram som Exell eller SPSS.

Et spørreskjema blir ikke bedre av å foreligge digitalt enn på papir. Men fordi trivielt arbeid med opptelling og utregning bortfaller, kan du ofte tillate deg å bruke litt mer tid enn du eller kunne gjort til å lage et godt skjema og drøfte resultatene sammen med studentene dine. På¨den måten kan bruken av et system som Sifra indirekte bidra til at skjemaet ditt blir bedre. Avhengig av både ambisjoner mht analyse og kommentarer og av omfang på fritekstsvar, kan resultatene presenteres noen dager etter at utfylling av skjema er gjennomført. Dette gir nye muligheter mht å utnytte evaluering til utvikling av studiet sammen med de studentene som svarer, ikke bare for neste kull. I forhold til Kvalitetsreformen kan Sifra dermed være et hjelpsomt verktøy.

Ved ALU - HiO, hvor årskullet er ca 300 studenter, har vi gjennom mange år brukt database mot nett til studieevaluering. Det er vår erfaring at når en er grundig i utformingen av spørsmål og ettertenksom i bruken av fritekstfelter, kan dette gi et både interessant og greit håndterlig materiale, også ved store datamengder. Høsten 2002 ble Sifra utprøvd i full skala og fra våren 2003 er det i vanlig drift. Systemet kan nå brukes kostnadsfritt til studieevaluering innen offentlig høgere utdanning i Norge, forutsatt at etiske og evalueringsfaglige retningslinjer følges.

Fra august 2004 har Høyskolen i Oslo organisert drift av systemet. I tillegg til kostnadsfri tildeling og oppdatering av administrative rettigheter omfatter dette brukerstøtte pr. telefon og epost for alle brukere. For brukere ved HiO omfatter det også kostnadsfrie kurs, presentasjon lokalt og veiledning for evalueringsansvarlige.

Simon Michelet var prosjektleder for utvikling av systemet
Tore Hoel var ansvarlig for teknisk utvikling


Prosjekt Fleirfagleg 2002 (ff2002)
- er et fagutviklingsprosjekt med en betydelig IKT-dimensjon. Hensikten er utvikling av allmennlærerutdanninga ved Høgskolen i Oslo, med utgangspunkt i 1. studieår. Prosjektet har vært finansiert av FUD siden 2001. Nettstedet for prosjektet er åpent, bortsett fra en del materiell i videoformat som ligger på lukket område pga personvern. Om du er interessert i nærmere info om det materialet som ligger på lukket område - kontakt Simon Michelet@lu.hio.no.

Kurs - lysark ligger her

Kurs - survey - skjema ligger her

Kurs - survey - resultat ligger her

Oppdatert: April 19 2006 11:47 av  Simon Michelet

_____________________________________
* Mer presist: Sifra er basert på database mot nett. Når du klikker på en bestemt nettadresse, genererer databasen et bestemt skjema på denne adressen. Når du klikker på "Send inn", blir dine svar lagt inn i databasen. Når du seinere klikker på en annen nettadresse, genereres en nettside med hvor resultater og kommentarere til undersøkelsen blir presentert.