Kvalitet, mening og medvirkning

På oppdrag fra Integrerings- og mangfoldsdirektoratet (IMDi) har Fafo undersøkt hva som er viktig for brukertilfredshet for deltakere i introduksjonsprogrammet, og hvordan IMDis nasjonale brukerundersøkelse kan utformes for å fange opp brukertilfredshet og utfordringer i introduksjonsprogrammet. Studien bygger på en kombinasjon av ulike metoder. For å kartlegge brukertilfredshet har vi benyttet oss av et kvalitativt design, hvor vi har intervjuet ledere for voksenopplæring/flyktningtjenesten, lærere, programrådgivere og deltakere i åtte forskjellige kommuner. Kommunene er valgt ut med hensyn til variasjon i strukturelle forutsetninger. Vi har besøkt fire store kommuner med nærhet til by og fire små og mer rurale kommuner. I tillegg har vi evaluert elementer av IMDis kvantitative brukerundersøkelse. Her har vi gjennom intervjuer med involverte aktører i IMDi kartlagt intensjoner bak og forventninger til dagens kvantitative brukerundersøkelse, og gjennom observasjon og intervjuer med deltakere har vi fått innblikk i hvordan de selv opplevde å svare på undersøkelsen. Det følgende er en kort oppsummering av våre hovedkonklusjoner.

Kvalitet i undervisningen, brukermedvirkning og tilgang på programrådgiver er viktig for høy brukertilfredshet

Deltakerne vi har snakket med, er ofte svært bevisste på viktigheten av å kunne norsk for å klare seg i Norge. De beskriver at språk er avgjørende for å være selvstendig, og at opplæringen de får i kommunen, vil være med og forme hvordan livet deres blir i Norge. Vi finner at gode lærere, et undervisningsopplegg som er tilpasset deres nivå/progresjon, og at deltakerne ikke må bruke tid på aktiviteter de opplever som meningsløse, er viktig for høy brukertilfredshet. Når vi ber deltakerne fortelle hva de liker best med introduksjonsprogrammet, er det ofte menneskene og de menneskelige relasjonene de trekker fram. Selv om norskopplæring kun er en av flere komponenter i introduksjonsprogrammet, har norsklæreren ofte en særstilling. Hva som forstås som et dårlig opplæringstilbud, varierer selvsagt, men flere deltakere framhever opplevelsen av å ikke ha utbytte av undervisningen som utslagsgivende. Dårlig tilrettelegging av progresjon i undervisningen er også noe mange deltakere peker på som frustrerende – både de som føler at undervisningen går altfor sakte fram, og de som synes det går for fort.

For at tiden i program skal oppleves som meningsfull, er det videre viktig at deltakerne opplever mulighet for medbestemmelse og brukermedvirkning. Denne dimensjonen av brukertilfredshet blir tydelig når deltakerne snakker om sitt eget programinnhold. Vi finner flere eksempler på deltakere som er fortvilet fordi de blir pålagt tiltak som de selv ikke ønsker eller ikke forstår, eller fordi de er uenige i valg som blir tatt på deres vegne.

Brukermedvirkning handler også om hvor tilgjengelige tilbakemeldingskanaler er i kommunen. Vi finner ingen deltakere som har fått informasjon om hvordan de kan klage dersom de ikke er fornøyde med tilbudet de får i introduksjonsprogrammet, og kommunene vi har besøkt, legger i liten grad opp til brukermedvirkning ut over å delta i brukerundersøkelsen.

Flyktninger som er bosatt i Norge har ofte et stort behov for råd og veiledning. Vi finner at hvor lett det er å få kontakt med programrådgiver, og hvilken relasjon man har til programrådgiver, er viktig for hvor tilfredse deltakerne er med introduksjonsprogrammet. Det er stor variasjon blant kommunene vi har besøkt, både når det gjelder hvor lett det er å få tak i programrådgiver, og hvilken rolle og oppgaver denne aktøren har. Mange av intervjuene våre med deltakerne blir lange, fordi deltakerne ønsker å fortelle sine historier og er takknemlige for at de endelig får prate på sitt morsmål med tolk til noen som lytter til hvordan de har det.

I intervjuene kommer det også fram at mange ikke opplever at rammene i livene deres er på plass, slik at de kan nyttiggjøre seg av opplæringen de får i introduksjonsprogrammet. Deltakerne forteller om bekymringer for familiemedlemmer som fortsatt er igjen i krigsherjede områder, og om helseplager og traumer som følge av flukten. Også her spiller relasjon til programrådgiver og andre i kommunen en viktig rolle for at deltakeren får den hjelpen hen trenger, og for at tilbudet rundt deltakeren tilrettelegges.

Gjennomføring av brukerundersøkelsen og utforming av den

Kommunene er ikke pålagt å gjennomføre IMDis brukerundersøkelse, men oppfordres sterkt til å gjøre det. I 2022 var det 142 kommuner som deltok, noe som utgjør 40 prosent av de 354 kommunene som bosatte flyktninger det året. I 2023 var det 158 kommuner (45 prosent). Brukerundersøkelsen kan distribueres til både deltakere i opplæring i norsk og samfunnskunnskap og deltakere i introduksjonsprogram. Til sammen var det om lag 5000 deltakere som deltok i undersøkelsen i 2022. Dette utgjør under 30 prosent av deltakere som deltar i introduksjonsprogram eller norskopplæring i Norge. Om lag 9000 deltok i 2023. IMDi og Direktoratet for høyere utdanning og kompetanse (HK-dir) gjennomfører brukerundersøkelsen på oppdrag fra Arbeids- og inkluderingsdepartementet.

IMDi oppfordrer kommunene til å legge til rette for at alle deltakere, uavhengig av utdanning, gjennomfører undersøkelsen. Undersøkelsen er tilgjengelig på 25 språk, med tekst og lyd. Kommunene blir også oppfordret til å trene på demoversjonen av undersøkelsen i forkant og gjennomgå spørsmålene for å legge til rette for at deltakerne kan svare uten hjelp. I kommunene vi har besøkt, ble også dette i stor grad gjort. Likevel så vi at deler av undersøkelsen er uformet på en måte som gjør at flyktninger med lite eller ingen skolegang og lite digital kompetanse ikke kan gjennomføre undersøkelsen uten hjelp. Dette handler både om måten spørsmålene er formulert på, antallet spørsmål og typen svarkategorier, hvordan man logger på og starter undersøkelsen, og den tekniske utformingen av undersøkelsen. Flere av kommunene vi har besøkt, velger å kun gi undersøkelsen til deler av deltakermassen som har noe skolegang fra før, da de opplever at undersøkelsen er for krevende å svare på for de med lite skolebakgrunn. Flere lærere som gir assistanse under gjennomføring, hevder de observerer at deltakere med lite skolebakgrunn fra før krysser av på svar som er tydelig feil. Analyse av dataene tyder på en del logiske feil, som at 20 prosent av deltakere med 0–3 års skolegang har forberedende kurs for universitet som tiltak. Vi tar det som en indikasjon på at deltakere klikker seg gjennom undersøkelsen, selv om de ikke forstår spørsmålene de svarer på. Flere kommuner rapporterer også i sin tilbakemelding til IMDi om at deltakere krysser av på at de får tilbud (som grunnskole og videregående opplæring) som ingen av deres deltakere faktisk har.

I denne studien ser vi også på noen konkrete spørsmålsformuleringer fra dagens brukerundersøkelse og diskuterer disse i lys av den kvalitative brukerundersøkelsen. Elementene vi har beskrevet ovenfor, som er viktige for brukertilfredshet, fanges kun i begrenset grad opp i dagens brukerundersøkelse. Spørsmål om deltakerne liker, er fornøyde med eller vurderer introduksjonsprogrammet som nyttig, kan alle gi en indikasjon på kvalitet i opplæringen, men er på et for høyt abstraksjonsnivå for at man kan vurdere hva som eventuelt kan forbedres. Det kommer ikke fram av dagens undersøkelse om det er læreren, nivå, progresjon eller relevans deltakerne ikke er eller er fornøyde med. Flere av spørsmålene burde derfor konkretiseres for å kunne gi gode svar på spesifikke utfordringer i introduksjonsprogrammet som er viktige for deltakerens brukertilfredshet.

Som konsekvens av at mange av spørsmålene har et høyt abstraksjonsnivå, blir språket i spørsmålene ofte tungt og krevende å forstå. Å bruke et enkelt og tydelig språk er ikke minst viktig fordi undersøkelsen skal oversettes, og mange nyanser kan endre seg i en oversettelse. Jo tydeligere meningsinnholdet er på norsk, jo sikrere kan man være på at det blir oversatt riktig til alle språk. Noen av spørsmålene i spørreundersøkelsen er lagt opp på en måte som ikke skiller mellom erfaringer og deltakernes vurderinger av erfaringer. I andre spørsmål må deltakeren ta stilling til flere ulike momenter i samme spørsmål.

I de kvalitative intervjuene opplevde vi at deltakere uttrykte frustrasjon over enkelte tilbud i opplæringen, men på spørsmål om hvordan de hadde svart på dette i brukerundersøkelsen, forklarte de at de hadde svart positivt fordi de ville vise takknemlighet for tilbudet de hadde fått. I lys av dette kan det derfor være lurt å formulere spørsmål som ikke har et entydig positivt svar. Dette vil gjøre det lettere for alle deltakere å gi uttrykk for ting som ikke fungerer optimalt.

En av de største utfordringene for gjennomføring av undersøkelsen, både det vi selv har observert, og i tråd med det ansatte i kommunene har fortalt, er pålogging og valg av språk. I klasserom hvor vi har observert gjennomføring av undersøkelsen, trenger et flertall av deltakerne hjelp til å logge seg på, selv om de har gjennomgått undersøkelsen og øvd på demoversjonen dagen før. Dette gjelder også i klasser der alle deltakere har videregående opplæring eller høyere; i disse klassene er det en liten gruppe som finner fram på egen hånd, men flertallet ber om hjelp fra klassekamerater eller lærer for et eller flere steg i starten av undersøkelsen. Etter at deltakerne har kommet i gang med undersøkelsen, er det færre som ber om hjelp. Når selv deltakere med gode engelskkunnskaper og høyere utdanning har problemer med å logge på, blir gjennomføring av undersøkelsen krevende for skolene å gjennomføre, og det blir vanskelig for deltakerne å gjennomføre undersøkelsen andre steder enn i klasserommet. Vi tror det er mulig å legge til rette for at påloggingen til brukerundersøkelsen kan gjøres på en enklere måte. Undersøkelser som går ut til den ordinære befolkningen, distribueres normalt med en lenke som respondenten klikker på, og undersøkelsen kan deretter gjennomføres med minimalt med skrolling. Slik enkel pålogging brukes i de fleste undersøkelser, fordi enkel pålogging er sentralt for å sikre høy deltakelse, god representativitet og at også respondenter med svake dataferdigheter skal kunne gjennomføre undersøkelsen.

Varierende bruk av undersøkelsens resultater

IMDi lager hvert år en rapport om funn fra undersøkelsen og sender også rapporter til hver kommune, som oppsummerer resultater fra den kommunen. For alle brukerundersøkelsene (2020–2024) har det også blitt gjennomført et analysewebinar (arrangert av Rambøll) for kommunene om hvordan de kan tolke resultatene og jobbe med oppfølging av undersøkelsen.

Flere kommuner vi var i kontakt med, var imidlertid ikke klar over at resultatene fra brukerundersøkelsen var publisert da vi intervjuet dem om dette flere måneder etter publisering i 2023. Kommunens kontaktperson(er) for brukerundersøkelsen mottar e-post med informasjon om når kommunerapport er tilgjengelig i portal for brukerundersøkelsen, men mye tyder på at denne informasjonen ikke alltid blir formidlet videre i organisasjonen, og at resultatene ikke blir brukt aktivt for å evaluere tiltak.

I andre kommuner hadde resultatene blitt presentert for de ansatte i både flyktningtjenesten og voksenopplæringen, men uten at dette hadde ført til endringsprosesser. Ansatte i kommunen forteller at de ikke opplever at undersøkelsen fanger opp utfordringer de selv vet de har i introduksjonsprogrammet, og at spørsmålene heller ikke er egnet til å fange opp elementer deltakerne er misfornøyde med. Ansatte i flere kommuner mener undersøkelsen tegner et altfor positivt bilde av situasjonen i kommunen. Heller enn å bidra til endring kan undersøkelsen føre til at ledelsen klapper seg selv på skulderen og tenker at de kan fortsette som før, hevder de.^[1]

IMDis rapportering på undersøkelsen til kommunene skiller ikke mellom ulike typer deltakere, og resultatene rapporteres for kommunen som helhet. Det gjør at de ikke, på grunnlag av de analysene som er offentliggjort, kan si noe om hva som kjennetegner deltakere som er svært fornøyde med introduksjonsprogrammet (eller kommuner hvor en større andel er svært fornøyde med programmet)^[2]. I andre brukerundersøkelser vi kjenner til som gjennomføres for skoler og undervisningssituasjoner, kan funn brytes ned på enkeltklasser og undergrupper av deltakere/elever, og dette bidrar til at undersøkelsen oppleves som nyttig både for skoleeier og lærerne selv.

Fra IMDis side er brukermedvirkning en viktig begrunnelse for å gjennomføre brukerundersøkelsene. Våre kvalitative intervjuer tyder imidlertid på at den nasjonale brukerundersøkelsen i stor grad gir en opplevelse av å bli hørt. Deltakerne vi har intervjuet i etterkant av undersøkelsen, er gjennomgående positive. De forteller oss at de setter stor pris på at det gjennomføres en brukerundersøkelse, og at noen bryr seg om hva de synes om tilbudet de får. Mange har også et håp om at å svare på undersøkelsen kan bidra til endring på forhold som ikke er gode.

^[1] I 2023 har kommunene blitt bedt om å rapportere om funnene fra undersøkelsen har blitt formidlet til ansatte, og om det har blitt satt i gang tiltak de ønsker å jobbe med i 2024 på grunnlag av disse. Ved utgangen av mars hadde 80 kommuner svart. Av disse hadde kun 1 kommune presentert resultatene for deltakerne. 40 prosent hadde presentert resultatene for de ansatte.

^[2] I sine analyser på nasjonalt nivå rapporterer imidlertid IMDi på sammenhenger mellom deltakersammensetning i kommunene og brukertilfredshet.