Kompetansevurdering kan medføre at den individuelle utdanningsplanen må justeres. For eksempel er det for spesialiteter som har nasjonalt anbefalte prosedyrer, lagt inn et minimum antall repetisjoner per prosedyre. Dersom en kompetansevurdering tilsier at LIS-en vil trenge flere repetisjoner enn den anbefalte mengden, kan informasjon om dette legges inn i Kompetanseportalen. Det kan også legges inn informasjon om hvor ofte en supervisør må signere for gjennomførte prosedyrer, eventuelt med kommentar.

Planen skal revideres underveis i løpet ved behov.

I kompetanseportalen vil det kunne legges inn læringsarena knyttet til læringsmål. Ofte vil det være hensiktsmessig å planlegge opphold ved en læringsarena som en spesialiseringsperiode. I helseforetakene brukes begrepet spesialiseringsperiode spesifikt om de tilfeller LIS må reise til annet sykehus eller foretak for å oppnå læringsmål.

Begrunnelse

Å dele opp spesialistutdanningen i avgrensede spesialiseringsperioder gir bedre oversikt for LIS og virksomhet over hvilke læringsmål som forventes oppnådd innenfor en aktuell periode og hvilke læringsaktiviteter som skal inngå. Det gir også mulighet for å se læringsmål i sammenheng.

Begrunnelse

LIS-enes ansvar for egen læring er hjemlet i spesialistforskriften. Selv om ny spesialistutdanning legger mye ansvar på utdanningsvirksomhetene for tilrettelegging og gjennomføring, vil læring og progresjon ikke finne sted uten aktiv deltakelse fra LIS.

Kompetanseportalen er et digitalt verktøy som skal støtte prosessen og dokumentasjonen av utdanningsforløpet for LIS-er. Verktøyet er til bruk for registrering av læringsaktiviteter og godkjente læringsmål, samt dokumentasjon av veiledningssamtaler. Portalen er tilgjengelig for alle godkjente og registrerte utdanningsvirksomheter.

• Se veiledning i bruk av Kompetanseportalen for ledere, veiledere, supervisører og LIS

I en travel hverdag kan det være krevende for leder og veileder å forsikre seg om at LIS-en i det daglige får tilstrekkelig trening for å oppfylle læringsmålene. Det vil derfor være en fordel å knytte supervisjonsarbeidet tett opp til de strukturerte læringsaktivitetene som inngår i den aktuelle spesialiseringsperioden.

Begrunnelse

Et system for en fortløpende dokumentasjon av fremdrift i den enkelte LIS sin spesialistutdanning er blant annet begrunnet i Høringsnotat 2016 til spesialistforskriften, se pkt. 10.3.8 og 12.4.

Leder kan innhente anbefaling fra veileder og supervisør(er) på flere måter. Noen ganger vil attesterte læringsaktiviteter og gjennomført veiledning være tilstrekkelig som anbefaling, under forutsetning av at de som har attestert har foretatt en reell vurdering av at de enkelte læringsaktiviteter er godt nok gjennomført. Ved mer sammensatte læringsmål vil det være nødvendig å foreta en helhetsvurdering i en veiledningstime eller at leder avholder et vurderingskollegium. 

Begrunnelse

Prosessen for godkjenning av læringsmål er beskrevet i spesialistforskriften. Forankring av godkjenningen hos leder er viktig fordi leder har ansvar for at LIS-en får gjennomført sin utdanning og for at kompetansen i avdelingen er god nok. Samtidig er det viktig at leder innhenter råd fra de som veileder og de som jobber sammen med LIS-en. Dette gjelder ikke minst i tilfeller der leder ikke er lege eller ikke er spesialist i det aktuelle faget.

Grunnlaget for vurderingene vil kunne variere fra uformelle skjønnsmessige vurderinger til vurderinger basert på skjemaer eller sjekklister utarbeidet for formålet eller gjennomgang av flere forskjellige læringsaktiviteter (se anbefalinger om vurderingsverktøy). I enkelte spesialiteter er det utviklet vurderingsskjemaer for dette formålet (f. eks. innen barnekirurgi).

I Danmark anvendes blant annet vurderingsskjema til bruk ved 360 graders vurdering.

For LIS-en vil det være en trygghet at det er flere personer til stede som har observert LIS-en i ulike situasjoner. Samarbeid om vurdering av kompetanse vil også kunne styrke det kollektive ansvaret for spesialistutdanningen. Ikke minst vil dette være en arena for leder til å være involvert i vurderingsarbeidet selv om selve oppgaven med å godkjenne ved avkrysning i kompetanseportalen er delegert til andre.

I Danmark er det et uttalt mål ved flere utdanningsinstitusjoner at det skal gjennomføre 360-graders vurdering fordi dette anses som det beste virkemidlet for en god og helhetlig vurdering.

Opplæring av kompetansevurdering kan skje på følgende måte:

1. Grunnutdanning for alle (overleger og LIS-er):
Alle supervisører får grunnopplæring i supervisjonsmetodikk med vekt på å kunne gi LIS-ene en konstruktiv tilbakemelding, både gjennom daglige og uformelle muntlige tilbakemeldinger og systematisk tilbakemelding ved bruk av observasjonsverktøy. Dette er en omfattende oppgave, da praktisk talt alle erfarne leger har supervisjonsoppgaver overfor LIS-ene. For å nå flest mulig kan e-læring tas i bruk, eller supervisjonsmetodikk kan være tema i internundervisning. Alle supervisører bør i tillegg ha tatt et grunnkurs i klinisk kommunikasjon på et nivå tilsvarende læringsmål for kommunikasjon i FKM.

Siden de aller fleste veiledere også er eller har vært supervisører, og LIS-ene har læringsmål som omfatter veiledning og kommunikasjon kan denne grunnopplæringen ligge i bunnen for både veiledere, supervisører og LIS-er.

2. "Train The Trainer"-opplæring for noen:
Et korps av nøkkelpersoner innen hver virksomhet eller grupper av kommuner læres opp for å bidra til opplæring av supervisører og veiledere lokalt. En god opplæring vil kunne gjennomføres ved et kursprogram over 8-10 dager over 2-3 år, med et basiskurs i klinisk kommunikasjon i bunnen og opplæring i supervisjons- og veiledningspedagogikk med vekt på teori, praktiske øvelser og utprøvning av ulike opplærings- og vurderingsmetoder i praksis. Etter hvert vil disse nøkkelpersonene kunne tilby kurs for supervisører og veiledere lokalt.

Begrunnelse

I tilknytning til grunnutdanningen i medisin bruker universitetene mye ressurser på å utvikle gode vurderingsformer og på å støtte de vitenskapelig ansatte gjennom kompetansebygging på vurdering. På samme måte vil dette være et mål innen spesialistutdanningen for de som innehar vurderingsansvar av læringsaktiviteter eller læringsmål for LIS. I de flest andre europeiske og nordamerikanske land gjøres dette systematisk for å sikre at LIS-ene innehar den kompetansen de skal ha som ferdige spesialister.

Hver enkelt avdeling bør utvikle egnede enkle rutiner for å gjennomføre veilednings- og supervisjonsoppgavene og vurderingsarbeidet. Det er viktig at det settes av tid i tjenesteplanene, f. eks. en fast tid per uke, som er avsatt til veilednings- og supervisjonsoppgaver for alle leger i en avdeling. Dette innebærer ikke at hver LIS skal ha ukentlig veiledning, men at det settes av en fast tid som kan anvendes på ulike måte for å gjennomføre aktivitetene knyttet til spesialistutdanningen. For fastleger bør utdanningsoppgaver og ansvar legges inn i avtalen mellom kommune og fastlege.

De enkelte utdanningsvirksomhetene bør gi prioritet til å styrke vurderingskompetansen for å komme i gang med vurdering av læringsmål. Det er realistisk å regne med at det for mange læringsaktiviteter fortsatt måtte anvendes skjønn. Etter hvert som den nye spesialistutdanningen har fungert en stund, vil og bør flere vurderingsverktøy utvikles og tas i bruk.

Muntlig tilbakemelding bør være konkret, informativ og systematisk, og så spesifikk og konstruktiv som mulig, Tilbakemeldingen skal fremme refleksjon og læring hos LIS-ene. I en travel hverdag vil tilbakemeldingene til LIS ofte skje i form av korte samtaler innimellom andre aktiviteter. Det er derfor viktig å ha en god struktur på tilbakemeldingene og å følge en mal med fire trinn også ved raske og umiddelbare tilbakemeldinger:

• Supervisør spør hvordan LIS-en selv syntes det gikk og spør spesifikt om hva som gikk bra.
• Supervisør gir bekreftelse og peker på andre ting som gikk bra.
• Supervisør spør LIS-en om hva som kunne vært gjort bedre og gir råd om forbedring. Uklarheter oppklares, felles forståelse sikres.
• Supervisør og/eller LIS oppsummerer tilbakemeldingen, og sammen trekker de en konklusjon om hva LIS skal trene videre på.

LIS bør være er i trygge omgivelser når tilbakemeldinger blir gitt. Tilbakemeldingen kan bli gitt etter pasientkontakten med bare supervisør og LIS til stede. Om tilbakemeldinger gis underveis med pasienten til stede, er det viktig at både pasienten og LIS-en er opplyst om dette og om at supervisør eventuelt vil overta ved behov.

For å oppnå en mest mulig konkret tilbakemelding til LIS-en og en best mulig vurdering av faktisk kompetanse bør supervisjonsarbeidet planlegges slik at LIS-en observeres regelmessig av supervisør i noen utvalgte arbeidssituasjoner, slik at vanlige arbeidsoppgaver blir bredt og systematisk vurdert.

Kliniske fag i sykehus har læringsmål for kliniske situasjoner som undersøkelse og anamnese i akuttmottak, previsitt, visittgang og utskrivningssamtaler. Supervisør vurderer LIS-ens ferdigheter i dette. Læringsvisitt kan være en fin arena for supervisjon av LIS-ens daglige arbeid på sengepost. Gjennomføring av læringsvisitter bør planlegges på forhånd og inngå i den individuelle utdanningsplanen. Ved læringsvisitter går LIS og supervisør sammen til pasientene og LIS-en får en mulighet til samarbeide med mer erfarne kolleger som så gir tilbakemelding på LIS-ens ferdigheter.

Eksempel på hvordan en læringsvisitt kan legges opp:

Forhåndssamtale mellom supervisør og LIS:

• Det må i forhåndssamtalen avtales en tid for tilbakemelding rett etter supervisjonen eller i hvert fall samme dag. Supervisør og LIS avtaler hvem som skal gå visitten.

Selve visitten:

• Dersom supervisør går visitt, LIS er med og observerer (modellæring) skal LIS noterer og merker seg detaljer underveis.
• Dersom LIS går visitt og supervisør er med og observerer skal supervisøren noterer underveis hva LIS gjør riktig, funksjonelt og hensiktsmessig. Supervisøren kan oppmuntre LIS til å spørre pasienten til slutt hvordan det gikk.

Kort samtale i etterkant av visitten:

• Supervisør og LIS møtes til en kort samtale umiddelbart etter visitten. Se retningslinjen for konkret tilbakemelding i avsnittene ovenfor.
  • Dersom supervisør gikk visitt skal supervisøren svare på spørsmål fra LIS og kommenterer visitten
  • Dersom LIS gikk visitt skal supervisør gi tilbake melding til LIS. Tilbakemeldingene skal være spesifikke og ikke nødvendigvis omhandle alt. Dette er viktig for at LIS-en skal føle seg sett og trygg.

I de fleste kliniske fag vil supervisjon omfatte læring av spesifikke ferdigheter i tillegg til visitter og andre pasientsamtaler. Et eksempel er hematologi, der tolkning av blodutstryk og benmargsutstryk vil være sentrale læringsoppgaver. Det er viktig at supervisjon legges opp slik at supervisør og LIS analyserer utstryk sammen og at LIS-en får konkret tilbakemelding på egen analyse av funnene.

I laboratoriefagene vil supervisjon foregå på mange ulike arenaer avhengig av fagområde. For eksempel, innen radiologi er granskning og beskrivelse av radiologiske undersøkelser en viktig oppgave. Ofte skjer tilbakemelding ved at LIS-en beskriver undersøkelsen og får skriftlig tilbakemelding fra overlege dersom det er feil i beskrivelsen. Alternativt ser LIS-en på undersøkelsen, spør overlegen om hjelp, får fasiten og dikterer undersøkelsen. Det er ønskelig at det kan legges til rette for en tilbakemelding som gir optimal læring for LIS-en, for eksempel ved at LIS-en presenterer hva han/hun har funnet og hvordan undersøkelsen bør beskrives, for så å få tilbakemelding fra overlege.

I ASA-fagene (allmenn-, samfunns- og arbeidsmedisin) har LIS-ene en rekke ulike læringsarenaer og arbeider i mange tilfeller alene. For å ha grunnlag for vurdering bør supervisøren spesielt observere LIS-ene i utvalgte læringsaktiviteter. Ved supervisjon i allmennpraksis bør supervisør vurdere de kliniske ferdighetene i vanlig arbeid på læringsarenaene, slik som på legekontoret, legevakt, helsestasjon og sykehjem. Supervisjon vil også finne sted ved praksisbesøk som inngår som læringsaktivitet i utdanningsplanen i allmennmedisin.

Rådene om læringsvisitter kan tilpasses til pasientsamtaler i allmennpraksis.

I psykiatri vil supervisjon ofte betegnes som veiledning, men ha samme funksjon som supervisjon har innen kirurgi og medisin. Det kan være basal psykoterapiveiledning, veiledning i grunnleggende relasjonell forståelse eller metodespesifikk psykoterapiveiledning.

Se eksempler på nyttige sjekklister og observasjonsverktøy i denne veilederen som kan brukes som ledd i vurderingen av LIS i tilknytning til supervisjon.

Supervisjon med vekt på konkret tilbakemelding har god effekt på kompetanseutvikling for leger i spesialisering (Saedon, 2012). Tilbakemelding med høy kvalitet inneholder informasjon som LIS kan bruke til identifisering av kunnskapshull og tiltak som fremmer læring. Effektiv tilbakemelding kan også inneholde elementer som får LIS til å starte en refleksjon og evaluering rundt egen kompetanse og læring (Hattie, Timperley 2007).

Det er utarbeidet flere Cochrane-oversikter om effekten av tilbakemelding i videreutdanning av helsepersonell (Jamtvedt, 2006, Ivers, 2012). I den siste oversikten fant forskerne at opplæringsprogrammer med vekt på tilbakemeldinger hadde statistisk signifikant effekt på forbedring av praksis. Effekten var størst blant annet når prestasjonen før trening var svak, når undervisningen ble gjennomført av en supervisør eller eldre kollega og når tilbakemeldingen ble formidlet både muntlig og skriftlig og mer enn en gang (Ivers, 2012). Det synes også å være viktig at tilbakemelding gis fra flere kilder (Saedon, 2012).

Supervisørs oppgaver er omtalt og begrunnet i Høringsnotatet til spesialistforskriften 2016 (Helse- og omsorgsdepartementet, 2016). Se også rapporten Veiledning av LIS i ny spesialitetsstruktur (Helsedirektoratet, 2016).

En rekke råd om veiledning finnes i rapporten om veiledning av LIS i ny spesialitetsstruktur (Helsedirektoratet, 2016).

Veiledningen innebærer planlagte og regelmessige samtaler mellom LIS og veileder. Samtalene skjer ikke i konkrete arbeidssituasjoner, men skjermet fra andre arbeidsoppgaver. Der det er praktisk mulig bør veiledningen skje ansikt til ansikt, men veiledning basert på videooverføring eller lignende kan være et alternativ. Ved planleggingen av veiledningssamtalen bør det tydeliggjøres hvilke læringsmål og læringsaktiviteter som er relevante og som skal vurderes av veileder.

Ofte vil veiledningen ta utgangspunkt i en oppgave LIS-en arbeider med. Det kan være en oppgave som LIS-en selv ønsker veiledning på, eller det kan være en problemstilling fra klinisk praksis som veileder velger å ta opp. Faglige spørsmål knyttet til diagnose og behandling vil ofte stå sentralt i veiledningen. I allmennmedisin vil sykmeldingsarbeid (med vurdering av arbeidsevne) og medikamentforskrivning være gode temaer for veiledning. Aktuelle temaer på tvers av diagnoser vil være kommunikasjon, rolleoppfatning, samarbeidsaspekter og etiske aspekter. Til støtte i læring og vurdering i veiledningstimen kan det også foreligge skriftlige arbeider som LIS-en har gjennomført i forkant, for eksempel et refleksjonsnotat eller en prosjektoppgave. Erfaring fra allmennmedisin viser at det kan fungere bra å be LIS-en vurdere seg selv, f. eks ved gjennomgang av videokonsultasjoner.

Vurderingsarbeidet tar form av muntlig tilbakemelding, med en tydelig konklusjon og skriftlig avtale om hva LIS-en må arbeide videre med for å oppnå læringsmålet. Veiledningssamtalene skal dokumenteres i Kompetanseportalen. Som skissert i denne veilederen bør tilbakemeldingen til LIS-en ta utgangspunkt i det LIS-en får godt til, for deretter å drøfte forbedringspunkter. Dette er spesielt krevende i de tilfeller der LIS-en strever med å tilegne seg god nok kompetanse. I slike tilfeller er det særlig viktig å være konkret i tilbakemeldingen, spesifisere hvilke ferdigheter LIS-en ikke mestrer og sette konkrete delmål for videre læring.

Det kan være fornuftig å avtale hva som skal være tema ved neste veiledningstime, med fleksibilitet i forhold til akutte behov for veiledning som LIS-en ønsker å ta opp. Agenda for neste veiledning kan legges inn i Kompetanseportalen, og kan lages av LIS eller veileder, eller med innspill fra begge. I Kompetanseportalen skal det lages referat fra hver veiledningssamtale som er gjennomført før veiledningen kan ferdigregistreres.

Se eksempler på nyttige sjekklister og observasjonsverktøy i denne veilederen som kan brukes som ledd i vurderingen av LIS i tilknytning til veiledningssamtaler.

Veiledning og supervisjon bør være godt innarbeidet gjennom hele utdanningsløpet for at spesialistutdanning med vekt på formativ vurdering/underveisvurdering skal fungere (Driessen, 2013. Tulinius, 2010). Det er viktig at veiledningen er godt planlagt, forankret i en god administrativ struktur og at det er klare avtaler mellom veileder og LIS (Kashiwagi, 2013).

Egenvurdering er svært nyttig i en veiledningsprosess, men flere studier viser at korrelasjonen mellom vurdering av egen prestasjon og vurderingen til en observatør ofte er lav (Davis, 2006, Rizan, 2015, Gagliardi, 2011). Gjennomgående er det lite samsvar mellom egen vurdering og observerte ferdigheter. Flere studier har funnet at de som hadde de dårligste ferdigheter også var dårligst til å vurdere egen prestasjon, mens leger med gode ferdigheter og kompetanse kunne ha en tendens til å undervurdere egne ferdigheter (Davis, 2006).

Veileders oppgaver er begrunnet i Høringsnotatet 2016 (s. 123) (Helsedirektoratet, 2016). Se også Veiledning av LIS i ny spesialitetsstruktur (Helsedirektoratet, 2016).

I gruppeveiledning kan en diskusjon av en problemstilling eller et klinisk eksempel ta utgangpunkt i en kort presentasjon fra en LIS. Veileder inviterer øvrige gruppemedlemmer til å komme med kommentarer og gi tilbakemelding. LIS-en vil inviteres til å reflektere over tilbakemeldingen, og veileder kommer tilbake med nye tilbakemeldinger og refleksjoner.

I ASA -fagene har det vært gjennomført gruppeveiledning i over 30 år. Målet har vært et trygt kollegialt læringsmiljø der deltakerne også tør å fortelle om feil og eksponere sin usikkerhet. Fortløpende uformell kollegial tilbakemelding til den enkelte fra både gruppeveileder og resten av gruppen er integrert i virksomheten. For gruppeveilederne blir en mer formalisert vurdering av kompetanse hos den enkelte LIS en ny oppgave. For å bevare tryggheten må det være kjent og åpent hvilke kompetanser som skal vurderes av gruppeveileder, og på hvilket grunnlag vurderingen gjøres. Gruppeveileder kan med fordel delta i evalueringskollegium sammen med LIS, veileder og leder.

Ulike modeller for gruppeveiledning blir nå prøvet ut i flere foretak. Sykehuset I Østfold har valgt faglige spydspisser som gruppeveiledere. Sykehuset Innlandet har innført bruk av reflekterende team (ved kirurgisk avdeling på Hamar sykehus). I reflekterende team gjøres vurderingen av likemenn, der gruppeveilederen blir en deltaker i prosessen og ikke en «kontrollør».

Et eksempel på aktiv bruk av gruppelæring og -vurdering av læringsmål er læringsmål 26-29 om samvalg i FKM. Gruppen arbeider med å konkretisere beslutningsprosesser for pasienter som den enkelte lege arbeider med. Gruppemedlemmene får i oppdrag å legge fram resultatene i gruppen. Vurderingen av fremleggene skjer i med utgangspunkt i åtte nøkkelferdigheter for samvalg (jfr. læringsmål 26 i FKM)

• Tematisere behov for beslutning
• Kartlegge pasientens preferanser
• Vurderer forsvarlige og tilgjengelige behandlingsalternativer
• Klargjøre hvilke fordeler og ulemper som betyr mest for pasienten
• Kommunisere tydelig hva pasienten kan forvente av behandlingen
• Ta pasienten med på en vurdering av fordeler og ulemper opp mot hverandre
• Samarbeide med pasient for å oppnå enighet om beste behandling
• Gi pasienten støtte til å delta i behandlingen

Veiledning i gruppe gir gode muligheter for samhandling og refleksjon, spesielt om legerollen og andre allmenne temaer i legearbeidet (Nielsen, 2012, O'Keefe, 2014). Kollega-til-kollega-læring og -tilbakemelding er effektivt og bør benyttes i større utstrekning innenfor medisinsk utdanning (Ten Cate, Durning 2007).

Referanser

• Nielsen HG, Söderström M. Group supervision in general practice as part of continuing professional development. Danish Medical Journal. 2012;59(2)
• O'Keeffe M, James F. Facilitated group supervision: Harnessing the power of peers. Journal of Paediatrics and Child Health. 2014;50(12):944-8. doi: 10.1111/jpc.12638
• Ten Cate O, Durning S. Peer teaching in medical education: twelve reasons to move from theory to practice. Medical Teacher. 2007;29(6): 591-599.
• Lundevall S, Aschim B, Prestegaard K, Prydz P, Kroken L. Håndbok for veiledningsgrupper i allmennmedisin. Den norske legeforening. Revidert november 2018. https://beta.legeforeningen.no/globalassets/legeforeningen.no/fag-og-utdanning/spesialitetssidene/allmennmedisin/handbok-for-veiledningsgrupper-i-allmennmedisin.pdf
• Vidar G. Veiledningshåndbok for samfunnsmedisin. Den norske legeforening. Under revisjon. https://beta.legeforeningen.no/fag/spesialiteter/Samfunnsmedisin/Veiledningsgrupper/#26107

Tre eksempler på bruk av enkle oversikter eller sjekklister:

Kommunikasjon:

Kommunikasjonsferdigheter hos LIS-en ved kartlegging av symptomer, helsetilstand, pasientens perspektiv, informasjon om funn og behandling og ivaretakelse av pasientens reaksjoner, inngår i felles kompetansemål (FKM). For å gjøre tilbakemelding til LIS-en så konkret som mulig, kan det være en fordel å anvende en sjekkliste for god kommunikasjon, for eksempel strukturert ut fra Fire gode vaner-modellen, som er mye brukt i kommunikasjonstrening i flere foretak, blant annet Diakonhjemmet sykehus som har publisert Håndbok i kommunikasjonstrening på sykehus – Diakonhjemmetmodellen (PDF).

Sjekkliste:

• • Investere i begynnelsen: skape trygghet, sette en agenda (vane 1)
  • Utforske pasientens perspektiv (vane 2)
  • Fange opp og håndtere følelsesmessige reaksjoner, vise empati (vane 3)
  • Investere i avslutningen: Porsjonere informasjon etter pasientens forutsetninger, sjekke hvordan informasjon er forstått, involvere pasienten i beslutninger (vane 4)

Det arbeides med en kort sjekkliste for Fire gode vaner.

Kliniske læringsmål:

Vurdering foretatt av supervisør og veileder er den viktigste vurderingsformen for de fleste kliniske læringsmål.  I innledningen til læringsmålene for de kliniske fagene i del 1 av spesialistutdanningen vises det til en klinisk beslutningsprosess i fem trinn. Disse fem trinnene kan gjennomgås med som en sjekkliste for å veilede supervisjonen:

• Kunne ta opp anamnese
• Kunne foreta klinisk undersøkelse, herunder ordinere supplerende undersøkelser
• Kunne vurdere tentative diagnoser og relevante differensialdiagnoser
• Kunne vurdere aktuelle behandlingsalternativer og drøfte dem med pasienten
• Kjenne til risiko og komplikasjoner forbundet med utredning og behandling

Epikriser og journaler:

Supervisør eller veileder bør gi tilbakemelding på form og innhold i journalnotater, med vekt på en tydelig problemstilling, presis beskrivelse av observasjoner og funn og en klar konklusjon. Epikriser skal vurderes med hensyn til lesbarhet, informasjonsinnhold og nytteverdi for mottaker. Gjennomlesning av LIS-ens journalnotater kan gi en innsikt i LIS-ens kliniske beslutningskompetanse i tillegg til vurdering av om LIS-en følger formalkrav til notatene.

Et eksempel er læringsmål 16 i FKM, der evaluering av journalmateriale er anbefalt som en vurderingsform. En sjekkliste for epikriser og journalnotater bør omfatte tydelige kriterier for kvalitet:

• God struktur
• Tydelig presentasjon av funn
• Fornuftig prioritering av nødvendig informasjon
• Tydelig konklusjon
• Klinisk beslutning om tiltak og behandling

Det er i tillegg viktig å vurdere lesbarhet av epikrisen, med vekt på å unngå forkortelser, unødig medisinsk sjargong og spesialitetsspesifikke uttrykk som mottakere av epikrisen ikke forventes å kjenne til.

Eksempel på gjennomføring:
Supervisør eller veileder gjennomgår 5 innkomstjournaler og 5 epikriser og gir muntlig eller skriftlig tilbakemelding. Supervisørs vurdering av epikriser og journalnotater kan følges opp i veiledningssamtale.

Det er avgjørende at en finner en form på vurdering av epikriser og journalnotater som tar hensyn til regler om personvern. Alt helsepersonell er bundet av taushetsplikten som er hjemlet i Helsepersonelloven, kapittel 5. Således er både LIS og veileder gjensidig bundet av taushetsplikten i en veiledningssituasjon. Det kan være en grei tommelfingerregel at dokumenter som inneholder pasientens personidentifiserende opplysninger (navn, personnummer) avidentifiseres før bruk i veiledningssituasjonen, dersom mulig. Dersom veiledningen foregår ved at LIS-en gjør oppslag i elektronisk pasientjournal og viser til veileder, skulle det ikke være nødvendig for veileder å selvstendig logge seg inn i pasientens journal. 

Bruk av sjekklister slik de her er omtalt representerer en mellomting mellom uformell muntlig tilbakemelding og mer formaliserte observasjonsverktøy. Det er viktig å få erfaring med anvendelse av slike verktøy. Uformelle sjekklister kan være praktisk og lite tidkrevende virkemiddel for å systematisere muntlig tilbakemelding.

Ferdighetene som hyppigst registreres i de forskjellige observasjonsverktøy som brukes er prosedyrekompetanse, kommunikasjon, direkte pasientarbeid, oppfølging etter prosedyrer og teamarbeid (McKinley, 2008).

Det er utarbeidet en rekke strukturerte observasjonsverktøy/skjemaer som er fritt tilgjengelig og kan tilpasses ulik kunnskap som skal testes. Vurderingsformen objektiv strukturert klinisk eksaminasjon (OSKE), som ble utviklet på 1970-tallet, ligger til grunn for mange av skåringsskjemaene (Khan 2013).

Den danske Sundhedsstyrelsen har utarbeidet en oversikt over metoder for vurdering av legers kompetanse, som omhandler en rekke ulike observasjonsverktøy (Sundhedsstyrelsen, 2013).

For å få til god, valid og hensiktsmessig bruk av objektive og strukturerte skåringsskjemaer må man bruke tid på å sette seg inn i bruken av disse, bestemme på forhånd hva som skal testes og hvordan, og bestemme hvilken prestasjon som betyr tilfredsstillende kompetanse. Skåringsskjemaene kan gi poengskår, eller en total skjønnsmessig global skår (for eksempel ikke tilfredsstillende, god, svært god) eller en kombinasjon av disse.

Det er viktig at slike observasjonsverktøy må tilpasses den enkelte kontekst det skal brukes i. Det vil si at validiteten og reliabiliteten til verktøyet er avhengig av hvordan skjemaet brukes - ikke noe observasjonsverktøy er valid i seg selv. Det er også viktig før et skjema tas i bruk at det er tenkt nøye igjennom hvordan det skal brukes. For eksempel: Kreves det 100% av poengene og god global skår for å være kompetent? Eller er standarden en annen? Brukes skjemaet primært til formativ vurdering/underveisvurdering er kravene til reliabilitet og validitet mindre da det i den konteksten hovedsakelig blir et tilbakemeldingsverktøy (Khan 2013).

Her følger noen eksempler på strukturerte observasjonsverktøy som kan brukes.

Mini Clinical Evaluation Exercise (Mini-CEX):

Mini Clinical Evaluation Exercise (Mini-CEX) (Durning, 2002, Kogan, 2003, Norcini, 1995) er et skåringsskjema som ble utviklet på 1990-tallet for bruk i spesialistutdanningen av leger i USA. Mini-CEX brukes både som vurderings- og tilbakemeldingsverktøy for gjennomføring av pasientsamtale og klinisk undersøkelse.

Dette skjemaet er oversatt til norsk av Professor Anders Bærheim, UiB, og medarbeidere. I skjemaet blir en rekke ferdigheter vurdert med hensyn til selvstendighet i utførelsen innen medisinske ferdigheter (somatisk undersøkelse, tekniske ferdigheter etc.), kommunikasjon med pasienter og samarbeidspartnere, opprettholdelse av tillit og profesjonalitet, sikkerhet og kvalitet. Den som observerer LIS-en, vanligvis supervisør eller evt. veileder, gir tilbakemelding til LIS-en basert på observasjonen. Utførelsen blir rangert ut fra en sjekkliste, og en samlet skåre for "klinisk kompetanse" blir regnet ut. På dette grunnlag kan supervisør, evt. veileder og LIS diskutere mulige forbedringsstrategier.

Det er ønskelig at de regionale utdanningssentrene og andre faginstanser utvikler og oversetter systematiske observasjonsverktøy og gjør dem tilgjengelige i utdanningsvirksomhetene over hele landet.

Lenker:  
https://www.dagensmedisin.no/artikler/2018/12/21/nytt-skjema-for-medisinstudent-evaluering/
https://www.ntnu.no/came/mini-cex

OSKE og Objective Structured Assessment of Technical Skills (OSATS): 

Objektiv strukturert klinisk eksaminasjon (OSKE) er en vurderingsform hvor det brukes strukturerte skåringsskjemaer. Kommunikasjonsferdigheter, klinisk undersøkelsesteknikk og andre ferdigheter kan testes. OSATS er utledet av OSKE og brukes som et vurderingsverktøy ved vurdering av tekniske ferdigheter (Martin, 1997; Niitsu, 2013). OSATS består av sjekklister og globale vurderingsskalaer (Global Rating Scale,GRS). Sjekklistene er oppgavespesifikke med en punktvis beskrivelse av trinnene i hver prosedyre. Ved hjelp av GRS-skåring vurderes generelle ferdigheter som for eksempel vevshåndtering, bevegelsesøkonomi, valg og håndtering av instrumenter samt kjennskap til og gjennomføring av prosedyren. En oversiktsartikkel av Hatala et. al. fra 2015 gjennomgår 29 studier som har anvendt OSATS (Hatala, 2015). OSATS hadde i hovedsak tre bruksområder: som ledd i en underveisvurdering, som summativ vurdering med konsekvenser for den legen som tar testen (high-stakes assessment) og som del av en programevaluering. Forskerne konkluderte med at bruk av OSATS som grunnlag for tilbakemelding generelt hadde høy validitet anvendt som del av underveisvurdering, men påpekte at det ikke er tilstrekkelig dokumentert at OSATS-skårer har sammenheng med ferdigheter og beslutningstaking i praksis.

Direct observation of practical skills (DOPS):

Det strukturerte skåringsskjemaet DOPS er en videreutvikling av mini-CEX og OSATS (se over) gjort av Royal College of Physicians i Storbritannia, og er spesifikt brukt i vurdering av kompetanse i virkelige praktiske prosedyresituasjoner i pasientutredning eller -behandling (Norcini, Burch 2007. Norcini, McKinley 2007.)  Skjemaet er oversatt til norsk.

Non-Technical Skills for Surgeons (NOTSS):

Observasjonsverktøyet Non-Technical Skills for Surgeons (NOTSS) (ncbi.nlm.nih.gov) (Yule, 2008, Yule, 2006, Yule, 2018) er i bruk internasjonalt for å vurdere ikke-tekniske ferdigheter hos kirurger. Skjemaet inneholder 13 ferdigheter som skal skåres på en skala fra 1 (meget dårlig) til 5 (meget godt). De 13 ferdighetene dekker elementer som gjelder situasjonsbevissthet, beslutningstaking, lederskap, kommunikasjon og teamsamarbeid.

Andre verktøy og skjemaer

I flere av foretakene er det utarbeidet lokale skjemaer som kan være nyttige redskaper i vurderingen av LIS-ene. Ta kontakt med de regionale utdanningssentrene for mer informasjon.

Strukturerte observasjonsverktøy for tilbakemelding innen det kirurgiske fagfeltet er godt beskrevet og det er god evidens for at strukturert tilbakemelding kan bidra til forbedring av tekniske og ikke-tekniske ferdigheter.  Se referanser for modellene GROW, PRACTICE og WISCONSIN.

Bruken av strukturerte observasjonsverktøy er vanlig internasjonalt i både grunn- og etterutdanningen av leger og annet helsepersonell. Foreløpig er disse mest i bruk i grunnutdanningen av leger i Norge.

Strukturerte observasjonsverktøy og skåringsskjemaer gir mulighet for en tilbakemelding basert på mest mulig objektive og godt spesifiserte kriterier. Observasjonsskjemaene kan også bidra til at vurderingene legges på riktig kompetansenivå i forhold til hvor langt LIS-en har kommet i spesialiseringen.

Kompetanseportalen er hensiktsmessig for å kartlegge i hvilken grad spesifikke prosedyrer faktisk er gjennomført, kombinert med tilbakemelding underveis og kvalitativ vurdering.

Ved flere prosedyrer kan det ved vurdering underveis være aktuelt å anvende strukturerte observasjonsverktøy. Se egen anbefaling om dette.

Ved opplæring i operasjonsteknikk og andre krevende prosedyrer kan det være naturlig med trinnvis økning av selvstendig arbeid under operasjoner. LIS-en bør få delta på flere inngrep av lignende type etter hverandre etter en plan for progresjon. LIS-en deltar først som assistent, opererer så med erfaren kollega som assistent, deretter selvstendig med egen assistent.

Det er en fordel om flere kolleger er med å vurdere progresjon og utførelse.

Ved prosedyrelæring i kirurgi kan video-basert supervisjon være en nyttig metode for instruksjon og vurdering med sikte på å forbedre tekniske ferdigheter. I praksis foregår det ved at LIS-en sammen med veileder/supervisør, gjennomgår en video av den kirurgiske prosedyren. Videoen kan enten være en instruksjonsvideo, eller en video som er tatt opp av en LIS som opererer. Sammen med veileder identifiserer man momenter ved den kirurgiske prosedyren der LIS-en har et forbedringspotensial. Disse momentene fokuseres det på i den påfølgende operative prosedyren (se Greenberg et al., Hu et al. Og Dimick et al.)

Trening på prosedyrer under supervisjon vil være en mer effektiv læringsaktivitet enn repetisjon av prosedyre uten supervisjon. Dette gjelder særlig for LIS-er som ikke har lang erfaring. Vurderingen og tilbakemeldingene underveis ved innlæring av ny metode vil føre til at ferdighetene utvikles raskere.

Referanser

• Greenberg CC, Dombrowski J, Dimick JB. Video-Based Surgical Coaching. JAMA Surgery. 2016 Mar 1; 151: 282.
• Hu Y-Y, Mazer LM, Yule SJ, Arriaga AF, Greenberg CC, Lipsitz SR, et al. Complementing Operating Room Teaching With Video-Based Coaching. JAMA Surgery. 2017 Apr 1; 152: 318.
• Dimick JB, Scott JW. A Video Is Worth a Thousand Operative Notes. JAMA Surgery. 2019 Jan 23.

Ved kurs i praktiske ferdigheter kan systematiske observasjonsverktøy anvendes i vurderingen av oppnådd kompetanse, se egen anbefaling om dette. Dersom kompetansen ikke blir vurdert som god nok, kan veileder informeres, og eventuelt følge opp med revidert individuell utdanningsplan.

Et kursbevis kan enten bekrefte deltakelse, eller bekrefte oppnådd kompetanse. For å få til en dreiing fra telling av kurs og antall kurstimer, til en bekreftelse på oppnådd kompetanse, vil det være viktig å få testet ut hva LIS-en har lært etter gjennomført kurs.

Simulering og ferdighetstrening for læring forutsetter et trygt læringsmiljø der det er lov å feile for å gi erfaring og skape refleksjon. Ved individuell ferdighetstrening trener LIS-en frem til kompetansen er vurdert god nok til å gå videre på pasient. Ved simulering i team er det teamet som blir vurdert. Det bør likevel ved behov gis individuelle tilbakemeldinger slik at videre læringsaktiviteter tilpasses for å styrke kompetansen der det trengs. For å sikre nødvendige tilpasninger tar den ansvarlige for simuleringen opp forbedringsområder med LIS-en og med veileder ved behov. Også veileder kan spille inn behov for ekstra ferdighetstrening ved simulering for sin LIS.

Simulering kan legges opp som demonstrasjon på modeller (delferdigheter eller helhet), oftest utenfor relevant kontekst eller som scenariebasert testing. Scenario er å gjenskape en relevant arbeidssituasjon (et scenario) der LIS-en må forholde seg til flere forhold, f.eks. pasient, sykepleier, et større team og ikke bare en avgrenset prosedyre. Ved bruk av simulering som sluttvurdering må dette opplyses i forkant til LIS-en.

Det er utviklet spesielle observasjonsskjemaer som egner seg godt for vurdering av simuleringsøvelser. Et norsk eksempel på systematisk vurdering av scenariebaserte øvelser som del av spesialistutdannelsen i kirurgi er kurset Basic Surgical Skills, der OSATS (Objective Structured Assessment of Technical SKillS) blir anvendt i vurderingen (Mansoor, 2014). Simulatortesting blir også brukt i endoskopiopplæring.

Det er spesielt viktig at den som utfører vurdering av LIS-en i simulering er kurset, trent og vurdert kompetent til å skape et trygt og forutsigbart læringsmiljø, til å vurdere LIS-en og til å gi tilbakemeldinger på en pedagogisk god måte.

Noen tilstander/situasjoner/prosedyrer er så sjeldne at de er vanskelige å lære uten å bruke simulering/ferdighetstrening. Noen tilstander/prosedyrer er så alvorlige at det er uforsvarlig å la LIS trene på pasient uten å ha vist god nok kompetanse i simulert setting i forkant. Det samme gjelder prosedyrer som innebærer stor risiko eller stort ubehag for pasienten. Andre situasjoner oppstår under så stor grad av kompleksitet at de er vanskelige å forstå, lære og forbedre. Det kan også være uetisk eller vanskelig å vurdere kompetansen i klinisk setting, for eksempel når den mer erfarne legen må behandle pasienten sammen med LIS-en under tidspress. Det er dokumentasjon for at man kan oppnå like god teknisk kirurgisk kompetanse ved simulering som ved «hands on» training (Le Blanc et al. 2010 og 2011).

Det foreligger enkle sjekklister for vurdering av faglige foredrag.

Aktuelle momenter for tilbakemelding kan være:

• Er tema og problemstilling for innlegget tydelig presentert? Blir det gjort klart hvilke kilder innlegget bygger på?
• Er det en logisk og tydelig struktur i innlegget? Er det gode illustrasjoner?
• Åpnes det opp for spørsmål og dialog?
• Trekkes det tydelige konklusjoner?

Flere aktuelle spørreskjemaer kan anvendes for å undersøke pasienters opplevelse av konsultasjonen, så som skjemaer fra de Nasjonale brukererfaringsundersøkelser (Pasopp), Patient Experience Questionnaire (PEQ), som er utarbeidet av norske forskere (Steine, 2001) og Communication Assessment Tool (CAT) (Makoul, 2007). En norsk validert utgave av CAT finnes i rapport om pedagogikk og kommunikasjon fra en arbeidsgruppe oppnevnt av Helsedirektoratet (Helsedirektoratet, 2017). Anvendelse av slike skjemaer som tilbakemelding til leger er noe nytt, og den enkelte utdanningsvirksomhet bør finne fram til hensiktsmessige måter å gjennomføre det på.

Referanser

• Steine S, Finset A, Laerum E. A new, brief questionnaire (PEQ) developed in primary health care for measuring patients' experience of interaction, emotion and consultation outcome. Family Practice. 2001;18(4):410-8.   doi: 10.1093/fampra/18.4.410
• Makoul G, Krupat E, Chang CH. Measuring patient views of physician communication skills: Development and testing of the Communication Assessment Tool. Patient Education and Counseling. 2007;67(3 SPEC. ISS.):333-42. doi: 10.1016/j.pec.2007.05.005
• Gruppe 3: Pedagogikk og kommunikasjon (dekker kommunikasjon, pasient- og pårørendeopplæring, brukermedvirkning og samhandling). Oslo: Helsedirektoratet, 2017
• Nasjonale brukererfaringsundersøkelser: Nasjonalt kunnskapssenter for helsetjenesten. https://www.helsebiblioteket.no/innhold/artikler/kvalitetsforbedring/kvalitetsforbedring#brukererfaringer