A többrésztvevős kiértékelés átgondolása

Közösségek - Minőségbiztosítás | 2020. április 15. 11:16 | Utolsó módosítás dátuma - 2024. november 25. 21:38 | Forrás: https://doi.org/10.1148/radiol.11102222

Mit tanulhat a radiológia a légi közlekedéstől teljesítményfejlesztési szempontból?

A repülés, mint közlekedési módszer a 20 század eleje óta egy kimondottan veszélyes vállalkozásból egy közel teljesen biztonságos üzletággá vált, melyet részben az eszközök rohamos fejlődésének, de legnagyobbrészt a gyors emberi és teljesítményfejlődésnek köszönhet. Habár a radiológia technológiai szempontból az egyik leggyorsabban fejlődő területe az egészségügynek, mégis egy viszonylag új területnek számít, mely teljesítménynövelés szempontjából sokat tanulhat a repülőgép-vezetésből származó tapasztalatokból.

A légi közlekedési rendszer fejlődésének az első háromnegyed évében az emberei hibákat egyedi, különválasztott eseteknek tekintette, melyben maga az elkövető személy állt a központban, hasonlóan a radiológiához, ahol ugyanígy kezelik a peer review-ból származó eredményeket. Az egyik legszéleskörűbben használt pontozórendszer az Amerikai Radiológiai Intézet RADPEER programja. Egy 1-4-ig terjedő skálával dolgozik, amelyben az 1-es megegyezést jelent az értelmezéssel, a 2-es egy nehézkes diagnózist jelöl melynek előfordulási esélye viszonylag ritka, a 3-as esetben a diagnózis felállítása az esetek többségében lehetséges, míg a 4-es esetben hiba történt az értelmezésben.  A hibák száma ez esetben összevethető, hogy egy adott hibaarányt megállapíthatóvá tegyen az adott radiológus irányába. Ezek az egyéni hibaarányok összehasonlíthatóak, hogy megállapítsák kik azok, akik már az elfogadhatatlan szintet produkálnak, mely által egy felzárkóztató képzés eszközölhető az ő részére. Ezen megközelítés alapján külön matematikai képleteket állítottak fel a hibaarány megállapítására, melyeket akár kép archiváció és kommunikációs rendszerekbe (PACS), hangalapú diktálás alapú rendszerekbe, és elektronikus kórlaprendszerekbe is beintegrálhatók.

Az 1970-es évektől kezdve a légitársaságok által okozott káreseteket szisztematikus hibáknak ismerték el, és úgy is kezelték őket. Ezen megközelítés fájó, de mégis indokolt beiktatását jól példázza az 1974. december 01.-én történt légikatasztrófa, melyben egy Boeing 727-es nekicsapódott egy sziklának 29 mérföldre a Dulles Nemzetközi Repülőtértől a túl korán megadott ereszkedési engedély miatt, mely ütközésben 85 utas, illetve a teljes személyzet életét vesztette.

TWA 514-es becsapódásának helye (Berryville, Virginia) 1 évvel a baleset után.
(forrás: https://doi.org/10.1148/radiol.11102222)

Ezt az esetet, ha a RADPEER pontozási lista alapján vizsgálnánk, akkor igen nehéz lenne az értelmezés, hiszen ilyen esetnek technikailag soha nem kéne történnie. Egy hat héttel az eset előtt történt hasonló balesetben a kapitány csak pár lábnyi különbséggel kerülte el a katasztrófát, amely után a United Airlinesnál kellett volna jelentenie az esetet. Viszont a jelentés beadása befeketítette volna a resuméját, de nem osztották volna meg a hírt a többi légitársasággal. Végül a kapitány jelentést tett, amelynek megfelelően az esetet felülvizsgálták és figyelmeztetést adtak ki a társaságnál dolgozó pilótáknak. Ez esetben is ha a RADPEER rendszer elé vetnénk a kérdést, akkor is ugyanúgy járnánk, mint az előző légikatasztrófánál, annyi különbséggel, hogy ebben az esetben nem történt tragédia, így kérdéses, hogy a pilóta valóban elítélhető e a potenciális katasztrófa lehetősége miatt. Az újbóli felülvizsgálatot követően még egy esetet találtak, ahol egy hat órával későbbi esetet vettek vizsgálat alá, melyben a pilóták megismételtették az irányítótoronnyal az engedélyt, mely után biztonsággal megérkeztek. A Nemzetközi Közlekedésbiztonsági Tanács a TWA 514-es katasztrófáját a légiirányítást nevezte meg okozónak, melyben valójában a légi személyzet értette félre az ereszkedési engedélyt. Viszont ezt követően belátták az FAA rendszer hibáit.

Az ezt követő lázas kutakodás során rájöttek, hogy az egyes hibák bizonyos rendszerességgel fordulnak elő, és bizonyos mértékig kiszámíthatóak. Ezek elkerülése végett jobb, ha a társaság olyan „védelmi rendszert” épít ki, amelyben olyan viselkedésformákat várnak el, amely által a balesetek megelőzhetőek, felismerhetőek időben, ill. lecsökkentik az esetleges hibákból származó kárt. Ezek olyan egyszerűek lehetnek, mint a folyosó ajtóinak ellenőrzése, vagy a toronyból küldött információk megismétlése. A hibák jelentése szükség esetén két módon lehetséges. Az egyik szerint a hibát felismerik, majd közlik ezt a potenciális okozókkal, mely által tanulhatnak az esetből, a másik szerint pedig az alkalmatlanokat felzárkóztathatják, illetve felmenthetik a szolgálat alól.

A radiológia területén használatos RADPEER rendszer is előtérbe helyezi a többrésztvevős rendszerből származó visszajelzéseket és az ebből történő tanulást. Viszont az ezzel kapcsolatos korábbi kutatások vagy a mérési rendszert emelte ki, vagy a mérést és az egyéni fejlesztési rendszert igyekezett összevonni, mely a tapasztalatok alapján nem igazán lehetséges. Ilyen esetben kérdés, hogy milyen célt szolgál a peer review, melyben a cél lehet az okozó megtalálása, illetve a megoldás keresése. Az elmúlt tíz évben történt vizsgálatok igazolták viszont, hogy az egyéni problémák kiértékelése és összevetése önmagukban nem elegek az egyéni teljesítményszint meghatározására, mivel:

A hibaarány meghatározása önmagában nem javítja a teljesítményt

1. Önmagában a minőség mérése nem növeli a minőséget. Ennél már jobb, ha a befektetést az egyéni hibák keresése helyett a hibák megelőzésébe fektetik.
2. A hibák mértékének meghatározása nem mutatja meg, hol van a hiba, milyen mértékű, és hogy hogyan lehet rajta javítani.
3. Az egyéni hibák keresése nem veszi figyelembe a rendszert, amiben az egyén dolgozik.
4. Nem veszi figyelembe a tényt, hogy az egyes, az egyén által elkövetett hibákat mások is elkövethetik ugyanabban a helyzetben.
5. Minden hibát ugyanúgy kezel és ugyanazt a megoldást nyújtja rájuk: okítást, illetve büntetést. Viszont a kognitív pszichológia is kimutatta, hogy minden hibatípusra más-más megoldás kell.

A hibabejelentő rendszerek nem megbízhatóak az egyéni teljesítmény mérésében

1. A peer review-kból származó adatok erősen szubjektívek, pontatlanok, random mintagyűjtés alá esnek, eléggé aluljelentettek, és a beküldött adatokat mindig a részrehajlás veszélye fenyegeti. Ennek megfelelően az átlagosan teljesítőket könnyedén alulteljesítőknek bélyegezhetik (I-es hiba) és a valóban alulteljesítők nem jelennek meg a statisztikai tartományon kívül esőként. A második esetben a valóban fejlesztésre szorulók felülvizsgálóikat meggyőzhetik, hogy nincs szükségük fejlesztésre, amely hazavágja a projekt lényegét.
2. A precíz, számosított kiértékelés hamis eredményeket ad az adott személy pontosságáról.
3. A rendszer az egyes radiológusokat rossznak, másokat meg jónak tekint, ami eléggé leegyszerűsített képlet. A teljesítmény meglehetősen területspecifikus, és aszerint növekszik vagy csökken, hogy mennyi energiát fektet az egyén a tanulásra, és a gyakorlatára.
4. A rossz teljesítmény kiemelése erősen büntető jellegű, ami miatt nem szívesen jelentik be az esetleges hibákat.
5. Az ilyen típusú kialakítás védekező reakciót vált ki, és aláássa a bizalmat és a kooperációt, mely ellenségességhez vezethet.

A minőségfejlesztés modern és a tradicionális megközelítése

A minőség és a megbízhatóság modern értelmezésének alapját W. Edwards Deming alkotta meg, aki szerint a minőséget azt határozza meg, hogy hányan teljesítenek rosszul, kik azok, illetve, hogy hogyan kezelik őket (felzárkóztatás, büntetés, vagy kirúgás). Kiemelte, hogy ez a fajta megközelítés nem eredményez drámai fejlődést, ugyanis nem erre találták ki. Grafikusan ábrázolva a modellt, az ilyenfajta minőségbiztosítási módszer úgy fogja fel, hogy van egy adott standard, ami szerint egyesek kiválóan teljesítenek, a többség átlagosan teljesít, illetve vannak azok, akik alulteljesítenek (2-es ábra).

Ez a fajta modell viszont csak kismértékű javulást eredményez az alulteljesítők büntetésével, és kizárásával. Ezért van az, hogy hagyományos keretek között az ilyen személyt inkább privátban keresik fel, hiszen a hibák nyilvánosságra hozása nem javítja szignifikánsan a teljesítményt. Deming és társai ennek megfelelően úgy találták, hogy a minőséget meghatározó tényezők könnyebben megérthetőek és kiszámíthatóak kísérletezés és tanulmányozás által (3-as ábra).

Mivel ezek a tényezők értelmezhetőek, ezért a megoldásokat is könnyebb kifejleszteni, kipróbálni, és kiválogatni. Ennek ellenére a légitársaságok továbbra is élnek a hibajelentéssel, melyet fontos tanulóeszközként alkalmaznak. Az FAA az ominózus katasztrófát követően egy bizalmas, nem büntető jellegű Légiutas-biztonsági bejelentőrendszert vezetett be, amely külön szabályozó rendszert ír elő minden részesedő félnek. Emellett minden légitársaságnak megvan a maga önálló bejelentőrendszere, amely esetenként még effektívebb is, mint az FAA saját rendszere.

A modernebb eljárás legjelentősebb előnyei:

1. Az egyéni visszacsatolások fontosak, hogy megváltoztassák azokat a habitusokat, amelyek hibagyanúsak. Azok, akik soha nem hallanak a hibáikról, azok biztos, hogy megismétlik őket.
2. Az egyének könnyen tanulhatnak egymás hibáiból anélkül, hogy ők azt elszenvednék.
3. A hibát elkövető személy megkeresése helyett érdemes az egyes hibákra koncentrálni, és arra ösztönözni az alkalmazottakat, hogy ezekből tanuljanak.
4. A peer review-kat személytelenné lehet tenni, majd oktatási célokra felhasználni a mintakeresés érdekében.
5. A pontozórendszert fel lehet használni a priorítások kiemelésére, melyben meghatározhatjuk azon hibákat, amelyek a legnagyobb valószínűséggel okoznak problémát ahelyett, hogy a hibát okozó személyre fektetnénk a hangsúlyt.
6. A sub-optimális teljesítménypéldák segíthetnek a rendszerben lévő rendellenességeket azonosítani és azokra megoldásokat találni.

A radiológia területén is realizálódik a gondolat, hogy bár a RADPEER és hasonló rendszerek számosítják a diszkrepanciákat, de a többrésztvevős vizsgálatok (peer review-k) értékét mégis a lekövetésben, az egyéni visszacsatolásban, és a csoporttalálkozókon, illetve az oktatási konferenciákon látják hasznát. Ez megteremti a lehetőségét annak, hogy az eddig jellemző önvédelmi mechanizmus helyett a hangsúly áthelyeződjön a megosztott felelősségtudatra.

Mivel a többrésztvevős rendszerek többségét inkább „házon belül” intézik, ezért ezesetben mindegy melyik rendszert alkalmazzák, amíg az nem büntető jellegű, viszont ha ez egy meghatározott elektronikai rendszerhez kötött, akkor sokat veszíthet ebből a flexibilitásból, mivel a szolgáltatók a saját rendszerüket építik bele a minőségbiztosítási programba. Ennek ellenére önmagában a hibák elkerülése, keresése és a megfelelő megoldással való előhozakodás nem elég, ha nincs mellette egy teljesítményfejlesztési program.

Bizonyított teljesítménynövelő stratégiák

Minden profi tudja, hogy a képességeiket csak akkor vihetik tökélyre, ha körültekintően tanulmányozzák szakterületüket, és folyamatos visszajelzéseket kapnak fejlődésükről. Ezt a légitársaságok is felismerték, ezért a pilóták gyakran használnak szimulációkat, hogy a szokatlan helyzetekre való felkészülést szokják, illetve a csoportdinamikát igénylő feladatok elvégzése érdekében folyamatosan gyakorolják a rutinszerű lépéseket, illetve töltenek és töltetnek ki ellenőrzőlistákat. Emellett a pilóták teljesítményét folyamatosan figyelik, melyek során külön személyzet figyeli meg és értékeli a pilóta teljesítményét, mely ez után sarkalja a további teljesítményt, és nem csupán ítéletet mond felette. Az ehhez hasonló eljárások bevezetése jelentősen növelte az egészségügyi ellátórendszer minőségét is, így például a katéterbehelyezéseket követő felülfertőződés veszélye is közel 0%-ra esett vissza, de talán a legjelentősebb példa az altatást követő mortalitás arányának 10-20x csökkenése az elmúlt évtizedekben. Ennek egyik hozadéka volt még, hogy 1982-ben létrejött az Amerikai Aneszteziológiai Társasági Alap (APSF), mely számos tanulmánnyal igazolta az altatási hibák mögött álló okokat, mint az agyi perfúzió csökkent állapota, vagy a váll területén jelentkezett túlzott nyomás.

Számos példát hoztak e téren a légitársaságoktól, melyben először a politikai irányvonalaktól független organizációt hoztak létre, másrészt tisztázták a kutatási és oktatási célokat, harmadrészt a kutatók egy stabil emberi faktorokon alapuló listát, negyedrészt pedig a vezetőség külön kockázatmanagement protokollt, biztosítókat, szervezőket és szoftver, illetve felszerelés szolgáltatókat kért fel. Ezekből az eljárásokból mind hiányzik a hiba-kiértékelési rendszer. Habár az egészségügy és a légiforgalom más-más területek, a felmerülő hibák elleni harcot hasonlóan kell kezelni bennük: meg kell találni és be kell építeni a kutatáson alapuló megoldási lehetőségeket. A figyelem fókuszpontjába állított szavak korábbi kutatások szerint javította a hibaarányt, de a formális itemlisták sikerességéről még nem érkezett kimutatás. Mindez nagyon ígéretesnek hangzik, de a radiológiai gyakorlatba, a belső elektronikai rendszerbe és magába a munkafolyamatba is adoptálni kell ezeket. A radiológia digitális természetének köszönhetően a teljesítménymonitorozás és képzés szimulációs úton történő felmérése adja magát a gyors fejlődéshez. A radiológia első sorban egy kórház-alapú szakterület, melyben számos, jól szervezett csoport dolgozik, amelyben az orvosok már rutinosak egymás tanításában, képzésében, továbbá a technológia már bizonyította adaptív képességét.

A legfontosabb, amit ebből megtanulhatunk, hogy a hiba elkövetőjének felkutatása lassítja, esetenként gátolja a fejlődést és a megfelelő megoldások felkutatását, emiatt jobb, ha magára a hibára és nem az okozóra összpontosítunk, mely különösen megfontolandó dolog a peer review-k során használt elektronikai felmérőrendszerek tekintetében. A radiológia ilyen mértékű és szintű átalakítása segít, hogy a kutatások a hibák elkerülését, és nem a hibákra való reagálást részesítsék előnyben, biztosítva a minél tökéletesebb képalkotást és értelmezést. 

Referálta:
dr. Fekete Balázs Imre
DE Kenézy Gyula Egyetemi Kórház,
Központi Radiológiai Diagnosztika

Forrás:
David B. Larson , MD , MBA John J. Nance , JD
Rethinking Peer Review: What Aviation Can Teach Radiology about Performance Improvement
Radiology 2011;259:626–632
https://doi.org/10.1148/radiol.11102222