A Peer-Review integrálása a PACS rendszerbe szignifikánsan megnöveli a jelentett eltéréseket
Közösségek - Minőségbiztosítás | 2020. május 18. 23:03 | Utolsó módosítás dátuma - 2024. december 10. 11:11 | Forrás: American Journal of Roentgenology. 2020;214: 613-617. 10.2214/AJR.19.21952 https://www.ajronline.org/doi/abs/10.2214/AJR.19.21952
A cikk célja, hogy felmérjük a peer review PACS rendszerbe történő integrálásának a leletekben talált eltérések bejelentésére gyakorolt hatását. Hipotézisünk az, hogy a PACS-ba integrált, géppel randomizált, félvak szakértői értékelés bevezetése növeli a jelentett eltéréséket.
Eszközök és módszerek: Egy PACS eszközt abból a célból hoztunk létre, hogy ösztönözzük a radiológusokat, hogy a korábbi vizsgálatok retrospektív értékelését randomizált módon végezzék el. A PACS-ban a felülvizsgált radiológus neve nem szerepel. Ennek megvalósítása előtt azonban a radiológusok közvetlenül a RADPEER weboldalon keresztül léptek be az előleletezői rendszerbe. Három, 24 radiológusból álló szubspecialista csoport alkalmazta az eszközt (alkalmazó csoport). Három másik, 14 radiológusból álló csoport pedig nem alkalmazta az eszközt (kontrollcsoport). A szakértői értékeléseket a rendszer bevezetése előtt és azt követően 4 hónap eltéréssel elemeztük. A radiológusonként jelentett szignifikáns eltérések (RADPEER rendszerben 2b vagy magasabb pontszám) arányát kiszámítottuk, és összevetettük a rendszer bevezetése előtti és utáni időszakokban.
Eredmények: A alkalmazói csoportban az egyes radiológusok által jelentett átlagos szignifikáns eltérések aránya a módszer bevezetése előtti 0,19 %±0,46% (SD)-ról 0,93%±1,45%-ra emelkedett (p=0,01). A kontroll csoportban nem volt szignifikáns eltérés a jelentésekben.
Következtetés: Ebben az egyetlen intézményben zajló retrospektív elemzésben a peer review PACS rendszerbe történő integrálása ötszörös emelkedést hozott a jelentett eltérésekben. Ezek az eredmények azt sugallják, hogy a peer review értékelés adatait befolyásolja, hogy milyen formában használják, ideértve a PACS integrációt, a randomizálást és az anonimitást.
A peer review jelenleg a legfőbb eszköz a radiológiai minőségbiztosításában (1). A legismertebb formája a rendszernek a RADPEER rendszer, melyet az Amerikai Radiológiai Szakmai Kollégium (American Collage of Radiology) (2) fejlesztett ki és tett elérhetővé a tagjai számára 2002-től (3). A RADPEER munkafolyamata magában foglalja az előzetes leletek ellenőrzését, miközben a radiológusoknak az alapvető klinikai feladatokat is el kell látni. Az utóbbi időben számos tanulmány rávilágított ezen rendszer korlátaira, különös tekintettel az hibák alulbecslésére (1,2,4). Fontos tényező az elfogultság, melyet az anonimitás és a randomizálás hiánya okoz. (1,2,5). Így a peer review haszna az oktatásban és a minőségbiztosításban megkérdőjeleződött (1,2,4). A Loyolai Egyetemi Orvosi Központban a RADPEER rendszert már évek óta folyamatosan használják minőségbiztosítási projektként. A másodleletező közvetlenül a RADPEER honlapján keresztül közölte a peer review eredményét, ami meglehetősen nehézkes folyamat volt, mivel nem volt integrálva a PACS rendszerrel. A folyamat megfelelően randomizálva sem volt, mivel a radiológus választotta ki az esetet, amelyet másodleletezni szándékozik, és manuálisan vitte fel az adatokat a weboldalra. Ezen kívül az értékelő radiológusnak manuálisan kellett kiválasztania a felülvizsgált radiológusnak a nevét. Ez egy olyan lépés, amely tovább súlyosbíthatja a meglévő torzításokat. Ráadásul a szignifikáns eltérések jelentésekor a másodleletezőnek meg kellett adni a vizsgálat számát, amely további időigényes lépés volt, és amelyre nem volt szükség, ha egyetértett a lelettel, vagy csak nem szignifikáns eltérésekre jutott. Ez a lépés öntudatlanul is a jelentős eltérések bejelentése ellen hathatott. 2017 augusztusában bevezetésre került egy PACS integrált rendszer (InteleViewer, Intelerad Medical Systems), mely a peer review rendszert hatékonyabbá és zökkenőmentesebbé tette a gépi randomizálásnak és részleges vakításnak köszönhetően. A RADPEER adatokat retrospektív módon elemeztük ezen eszköz bevezetése előtti, illetve az azt követő időszakban. A hipotézisünk az volt, hogy a PACS-ba integrált rendszer növeli a szignifikáns eltérések bejelentését.
Eszközök és módszerek
A tanulmányt a Loyola Egyetem Intézményi Felülvizsgálati Testülete adta ki. Betegadatok nem lettek gyűjtve. Peer review adatok kerültek elemzésre az új PACS-integrált rendszer bevezetése előtt és után. A módszer 2017. augusztus 1-jén került bevezetésre.
A Loyola Egyetem Orvosi Centrumának Radiológiai Osztályán a teljes munkaidős radiológusoknak havonta legalább 30 peer review leletet kellett benyújtaniuk, míg a részmunkaidős alkalmazottaknak 20-at. A radiológusok a rutin klinikai vizsgálatok mellett végezték az előzetes leletek másodleletezését. Az értékeléshez a Goldberg-Stein és mtsai. által kidolgozott 2016-os RADPEER rendszert vették alapul. Az új módszer bevezetése előtt a radiológusok közvetlenül a RADPEER weboldalon keresztül léptek be a peer review rendszerbe, kiválasztották, hogy az adott napon mely eseteket másodleletezik, majd a RADPEER weboldalon kiválasztották a felülvizsgált radiológus nevét, a modalitást, valamint értékelték az elsődleges leletet. Ha a peer review értéke 2b vagy annál magasabb volt, akkor a felülvizsgáló radiológusnak be kellett vinni a vizsgálat számát és a talált eltéréseket. Az összes olyan értékelést, melynek pontszáma 2b vagy magasabb volt, később az osztályvezetők áttekintették és ők adták meg a végső pontszámot. A 2b vagy magasabb pontszámú eseteket szignifikáns eltérésnek és oktatási szempontból jelentősnek értékelték. A 2a pontszámú eltéréseket relatíve kevesebb oktatási értékkel bíró, nem szignifikáns eltéréseknek minősítették.
A módszert teljes mértékben integrálták a PACS-ba, ami azt jelentette, hogy az értékelők a legtöbb esetben két-három egérkattintással elvégezhették a korábban bonyolult és időigényes folyamatokat. A program választotta ki a felülvizsgálandó leleteket, amelyeket egy zászlóval jelölt meg. Ha a radiológus teljesítette a napi 5 másodleletezést akkor a rendszer abbahagyta az új esetek kijelölését. Az értékelő radiológus válogathatott a megjelölt esetek közül, de a megjelölés teljes mértékben a géptől függött. Így létrejött a randomizáció egy bizonyos fokig, amely korábban, mikor a radiológus választhatta ki, hogy mely eseteket kívánja felülvizsgálni nem volt jelen. A radiológusok a havi kvóta teljesítése után figyelmen kívül hagyhatták a jelölt eseteket. A program ráadásul nem írta ki az előleletező nevét, így egy bizonyos fokú vakítás is létrejött. Teljes anonimitás azért nem volt lehetséges, mert a leletet más rendszereken, például diktáló szoftvereken vagy orvosi nyilvántartási rendszeren keresztül vitték be. A program a minőségbizottság számára is biztosította a 2b vagy magasabb pontszámú leletek felülvizsgálatát. A havi végső összesített adatokat a közigazgatási személyzet nyújtotta be az ACR-hez. A minimális leletezendő mennyiség megegyezett a rendszer bevezetése előtt és után. Volt lehetőség nem a rendszer által kijelölt leletek felülvizsgálatára is, ezeket azonban csak oktatási célokra és morbiditási, mortalitási statisztikákra használták, így a továbbiakban ebben a cikkben ezt nem tárgyaljuk.
Három szubspecialista részleg 24 radiológusa (musculosceletalis, teljestest leképzés és neuroradiológia) alkalmazta az új eszközt (alkalmazó csoport) és három, 14 radiológusból álló csoport (mammográfia, intervenciós radiológia és nuklearis medicina) nem alkalmazta az eszközt (kontrollcsoport). Ők továbbra is a RADPEER honlapon keresztül manuálisan vitték be az adatokat. Elemeztük az összes peer reviewt a bevezetést megelőző és azt követő 4 hónapban és kiszámítottuk a radiológusonként jelentett szignifikáns eltérések (2b pontszám vagy annál magasabb) átlagos arányát, valamint a nem szignifikáns eltérések (2a pontszám) átlagos arányát és ezeket összevetettük a páros t teszt segítségével.
Eredmények:
Alkalmazó csoport
A 24 radiológus, akik bevezették az új rendszert 3108 másodleletezést végeztek a bevezetés előtt és 3237-et a bevezetés után. Az egy radiológusra eső átlagra havi 32,4 eset volt a megelőző, és 33,7 eset volt az utánkövetéses időszakban. Ez nem szignifikáns különbség (p=0,58). A 24 radiológus közül 9 jelentett több szignifikáns eltérést az új rendszer bevezetése után a megelőző időszakhoz képest. 13 radiológus nem jelzett szignifikáns eltérést a leletben egyik időszakban sem, 2 radiológus pedig a megelőző időszakban jelentett egyel több szignifikáns eltérést mint utána. Összességében az alkalmazói csoportban az egyes radiológusok által jelentett átlagos szignifikáns eltérések aránya a módszer bevezetése előtti 0,19 %±0,46% (SD)-ról 0,93%±1,45%-ra emelkedett (p=0,01). Ez statisztikailag szignifikáns különbség. A nem szignifikáns eltérések jelentése 1,09%±2,57%-ról 1,16%±2,55%-ra emelkedett, ez viszont statisztikailag nem szignifikáns különbség (p=0,51).
Kontrollcsoport
A 14 radiológus, akik nem alkalmazták az új programot, az annak bevezetése előtti időszakban 1602 leletet ellenőriztek, míg az azt követő időszakban 1680-at. Az átlagos peer review radiológusonként havonta 28,6 volt előtte, és 30 utána, ami nem szignifikáns különbség(p=0,19). Nem jelentettek szignifikáns eltérést a leletek értékelésekor egyik megfigyelt időszakban sem. Az átlagos bejelentett nem szignifikáns eltérések aránya 0,39%±1,00%-ról 1,07%±2,95%-ra emelkedett, ami szintén nem szignifikáns különbség (p=0,23).
Megbeszélés
Az eredmények azt mutatják, hogy az új módszernek szignifikáns hatása van a radiológusok által bejelentett eltérésekre. Az eszköz használata 5-szörös emelkedést hozott a szignifikáns eltérések bejelentésében. Ezek az eredmények rámutatnak a RADPEER rendszer korlátaira, amelyeket meg kell fontolni a RADPEER minőségbiztosításban betöltött szerepe kapcsán.
A rendszer bevezetése előtti átlagos szignifikáns eltérés mindössze 0,19% volt a felhasználói csoportban. A nem felhasználói csoportban a vizsgálat során egyáltalán nem jelentettek szignifikáns eltéréseket. Ezek az adatok valószínűleg nagyon távol állnak a leletekben szereplő valódi diagnosztikai hibaaránytól. Bár a pontos szám nem ismert, de a jelentősebb hibák aránya körülbelül a 3-47%-os tartományba tehető (7-16). Ezzel éles ellentétben áll a bejelentett hibaarány, amely 0-0,8% között mozog (3,4,17-21). Ha az összes bejelentett eltérést nézzük, függetlenül attól, hogy jelentős vagy nem jelentős, akkor ez az érték 0,7%-ról 7,5%-ra nő. (3,4,17-23). Itri és mtsai. egy nemrégi tanulmányban egy RADPEER szerinti peer review rendszerben egy éves megfigyelés alatt egyáltalán nem jelentettek szignifikáns eltéréseket. Ugyanezen időszakról 130 szignifikáns eltérést gyűjtöttek összes más forrásokból (pl. cikkek, klinikai konzultációk, multidiszciplináris konferenciák).
Jelen tanulmányban az átlagos aránya a bejelentett szignifikáns eltéréseknek az új módszer használatával 0,93%-ra nőtt az adott radiológus csoportban. Ez is mutatja, hogy a kezdeti adatok messze nem voltak pontosak. A tanulmány arra is rámutat, hogy a peer review eszköz megválasztásának jelentőse hatása van a rendszer eredményességére. Az ACR egy bizonyos határon belül rugalmasan kezelné az új RADPEER rendszer bevezetését és megvalósítását. Ez a rugalmasság segítheti az új módszer elfogadását, viszont azt is jelenti, hogy a különböző intézmények adatai nem lehetnek összehasonlítóak és az általános referenciaértékek sem használhatók egységesen.
Abdujedeh és mtasi. (24) felmérésükben arról számoltak be, hogy az általuk megkérdezett radiológusok több mint fele gondolta úgy, hogy a PACS rendszerbe történő jobb integráció vagy a hangfelismerő alkalmazás megkönnyítené a peer review működését, a határidők betartását. O’Keeffe és mtsai. (19,20) 0,6% és 0,42%-os klinikailag szignifikáns eltérést találtak a peer review programmal kapcsolatos vizsgálatuk során. Trinh és mtsai. egy 3,5 éves periódus alatt vizsgált, munkaállomásokba integrált peer review rendszerben 0,5%-os szignifikáns eltérésről számoltak be. Tudomásunk szerint a mi tanulmányunk az első, amely vizsgálja a bejelentett eltérések arányát a PACS-ba ágyazott rendszerben, a nem integrált peer review-val összehasonlítva. Az irodalomban korábban közzétett széles határok között mozgó hibaarányok és az azokhoz képesti ötszörös növekedés a szignifikáns eltérésekben jelen tanulmányban azt sugallja, hogy a peer review értékelés jelen formájában nem releváns az egyes radiológusok teljesítményének megítélése szempontjából, valamint az, hogy a RADPEER eredmények büntető intézkedésekhez is vezethetnek igazságtalan és kontraproduktív is lehet (1,2).
Összefoglalva, az új, PACS-ba integrált rendszerünk három kulcsfontosságú dologban különbözött a régi rendszertől. Először is megkönnyítette a peer review értékelések benyújtását. A folyamat, mely korábban legalább nyolc egérkattintást vett igénybe, körülbelül három egérkattintásnyira rövidült. Ez a különbség még kifejezett azokban az esetekben, mikor a másodleletező jelentős eltérésnek számító véleményt kívánt közzétenni, amely megkövetelte az oldalon a tanulmány számának a megadását. Az új rendszerben ezt az eszköz magától végrehajtja. Másodszor, az eszköz olyan mértékű gépi randomizálást tesz lehetővé, amelyet korábban nehéz volt biztosítani. Ráadásul a gépi randomizáció még azt a korábban előforduló esetet is megakadályozza, amikor az összes peer review értékelést a határidő előtt egy nappal akarták benyújtani (5). Harmadszor az eszköz használatával bizonyos mértékű vakítás is létrejön, mivel a felülvizsgált radiológus neve nem jelenik meg a PACS jelentésben. Bár teljes vakításra nincs lehetőség, de már ez is jelentős javulást eredményez a korábbi gyakorlathoz képest, melyben a másodleletező radiológusnak kellett kiválasztani a felülvizsgált radiológust. Loreto és mtsai. (25) által megkérdezett radiológusok 58%-a gondolta úgy, hogy előfordulhat, hogy elfogultak lennének másodleletezés során a kollegáikkal szemben. Tehát egy olyan rendszer, amely lehetővé tenné számukra, hogy ne tudják, kinek a leletét vizsgálják, megkönnyítené, hogy elfogulatlanul döntsenek. Az, hogy a három felsorolt tényező közül melyik járult hozzá legjelentősebb mértékben a bejelentett szignifikáns eltérések arányának növekedéséhez nem világos pontosan, de az biztos, hogy az ok ezen tényezők kombinációjának köszönhető, mivel egyéb körülmények viszonylag állandóak voltak a vizsgálat időtartama alatt.
Jelen tanulmány korlátját képezi annak retrospektív volta. Ezt próbáltuk kiküszöbölni azáltal, hogy összehasonlítottuk a radiológusonkénti bejelentett eltérési arányokat, hogy kizárjuk az esetleges személyi változások befolyásoló hatását. A tanulmány ideje alatt nem történt változás az osztály szakpolitikájában, az ösztönző rendszerében és a peer review-val kapcsolatos szabályokban. A kontrollcsoport, mely ugyanazon intézmény radiológusaiból került ki ellenőrző csoportként szolgált. Bár ezen szekciók, mint a mammográfia és intervenciós radiológia kevésbé alkalmasak a peer review-ra, ezért elméletileg kevésbé is reagálnak a RADPEER rendszerben bekövetkező változásokra, azonban jelen tanulmány megtervezése és az eredmények hitelessége nem függ a kontrollcsoporttól. Inkább annak kiszűrésére szolgált, hogy az eredményeket nem befolyásolták-e az osztályon történt olyan változások, amelyekre esetlegesen nem derült fény. Valamint még korlátozza a vizsgálat értékét, hogy egyetlen intézményben lett elvégezve, mindössze 38 radiológus részvételével.
Ez a tanulmány tehát kimutatta, hogy a PACS-ba integrált peer review rendszer, amely javította a randomizálást és részleges vakítást tett lehetővé növelte a szignifikáns eltérések bejelentését. Ez megerősíti az aggodalmakat a hibák alulbecslésével kapcsolatban a RADPEER rendszerben és alátámasztja a szerepének újraértékelését a minőségbiztosításban, valamint ösztönzi a peer review modellek további fejlesztését.
Referálta:
dr. Soltész Ágnes
Debreceni Egyetem Kenézy Gyula Egyetemi Kórház Központi Radiológiai Diagnosztika
Forrás:
https://www.ajronline.org/doi/abs/10.2214/AJR.19.21952