Venni vagy nem venni - kereskedelemben kapható AI megoldások értékelése a radiológiában (ECLAIR irányelvek)

Közösségek - AI - Mesterségs Intelligencia | 2021. április 20. 23:35 | Utolsó módosítás dátuma - 2024. október 11. 14:10 | Forrás: Eur Radiol 2021. DOI: 10.1007/s00330-020-07684-x

Ebben a cikkben, a szerzők, segítenek az érintetteknek értékelni a kereskedelmi AI megoldásokat a radiológiában (ECLAIR irányelvek).

A mesterséges intelligencia (AI) lenyűgöző fejlődésen ment keresztül az elmúlt pár évben, így számos alkalmazás az orvosi képalkotásban is. Sok olyan kereskedelmi megoldás alapszik az AI technológián, melyek már megvásárolhatók. Bár számos útmutatást publikáltak már az AI alapú orvosi és radiológiai kutatások végzésének és bejelentésének gyakorlatáról, kevesebb szó esett azokról a kulcsfontosságú kérdésekről, melyeket átgondolva kritikusan értékelhetik az AI megoldásokat vásárlás előtt. A kereskedelmi AI megoldások általában bonyolult software termékek, melyek kiértékeléséhez számos tényezőt figyelembe kell venni. Ebben a cikkben, a szerzők, mind akadémiai, mind ipari területekről egyesítették törekvéseiket, hogy létrehozzanak egy keretet, mely segíteni fog az érintetteknek értékelni a kereskedelmi AI megoldásokat a radiológiában (ECLAIR irányelvek). A főbb értékelési szempontok, amelyeket át kell gondolni, a következők: egyéni relevancia, teljesítményt és validációt érintő problémák, használhatóság és integráció, szabályozás és jogi szempontok, valamint pénzügyi és támogatási szolgáltatások (support).

Kulcspontok

• Számos olyan kereskedelmi megoldás alapul az AI technológián, melyek már megvásárolhatóak, ezzel forszírozva azt is, hogy megtanulják megfelelően értékelni ezeket az eszközöket.
• Célunk létrehozni egy praktikus keretet, fókuszálva a praktikus pontokra, melyeket figyelembe kell venni, amikor értékelünk egy AI megoldást az orvosi képalkotásban. Ezzel lehetővé tehető, hogy az érintettek releváns diszkussziók lebonyolítását folytathassanak a gyártókkal és ezáltal egy információkon alapuló döntést hozhassanak, arról, hogy megvásárolják-e az adott AI megoldást a képalkotó alkalmazásaikhoz.
• Főbb szempontok, amelyeket át kell gondolni értékelés során a következők: saját nézőpont szerint releváns-e a megoldás, teljesítményt és validációt érintő problémák, használhatóság és integráció, szabályozás és jogi szempontok, valamint pénzügyi és támogatási szolgáltatások.

Rövidítések

 

AI	Artificial intelligence – Mesterséges intelligencia
API	Application Programming Interface- Alkalmazás programozási felület
CE	Conformité Européenne- Európai megfelelőség
CPU	Central processing unit – Központi feldolgozó egység
CSV	Comma-separated values – Vesszővel elválasztott értékek
CUDA	Compute unified device architecture- Egységes eszközarchitektúra számítása
DICOM	Digital Imaging and Communications in Medicine - Digitális képalkotás és kommunikáció az orvostudományban
DL	Deep learning - Mélytanulás
FDA	Food and Drug Administration - Élelmiszer- és Gyógyszerügyi Hivatal
FROC	Free-recall receiver operating characteristic – Free-call vevő működési jellemző
GDPR	General Data Protection Regulation - általános adatvédelmi rendelet
GPU	Graphics processing unit - Grafikus feldolgozó egység
HIPAA	Health Insurance Portability and Accountability Act – Egészségbiztosítási hordozhatóságról és elszámoltathatóságról szóló törvény
ISO	International Organization for Standardization- Nemzetközi Szabványszervezési Szervezet
IT	Information technology - Informatika
MAE	Mean average error – Átlagos átlaghiba
MASE	Mean absolute scaled error – Abszolút méretezésű hiba átlag
MDR	Medical Device Regulation - Orvostechnikai eszközökre vonatkozó szabályozása
MDSAP	Medical Device Single Audit Program - Orvostechnikai eszköz egyetlen auditálási program
MHRA	Medicines and Healthcare products Regulatory Agency - Gyógyszerek és egészségügyi termékek Szabályozó Ügynökség
NMPA	National Medical Products Administration - Nemzeti Gyógyászati Termékek Igazgatósága
PACS	Picture Archiving and Communication System - Képarchiválási és kommunikációs rendszer
PMDA	Pharmaceutical and Medical Devices Agency - Gyógyszerészeti és Orvostechnikai Eszközök Ügynöksége
RMSE	Root mean-squared error - Gyök átlag négyzetes hiba
ROC	Receiver operating characteristic - Vevő működési jellemző
RoI	Return on investment - Beruházások megtérülése
SaMD	Software as a medical device - Szoftver, mint orvostechnikai eszköz
SR	Structured report - Strukturált jelentés
TID	Template Identifier – Sablon azonosító
UK	United Kingdom - Egyesült Királyság
UKCA	United Kingdom conformity assessed - Az Egyesült Királyság megfelelőségét értékelték
US	United States (of America) - Amerikai Egyesült Államok (amerikai)

Bevezetés

A mesterséges intelligencia (AI) lenyűgöző fejlődésen ment keresztül az elmúlt pár évben, melyet nagy részben a mély tanulásban (DL) történt előre lépések tettek lehetővé. A DL, mely része a gépi tanulásnak (ML), ezen iránymutatások fő fókusza és megfelel egy algoritmus osztálynak, melyek közvetlen az adatokból tanulnak, kívánt kimenetet létrehozva és emberi (vagy ember feletti) teljesítményt mutatnak olyan feladatokban, mint pl. a képi felismerés. Ez a lelkesedés átragadt az orvosi képalkotásra és a radiológiai osztályokra is, így egyre inkább fogékonyak az ilyen technikákra, amelyek azt ígérik, hogy segítenek megbirkózni az egyre növekvő munkaterheléssel és végső soron javítják a betegek sorsát.

A gyors tudományos fejlődést példátlan beruházások és tevékenységek követték párhuzamosan magán- és állami vállalatoknál, számtalan AI alapú kereskedelmi megoldással, melyek már megvásárolhatók.

Az orvostechnikai eszközök szabályozása is fejlődött, különösen azzal, hogy az AI-alapú szoftver is lehet orvostechnikai eszköz (SaMD). Az AI-ajánlatok értékelésének magában kell foglalnia a műszaki és pénzügyi megfontolásokat, minőségi és biztonsági tényezőket, valamint a legfontosabb, az érdekelt felek hozzájárulását is.

Relevancia

Milyen problémát old meg és kinek tervezték az alkalmazást?

Az AI-megoldás emberi gyakorlat szempontjából vett relevanciájának értékelésekor az alapvető megválaszolandó kérdés, hogy milyen konkrét problémát (rendeltetésszerű használat) és milyen körülmények között (a használatra utaló jelek) kell a rendszernek megoldani? Egyértelműnek kell lennie a specifikus klinikai indikációnak (a használati eset), amit az eladónak képesnek kell lennie megmagyarázni.

Fő pontok, melyeket figyelembe kell venni:

• Milyen egészségügyi állapotokat kell diagnosztizálni, kezelni és/vagy megfigyelni?
• Kik a tervezett végfelhasználók, – radiológusok, klinikusok, sebészek – valamint milyen képesítés, illetve képzés szükséges a használatához?
• Melyek az alkalmazás működésének alapelvei és milyen a kiértékelés folyamaza?
• Az alkalmazást kutatási eszközként kívánják-e használni, vagy klinikai alkalmazásra?
• Az AI megoldást kettős leletezésre fogják használni, hogy kutatásokat végezzenek minőségellenőrzési céllal vagy más célokat fog szolgálni?
• A rendszer diagnózist, prognózist vagy kvantitatív adatokat (léziós szegmentáció, szervi térfogatok stb.) szolgáltat?
• Az alkalmazás nyújt-e hasznos információkat, amelyek nem álltak rendelkezésre korábban?
• Vannak-e más szempontok, mint például a beteg kiválasztási kritériumok, javallatok, ellenjavallatok, figyelmeztetések?

A SaMD termék-szabályozási dokumentumában („használati útmutató tervezet”) ezeket az információkat kell feltüntetni.

1. táblázat A radiológiai kereskedelmi AI-megoldások értékeléskor figyelembe kell venni a következő pontok ellenőrzőlistáját

1. Relevancia
   • Milyen problémát célja az alkalmazásnak megoldani és kinek tervezték az alkalmazást? Határozza meg az alkalmazási körét; a végfelhasználókat; a kutatási vs. klinikai felhasználását; alkalmazását kettős leletezőként, triázsolóként, és másként való használat; (diagnózis, prognózis, mennyiségi adatok, egyéb), indikációkat és ellenjavallatokat
   • Mik a lehetséges előnyök, és kinek? Fontolja meg a betegek, radiológusok/szakorvosok, intézmények, és a társadalom számára nyújtotta előnyöket
   • Milyen kockázatokkal jár az AI rendszer használata? Fontolja meg a téves diagnózis kockázatát (beleértve a jogi költségeket is), a munkafolyamatra gyakorolt negatív hatását és a képzés minőségére gyakorolt negatív hatás kockázatait

2. Teljesítmény és validálás
   • Egyértelműek az algoritmus tervezési specifikációi? Ellenőrizze az akvizíciós paraméterek változékonyságának stabilitását; azonosítson jellemzőket (radiomika) vagy hálózati architektúrát (mély tanulás). 
   • Hogyan képezték ki az algoritmust? A populáció jellemzőinek, az alkalmazott beszerzési technikáknak, a címkézési folyamatnak, a zavaró tényezőknek és a működési pont kiválasztásának értékelése.
   • Hogyan értékelték a teljesítményt? Ellenőrizze a képzési/validálási/tesztelési adatok megfelelő particionálását, a reprezentativitást és az adatok nyílt elérhetőségét. Mérje fel az emberi referenciaértékeket, az alkalmazási kört, és a klinikai validálás forrását az értékelése során.
   • A fejlesztők azonosították és figyelembe vették az elfogultságra hajlamosító tényezőket az algoritmusukban? Képzési adatgyűjtés, elfogultsági értékelés, rétegző elemzések értékelése.
   • Az algoritmus rögzített vagy alkalmazkodik az új beérkező adatokhoz? Ellenőrizze, hogy a felhasználói visszajelzések be vannak-e építve, hogy a szabályozási jóváhagyás fent van-e tartva, hogy az eredmények összehasonlíthatóak-e a korábbi verziókkal.

3. Használhatóság és integráció
   • Hogyan integrálható az alkalmazás az Ön klinikai munkafolyamatába? Fontolja meg az informatikai platformmal való integrációt, ellenőrizze, hogy megfelel-e az ISO használati standardoknak, vizsgálja meg a szoftver gyakorlati kezelésével kapcsolatos kérdéseket.
   • Pontosan hogyan befolyásolja az alkalmazás a munkafolyamatot? Azonosítsa az aktuális munkafolyamathoz szükséges módosításokat, azonosítsa az új munkafolyamatban betöltött szerepeket (orvosok és nem orvosok).
   • Mik az elvárt előfeltételek az informatikai infrastruktúra területén? Fontolja meg a helyszíni vs. felhőmegoldásokat. Azonosítsa a hardver- és hálózati teljesítményre vonatkozó követelményeket, vegye fontolóra a hálózati biztonsági problémákat. 
   • Interoperabilitás – hogyan exportálhatók az adatok kutatási és egyéb célokra? Annak ellenőrzése, hogy az exportálási formátumok megfelelőek-e.
   • Az adatok hozzáférhetők lesznek-e a nem radiológusok számára (referáló orvosok, betegek)? Ellenőrizze, hogy a kimenet formája alkalmas-e a betegekkel/beutaló orvosokkal való kommunikációra. 
   • Értelmezhetők-e az AI modell eredményei? Annak ellenőrzése, hogy használnak-e értelmező eszközöket (azaz vizualizációt).

4. Szabályozási és jogi szempontok
   • Megfelel-e az AI alkalmazás a helyi orvostechnikai eszköz szabályozásoknak? Ellenőrizze, hogy a gyártó megkapta-e a hatósági jóváhagyást attól az országtól, ahol a kérelmet benyújtották, (CE, FDA, UKCA, MDSAP vagy más helyi szabályozás) és mely kockázati osztályba tartozik.
   • Megfelel az AI-alkalmazás az adatvédelmi előírásoknak? Annak ellenőrzése, hogy a gyártó megfelel-e a helyi adatvédelmi előírásoknak, és a szerződés tartalmaz-e záradékokat a beteg adatainak védelmére.

5. Pénzügyi és támogatási szolgáltatások szempontjai
   • Mi a licencelési modell? Egyszeri díj és előfizetési modellek felmérése, összköltség, skálázhatóság. 
   • Hogyan kezelik a felhasználói képzést és az utókövetést? Annak ellenőrzése, hogy a képzéseket tartalmazza-e, és milyen feltételek mellett lehet továbbképzést szervezni. 
   • Hogyan biztosítják a termék karbantartását? Ellenőrizze, hogy a rendszeres karbantartás a csomag részét képezi-e. Számoljon az állásidővel a javítás alatt.
   • Hogyan kezelik a lehetséges működési hibákat vagy hibás eredményeket? Teendők üzemzavar esetén, valamint a piacfelügyeleteti és nyomonkövetési kérdések megfontolása.

Mik a lehetséges előnyök, és kinek?

Az előnyöket a betegek, radiológusok, orvosok, kórházak, biztosítótársaságok, egészségügyi rendszer vagy a társadalom egésze megítélheti. Minden nézőpontnak megvan a maga saját eredményértékelése, amelyek közül néhányat az alábbiakban leírtunk. Ideális esetben az előnyöket a bizonyítékokhoz kell kapcsolni, beleértve a tudományos publikációkat és egészségügyi közgazdasági elemzéseket.

Betegek

Az AI szoftver számos módon növelheti a képalkotás értékét a betegellátásban. Az intézkedések eredményét a betegkezelésre gyakorolt hatás felmérését, mint például a diagnosztikai teljesítményt, diagnosztikai hatást, terápiás hatást, életminőséget, külön részletezik.

2. táblázat: A top 10 kérdés, melyet meg kell fontolni.

1. Milyen problémát old meg az alkalmazás és kinek tervezték az alkalmazást?
2. Mik a lehetséges előnyök és kinek?
3. Az algoritmust szigorúan és függetlenül validálták?
4. Hogyan integrálható az alkalmazás az Ön klinikai munkafolyamatába és a megoldás kompatibilis-e a meglévő szoftverével?
5. Mik az elvárt feltételek az informatikai infrastruktúra területén?
6. Megfelel-e az alkalmazás a célország orvostechnikai eszközökre és a személyes adatok védelmére vonatkozó előírásoknak és milyen osztályú szabályozásnak felel meg?
7. Végeztek-e megtérülési (RoI) elemzéseket?
8. Hogyan biztosítják a termék karbantartását?
9. Hogyan kezelik a felhasználói képzést és az utókövetést?
10. Hogyan kezelik a lehetséges működési hibákat vagy hibás eredményeket?

Radiológusok és beutaló orvosok

Néhány előny és mutató a radiológusok és klinikusok perspektívájából:

• A produktivitás növekedése és a leletezési idő csökkenése, ami hatással lehet a klinikus és a radiológus elégedettségére is.
• A betegekkel töltött megnövekedett idő, ami hatással lehet a beteg és a radiológus elégedettségére is.
• Csökkentett időtöltés „alantas” feladatokkal.
• Gyorsabb diagnózis időérzékeny esetekben (pl. stroke).
• A fizikai vagy pszichológiai megterhelés lehetséges csökkenése.
• Fokozott minőségellenőrzés, csökkent műhibakockázat, jogi és biztosítási költségek.

Intézmény

Az intézmény számára lehetséges előnyök közé tartozik a továbbfejlesztett orvosi hatékonyság, hatékonyabb erőforrás-kihasználtság, gyorsabb gondozási folyamatok, valamint a csökkent műhibakockázat.

Egészség-közgazdasági értékelések, mint például a költség-haszon és a költség-hatékonyság analízis jelenleg kis hangsúllyal vannak jelen, és ezeket ösztönözni kell.

Megoldás lehet az eladók / fejlesztők jó forrása, a befektetés megtérülés analízisnek (ROI). Habár ők várhatóan optimisták lesznek, hiszen legalább megfelelő megtérülési mutatókat kell biztosítaniuk. Ezeket a rendszer telepítése után eltérhetnek a valóságtól. A különböző egészségügyi rendszerek különböző egészségügyi gazdasági modellezésre szorulnak a helyi megtérülés életképességének biztosítása érdekében.

Társadalom

A lehetséges társadalmi előnyök közé tartoznak a csökkent egészségügyi költségek, az egészségügyi ellátáshoz való fokozott hozzáférés, ami növeli az ellátás minőségét és végső soron a várható élettartamot és az életminőséget is emeli.

Milyen kockázatokkal jár az AI rendszer használata?

A fenti előnyök kockázatokkal járnak. Általánosságban elmondható, hogy a vevőnek kérnie kell a kockázatértékelési mátrix felülvizsgálatát és a kockázat-haszon elemzést a biztosított szabályozási műszaki dokumentációban, amely e kockázatok némelyikét lefedi.

Az AI megoldások alkalmazásával kapcsolatos kockázatok, mint például a téves diagnózis, jogi következményeket generálhat.  E tekintetben az egyértelműen hozzárendelt kötelezettségeket is meg kell határozni.

Egyéb kockázatokat is figyelembe kell venni. A radiológus munkafolyamatát negatívan befolyásolhatja a rossz integráció, vagy az AI rendszerek rossz megbízhatósága. Továbbá, bár a radiológusok képzésén lehet javítani egy mindig elérhető kettős leletezővel, az AI negatív hatást válthat ki azáltal, hogy a rezidensek túl nagy mértékben támaszkodnak rá, vagy ami még fontosabb, hogy elhanyagolják az alapvető radiológiai jelek megismerését.

Teljesítmény és validálás

Ami a diagnosztikai megoldásokat illeti, az AI algoritmusoknak klinikai összefüggésben az elfogulatlan értékelésre vonatkozó előírásokat kell követniük (pl. STARD, TRIPOD, CHARMS), és rendelkezésre kell állniuk a diagnosztikai teljesítménymutatóknak. Mindazonáltal a AI- alapú termékeknek speciális funkciói vannak, amelyek különleges útmutatást igényelnek (pl. TRIPOD-ML, CONSORT-AI, SPIRIT-AI és CLAIM irányelvek).

Egyértelműek az algoritmus tervezési specifikációi?

Az apró részletek lépcsőzetes hatással lehetnek az AI algoritmusok teljesítményére. Így az AI gyártóknak számos részletet kell közölniük arról, hogyan működik a software-ük, ahhoz, hogy elhelyezzük azt a valós klinikai képalkotásban.  A tervezési specifikáció általában szerepel a műszaki dokumentációban. Pontosabban a gyártónak részletezni kell:

• Milyen képfeldolgozási lépéseket használ? Milyenek a különbségek felbontásban, kontrasztban és intenzitásban a képeken különböző gépekről?
• A radiomikus megközelítések; mely funkciókhoz van az algoritmusnak hozzáférése? Hogyan reprezentálja az algoritmus a képeket tanulás és elemzés előtt? Ez az információ visszavezethető a teljesítmény kritikus értékeléséről írt lektorált szakirodalomhoz.
• A mélytanulási AI algoritmusok, melyik neurális hálózat használják (pl. U-Net szegmentáláshoz) Az ilyen információk, ideális esetben a vonatkozó szakirodalomban megtalálva, segíthetik azonosítani a lehetséges hibákat az algoritmusban. A szállítóknak képesnek és hajlandónak kell lenniük, hogy elmagyarázzák, hogyan működnek algoritmusaik nem-specialistáknak és specialistáknak is a radiológiai osztályokon belül. Ha nem, akkor ennek negatív pontnak kell számítania a versenyelemzés során más megoldásokkal szemben.

Hogyan képezték ki az algoritmust?

Az AI algoritmusok számos paramétert tartalmaznak, amelyek tanult vagy "képzett" adatokból (orvosi képek) és címkékből, kommentárokból származnak, ezek olyan széleskörűek lehetnek, mint egy teljes képhez kapcsolt diagnózis, vagy olyan specifikusak, mint egy adott voxel megjelölése „lesio” vagy „nekrózis” címkével. Ezeket ezután eltérő adatsorokon validálják (többször) és végül tesztelik egy külső adathalmazon egy másik kohorsztól vagy géptől.

Ez az utolsó pont különösen fontos, mivel ez akadályozza meg az „overfitting”-et. Tehát a végső teljesítmény kritikusan függ a felhasznált adatoktól. Általánosan elmondható, hogy lehet utalni általános irányelvekre, de néhány pont kivételesen fontos:

• Milyen adatokat használtak az AI algoritmus betanításához? Az adatbázisnak tartalmaznia kell a következőket: a betegek száma, kontrollok, képek és a patológiás megjelenések vagy rendellenességek. Biztosítani kell klinikai és demográfiai beteg adatokat (beleérte és kivéve kritériumokkal), ezzel együtt információkat az elhelyezésről és a begyűjtés helyéről is. Meg kell adni a műszaki paramétereket is beleértve az eladókat, a módozatokat, a térbeli és időbeli képek felbontását, a beszerzés sorrendjének részleteit, adott esetben a térerőt, a beteg helyzetét, a kontrasztanyagok beadását is. Az algoritmusok kifejlesztéséhez használt minta, olyan jellemzőkkel kell bírjon, amelyek reprezentatívak arra a célpopulációra, amelyre az algoritmust fogják használni,  de szintén követnie kell a telepítés során alkalmazott feldolgozási lépéseket.
• Hogyan történt a címkézés? Milyen tapasztalattal rendelkezők használták? Hány olvasó/cimkéző volt esetenként? Az olvasók realisztikus feltételeket kaptak a képértelmezéshez? Pontosabban, kaptak hozzáférést a nativ felbontású felvételhez a megszokott nézetükben és eszközeikkel? Volt-e hozzáférésük releváns klinikai információhoz és egyéb képekhez? Volt időkorlát?
• Vannak zavaró tényezők az adatokban? Például a többhelyszínes adatok; volt-e több beteg egy helyszínen diagnosztizálva egy adott betegséggel, eltérően, mint egy másik helyszínen?
• Mely kritériumok alapján voltak kiválasztva a működési feltételek és mely adatkészleten?

Hogyan értékelték a teljesítményt?

Először is, az általánosíthatóság megfelelő értékeléséhez minden algoritmust ki kell fejleszteni és értékelni kell két egymástól eltérő adatbázison. Ez lényegében azt jelenti, hogy az algoritmust nem szabad ugyanazon az adathalmazon vizsgálni, amelyen kidolgozták. A TRIPOD irányelvei különböző megközelítéseket mutatnak be. Néhány kérdés általános az összes algoritmusra vonatkozóan:

• Milyen adatokat használtak az AI algoritmus validálására és hangolására? Van átfedés a képzési adatokkal? Ha igen, ez egy piros pont.
• Milyen adatokat használtak az AI algoritmus teszteléséhez? Van-e olyan, ami átfedésben van a képzési és validálási adatokkal? Még egyszer, ez egy piros pont.
• Reális a tesztkészlet? Reprezentatív-e a lakosságra nézve, amelyben a rendszert használni fogják (pl. életkor, nem, BMI, patológiák, komorbiditások előfordulása)? Ha nem, a radiológusoknak tisztában kell lenniük azzal, hogy az eredmények részben lesznek csak optimálisak.
• A készletek (képzési/validási adatok - beleértve a képalkotó és klinikai adatokat is) elérhető és/vagy nyitott a reprodukálhatóság miatt?
• Viszonyították-e az algoritmust a terület sajátságaihoz?
• Az AI rendszer teljesítmény eredményei, mint egyedüli klinikai döntés támogató rendszer, vagy mint második-olvasó lesznek jelentve? Hozzáadott értéket képvisel-e az emberi szereplő (pl. leletező radiológus) számára (teljesítmény szempontjából)?
• A klinikai validálás külső/független az algoritmus készítőjétől? A klinikai vizsgálat tervezése jó minőségű?

A gyakorlati alkalmazáshoz különösen fontos, hogy felmérjük, hogy milyen robusztus az algoritmus a képeken látható technikai variációk ellen. Az értékelés fő pontjai az ismételhetőség (ugyanazzal a géppel, ugyanakkor - pl. back-to-back akvizíciók) és reprodukálhatóság (különböző gép, különböző szekvencia vagy kontraszt, vagy más idő). Ezeket a műszaki dokumentációnak tartalmaznia kell. Különösen megfontolandó kérdések:

• Mennyire reprodukálható az algoritmus az akvizíciós paraméterek (pl. kontraszt, jel-zaj, felbontási paraméterek) ellen? Ez általában gyenge pontja a tudományos/kutatási rendszereknek, ahol AI algoritmusok könnyen futhatnak bele téves diagnózisba, patológiától független akvizíciós adatokban, ha ezeket zavaró tényezők okozzák. De az eladásra szánt megoldások gyártóinak képesnek kell lenni bizonyítékot felmutatni arról, hogy reprodukciós képességük jelen van a telepítési környezetben.
• Mennyire ismételhető (determinisztikus) az algoritmus? Az egyedi értékeket (pl. volumetria) szolgáltató algoritmusok esetében meg kell adni az ismételhetőségi együtthatót és a Bland-Altman-diagramokat.
• Hogyan kezeli az algoritmus az adatminőségbeli különbségeket? Értékelték-e az algoritmust nem ideális adatokon? Mik voltak az eredmények?

Az alkalmazandó teljesítménymutatók az algoritmus típusától függenek és meglévő irányelvek részletezik őket:

• Osztályozási algoritmusok (pl. diagnózis) esetében: megadnak-e mind küszöbfüggő (pl. szenzitivitás, specificitás), mind küszöbfüggetlen mutatókat (ROC)? A kiegyensúlyozatlan adatkészletekhez rendelkezésre állnak-e megfelelő mutatók (balanced accuracy, no-information rate, Kappa)? Biztonsági intervallumok meg vannak adva?
• Regressziós algoritmusok esetén: a tipikus teljesítmény mérőszámai (átlagos hiba (MAE)) és extrémebb teljesítmény mérőszámai biztosítottak?
• Észlelési algoritmusok (pl. anomália észlelése a mammográfiában). Biztosítottak- e mérőszámok, pozitív és negatív, ál negatív és -pozitív, stb? Van-e pontosan definiált kritérium?
• Szegmentációs algoritmusok: általános voxel-szintű mutatók adottak-e, mint a Jaccard vagy a Dice együtthatók? Az elváltozásonkénti pontossági mutató adott-e?

A fejlesztők azonosították és figyelembe vették az elfogultságra hajlamosító tényezőket az algoritmusukban?

Az AI algoritmusok megtanulhatják az emberi torzításokat (pl. a faji, nemi vagy társadalmi-gazdasági státusz). Az elfogultság lehetőségének tudatosítása kritikus. Így a szállítóknak tudniuk kell, hogyan gyűjtöttek adatokat, hogyan képezték ki a modellt és hogyan biztosítja az értékelési folyamat, hogy a kimenetek a lehető legnagyobb mértékben elfogulatlanok legyenek. 

Az algoritmus rögzített vagy alkalmazkodik az új, beérkező adatokhoz?

Az AI algoritmusok általában rögzített adatkészlettel vannak betanítva üzembe helyezése előtt. Egy újabb tendencia az, hogy engedjék az AI algoritmusok, hogy folyamatosan alkalmazkodjanak azáltal, hogy több adathoz jutnak hozzá, ezúton javítja a teljesítményt és alkalmazkodik a képalkotó berendezésekhez és a populációban. Releváns kérdések:

• Alkalmazkodik-e a rendszer a helyi adatokhoz az idő múlásával vagy ez frissítéseket igényel?
• A felhasználóktól a visszajelzés (például rámutatnak, hogy téves észlelés történt) be van-e építve?
• Ha az algoritmus folyamatos fejlesztésen megy keresztül, ez hatósági jóváhagyás hatálya alá tartozik-e? Jelenleg nincs adaptív AI-rendszer hatóságilag jóváhagyva, bár ez a technológia fejlődésével változhat.
• Ha a jövőbeli frissítésekben nő a teljesítmény, az algoritmus megváltozik. Hogyan érhetők el az eredmények az előző verziókban? Továbbra is érvényesek lesznek és még mindig összehasonlíthatóak lesznek az algoritmus új verziójával kapott eredményekkel?

Használhatóság és integráció

Hogyan integrálható az alkalmazás az Ön klinikai munkafolyamatába?

Ideális esetben az adatkezelésnek a háttérben kell folynia és elég gyorsnak kell lennie ahhoz, hogy az eredmények elérhetőek legyenek a radiológus számára, hogy leletezze a vizsgálatokat.

A megfontolandó kérdések a következők:

• Szükség van-e manuális interakcióra, vagy a feldolgozás automatikusan fut a háttérben?
• Milyen gyors a feldolgozási ciklus az adatgyűjtéstől az eredményig?
• Hogyan lehet egy adott adatkészlet feldolgozási állapotát ellenőrizni?

A radiológusok által használható alkalmazásnak teljes mértékben integrálódnia kell PACS-ba, ez kulcsfontosságú a klinikai használhatósághoz. Könnyen hozzáférhetők-e a mesterséges AI eszközök és annak eredményei munkakörnyezetben és felhasználóbarát-e a felület? Az SaMD-knél fontos, hogy a szállító részt vett-e Nemzetközi Szabványosítási Szervezet (ISO) standardja által történő validáláson, Az ISO 62633 foglalkozik a használhatóság és a biztonság kérdéseivel az orvostechnikai eszköznél. Célszerű bevonni az IT részleget, a PACS szakembereit az értékelés folyamatának korai szakaszában.

Végezetül mérlegelni kell a következő kérdéseket, hogy a felhasználó hogyan tudja kezelni a software-t:

• integrálható-e a kórházi rendszerrel?
• vannak-e különböző szerepkörök/felhasználók definiálva a termékben?
• ki definiálhat új felhasználókat és/vagy szerepköröket? Mennyi munkát jelent ez?
• Ha interakcióra van szükség, minden művelet nyomon követhető?

Pontosan hogyan befolyásolja az alkalmazás a munkafolyamatot?

Az AI-alkalmazások képesek javítani a munkafolyamatot. Például triázsolni és előnyben részesíteni a beteglista azon elemeit, melyeket az eltérések automatikus identifikálás alapján végez, tehát előre hozza a fontos eseteket. Fontos azonban, az új munkafolyamatban részt vevő összes szerepkör azonosítása, beleértve a nem orvosokat, például a technikusokat is. Valóban előfordulhat, hogy egyes erőforrásokat újra kell osztani bizonyos feladatokra. Előfordulhat az is, hogy a jelentéstételi struktúrát meg kell változtatni AI megoldás alkalmazása miatt. Ezeket a tényezőket figyelembe kell venni a döntéshozatali folyamat során.

Mik az elvárt előfeltételek az informatikai infrastruktúra területén?

A helyszíni telepítéshez egyes AI-alkalmazások speciális számítógépes hardvereket igényelnek, például grafikus feldolgozási egységeket (GPU), amelyek nincsenek jelen minden számítógépben. A  megoldás igényelhet még szignifikánsan többletköltséget is, ha új hardvert kell beszerezni.

A felhőmegoldások tekintetében a követelmények általában könnyebbek. Mindazonáltal a hálózati biztonsággal és a hálózat teljesítményével kapcsolatos problémákat is meg kell vitatni. Minél hamarabb tanácsos konzultálni a IT részleggel. 

Interoperabilitás – hogyan exportálhatók az adatok kutatási és egyéb célokra?

A kimeneti formátum és az eredmények hozzáférhetősége hatással lehet az interoperabilitásra. Olyan alkalmazásoknál, amelyek nem teljesen integráltak a PACS-ban fontos figyelembe venni a következők kérdéseket:

• Hogyan exportálhatók az adatok kutatási célokra? Vannak elérhető alkalmazásprogramozási interfészek (API), mint például a DICOMweb felület?
• A kimenet szabványoknak megfelelő formátum DICOM, strukturált jelentés (SR), az SR sablont azonosító (TID) 1500 elérhető?
• Szabványos exportálási formátumok (pl. egyszerű vesszővel (CSV) formátum) támogatottak?
• Menti az eredményeket, vagy el kell végeznie a számítást újra minden alkalommal?

Megjegyzendő, hogy léteznek olyan kezdeményezések, melyek javíthatják az interoperabilitást az AI megoldások és a meglévő szabványokon alapuló egészségügyi rendszerek között.

Az adatok hozzáférhetők lesznek-e a nem radiológusok számára (klinikusok, betegek)?

Az adatok bemutathatók-e, alkalmasak-e a beteg felé továbbításra, vagy érthető lehet egy klinikus számára?

Értelmezhetők-e az AI modell eredményei?

Kritikus lehet az AI rendszer szempontjából az is, hogy képes legyen megmagyarázni/megmutatni érvelését. Egy gyakori példája ennek az, amikor egy hőtérkép az eredeti képen jelenik meg.

Szabályozási és jogi szempontok

A szabályozási és jogi követelmények világszerte eltérőek. Jellemzőik miatt azonban a radiológiában használt AI alkalmazásoknak meg kell felelniük két fő szabályozási és jogi keretnek: az orvostechnikai eszközök és a személyes adatok védelmére irányuló rendeleteknek.

Megfelel-e az AI alkalmazás a helyi orvostechnikai eszköz szabályozásoknak?

A gyártónak meg kell határoznia, hogy az alkalmazást orvostechnikai eszközként kell-e használni és mely kockázati osztály szerint. Az orvostechnikai eszközöket osztályokban sorolják I-től III-ig; minél kockázatosabb az orvostechnikai eszköz, annál több szabályozást, ellenőrzést alkalmaznak. A megvalósítási folyamatok országonként eltérőek lehetnek és az első kérdés, amellyel foglalkozni kell az, hogy az AI alkalmazás engedély iránti kérelmet engedélyezték/ jóváhagyták a célországban.

Európa számára, az AI alkalmazás CE jelölt?

Az I. osztályú orvostechnikai eszközök esetében a gyártó végezhet önigazolást, ezzel igazolja, hogy készüléke megfelel a előírásoknak, mindezt független szerv bevonása nélkül. A magasabb kockázatú osztályok esetében, amelyek az AI- alapú SaMD-k túlnyomó többségét jelenti, a gyártónak ki kell jelölnie egy bejelentett szervezetet, amely áttekinti az orvostechnikai eszköz dokumentációit és a vállalatnál végzett folyamatokat a CE-tanúsítvány kiállítása előtt. Európában egy eszköz piacra bocsájtásának szabályozási kerete (MDR) jelenleg is változik. Az MDR-ek alkalmazása 2021. május 26-án lép hatályba. Az irányelvnek megfelelő orvostechnikai eszközök kapnak egy legfeljebb négyéves átmeneti időszakot, amely alatt a továbbra is a piacon maradhatnak. Ez azonban csak akkor alkalmazható, ha nem terveznek lényeges módosításokat az orvostechnikai eszközön. Ellenkező esetben a gyártónak meg kell felelnie az MDR-nek. Egy további kérdés az lenne, hogy a gyártó már tervezi-e, az áttérést az MDR-re? 2021. január 1-jétől az Egyesült Királyság (Uk) elvárja a nemzetközi importőröktől, hogy külön regisztráljanak az Egyesült Királyság Gyógyszereket és Egészségügyi Terméket Szabályozó Ügynökségéhez (MHRA), míg a CE-jelölésről az UKCA-re való áttérést 2023. június 30-ig meg kell tenniük.

Az Egyesült Államokban, az AI alkalmazás FDA által engedélyezett vagy FDA által jóváhagyott?

Ahhoz, hogy jogszerűen forgalomba hozható legyen az Egyesült Államokban, az orvostechnikai eszközt felül kell vizsgálnia az FDA-nak, akár a De Novo útvonalon, olyan innovatív orvostechnikai eszközök esetében, amelyekkel nincs egyenértékű termék (FDA jóváhagyás); vagy az 510(k) úton, az olyan orvosi eszközöknek, amelyekkel egyenértékű már piacon van a US-ban (FDA engedély). Az FDA engedély/jóváhagyás minőségi bélyeget is jelenthet, mert az FDA még mindig az egyik legszigorúbb elvárásokkal rendelkező szabályozó szerv a világon. Így előfordulhat, hogy a gyártók szándékosan csökkentik az AI alkalmazás hatókörét az FDA engedély iránti kérelem során. Különös figyelmet kell fordítani az FDA által jóváhagyott/FDA által engedélyezett eszköz hatókörére és arra, hogy a készülék nem amerikai verziója eltér-e az USA-ban használt verziótól és hogyan. Emellett az FDA jelenleg is dolgozik egy új szabályozási keret kidolgozásán, mellyel értékelni lehet az AI- alapú SaMD-ket.

Egyéb orvostechnikai eszközökre vonatkozó előírások

Más földrajzi területeken három forgatókönyv létezik a hatósági jóváhagyásra. Először is, a célország elismeri-e az FDA engedélyt/jóváhagyást és a CE jelölést egyenértékűnek a követelményeinek szintjével: ebben az esetben a gyártó kevesebb kihívással szembesül, de még mindig regisztrálnia kell a helyi hatóságoknál. Másodszor, a célország nem ismeri el sem FDA jóváhagyást/engedélyezést vagy CE-jelölést, és saját szabályozással rendelkezik. Ez a helyzet például Japánban, ahol a gyártónak kérelmet kell benyújtania a Gyógyszerészeti és Orvostechnikai Eszközök Ügynöksége (PMDA) felé vagy Kínában, ahol a gyártónak kérelmet kell benyújtania a Nemzeti Gyógyászati Termékek Adminisztrációja (NMPA) felé. Harmadszor, több ország, köztük az USA, Ausztrália, Brazília, Kanada és Japán elfogadja az Orvostechnikai Eszköz Egyetlen Auditprogramjának (MDSAP) tanúsítványát, amely jól összehangolt az MDR-rel.

Megfelel az AI-alkalmazás az adatvédelmi előírásoknak?

Az AI rendszerek olyan érzékeny, egészségre vonatkozó adatokat kezelnek, amelyek olyan szabályozások alá tartoznak, mint például az orvostechnikai eszközökre vonatkozó adatok. Európában például az Általános Adatvédelmi Rendelet (GDPR) van érvényben, míg az Egészségbiztosítási Hordozhatóságról és Elszámoltathatóságról szóló törvény (HIPAA) az Egyesült Államokra vonatkozik. Ezeknek a rendeleteknek való megfelelése legtöbbször a felhasználók és a gyártó közötti szerződéses megállapodásokkal, valamint a szükséges biztonsági intézkedésekkel kapcsolatos kétoldalú folyamat jelenti. A következő kérdések segíthetnek felmérni a gyártó felkészültségét:

• Milyen szerződéses garanciákat nyújt a gyártó? Vannak-e a szerződésben az adatok védelmére vonatkozó konkrét záradékok?
• Rendelkezik-e a gyártó adatvédelmi kérdésekkel kapcsolatos referencia-személlyel?
• Az adatkezelés a helyszínen vagy távolról történik? A gyártó vagy az alvállalkozó által üzemeltetett feldolgozás megfelel-e az információbiztonsági szabványoknak ISO 27001/27017/27018?
• Az adatok anonimizáltak-e, és ha igen, hol vannak tárolva a leképezési táblák?

Pénzügyi és támogatási szolgáltatások szempontjai

Az AI alkalmazások bonyolult szoftverek, amelyek számos más szoftver- és hardverösszetevőre támaszkodnak. Így a beárazás mellett a karbantartással, képzéssel és a támogatással (support) járó kérdéseket is meg kell vitatni, mielőtt elkötelezné magát a vásárlásra.

Ezeket a belső kórházi IT költségeken felüli kiadásokat a „Pontosan hogyan befolyásolja az alkalmazás a munkafolyamatot?” részben írtuk le.

Mi a licencelési modell?

A szoftver-as-a-service (SaaS) és előfizetéses modellek növekedésével, nem mindig triviális kiszámítani a teljes tulajdonlási költséget. A következő kérdéseket kell tisztázni:

Mi az üzleti modell: egyszeri díjas, előfizetéses, vagy egy használatonként fizetős modell? Vannak feldolgozott adatmennyiség alapján járó kedvezmények? Szerződés esetén, mennyi a felmondási idő?

• Kínál-e a gyártó próbaidőszakot? Lehetséges-e, hogy a terméket a kórház saját adatain kipróbálja vásárlás előtt?
• Melyek a pontos költségek most, és a jövőben (telepítési költségek, éves szoftverlicenc, karbantartási díjak, lehetséges jövőbeli frissítések díjai, stb.)?
• Hogyan skálázható a megoldás több felhasználóra, vagy több DICOM eszközre? Lesznek-e többletköltségek?
• Az AI-rendszer honnan vásárolható meg? Az alkalmazás megvásárlása egyszerűsíti a hozzáférést más alkalmazásokhoz a jövőben (kihasználva ugyanazt a számítástechnikai architektúrát és/vagy AI felhasználói felületet)?

Hogyan kezelik a felhasználói képzést és a követést?

Más IT-termékeknél, az AI rendszereknél is időre van szükség a hozzászokáshoz és a különböző szintű felhasználóbarátság kínálásához. Annak érdekében, hogy radiológusok hatékonyan tudják használni a rendszert, képzés és támogatás szükséges. A következő pontokat kell megvitatni: 

• A termék vásárlása magában foglalja a képzéseket is? Kinek kell részt vennie és mennyi időre van szükség egy funkció elsajátításához?
• Lehet-e további képzéseket szervezni az új felhasználók számára? Mennyibe kerülne ez?
• Ha van felmerülő kérdés, van-e módja annak, hogy kapcsolatba lépjen a szállítóval és van-e garantált reakcióidő?

Hogyan biztosítják a termék karbantartását?

Mivel az AI rendszerek a folyamatosan fejlődő klinikai környezet részei, felmerülnek a termék karbantartásával kapcsolatos kérdések, melyeket fontos figyelembe venni. Néhány alapvető kérdést tisztázni kell, hogy ez hogyan fog történni:

• Lesz-e rendszeres karbantartás?
• Ha a termék nem megfelelő, akkor is lehetséges a vonatkozó képek más módon történő értékelése? Kinek kell fedeznie a költségeket?
• Mi a szoftver által futtatott kiszolgálók garantált üzemideje?

Hogyan kezelik a lehetséges működési hibákat vagy hibás eredményeket?

Egyetlen AI alkalmazás sem tökéletes. A valós, rendkívül változó klinikai adatkészletnek való kitettség esetén hibák fordulhatnak elő. A vásárlás előtt tisztázni kell a következő pontokat:

• Hogyan fogják kezelni a működési hibákat? Ha súlyos, van-e rá garancia, hogy a problémát megfogják oldani?
• Mi a potenciális működési hiba jelentésének módja? Van-e automatikus support, vagy a felhasználóknak kell jelenteniük a hibás működést?
• Melyek a nemkívánatos események jelentési útvonalai?
• Hogyan működik a forgalomba hozatal utáni felügyelet és a forgalomba hozatal utáni klinikai nyomonkövetés?

Konklúzió

E munka célja, hogy felsorolja azokat a gyakorlati pontokat, amelyekkel foglalkozni kell, amikor azt mérlegeli, hogy beruház-e AI megoldásokra az orvosi képalkotás területén. Bár az itt bemutatott egyes értékelési kritériumok nem minden helyzetre vonatkoznak, reméljük, hogy biztosítottunk egy olyan keret, amely lehetővé teszi valamennyi érdekelt fél számára, hogy érdemli megbeszéléseket tartsanak a gyártókkal és megfelelő információkon alapuló döntést hozzanak.

referálta:
dr. Fekete Balázs Imre
DE KK Kenézy Gyula Campus, Központi Radiológiai Diagnosztika

Eredeti cikk:
Omoumi, P., Ducarouge, A., Tournier, A. et al. 
To buy or not to buy—evaluating commercial AI solutions in radiology (the ECLAIR guidelines). 
Eur Radiol (2021). https://doi.org/10.1007/s00330-020-07684-x