Klinikinė validacija reiškia patikrinimą, ar programinė įranga pateikia pakankamai tikslias ir saugias interpretacijas numatytiems pacientams, o ne vien tai, ar ji generuoja įtikinamas ataskaitas.
Svarbiausios išvados
- Validacijos apimtis turi apibrėžti numatomus pacientus, laboratorinius duomenis ir klinikinius sprendimus; sėkmė atliekant 1 užduotį neįrodo saugumo visais naudojimo atvejais.
- Tikslumo vardikliai turėtų atskirti pacientus, ataskaitas, biomarkerius ir atskirus teiginius; 10 000 teiginių gali būti paimti vos iš 200 ataskaitų.
- Jautrumas rodo aptiktų etaloniniu standartu patvirtintų teigiamų atvejų dalį; hipotetinis rezultatas 90/100 reiškia, kad 10 paveiktų atvejų nebuvo aptikta.
- Prognostinė vertė priklauso nuo paplitimo: esant 1% paplitimui, 90% jautrumui ir 95% specifiškumui, teigiama prognostinė vertė yra apie 15.4%.
- Nepriklausomas testavimas reikalauja apsaugotų testavimo duomenų, užfiksuotos programinės įrangos versijos ir informacijos apie tai, kas kūrė, finansavo ir vertino rezultatus.
- Pogrupių įrodymai turi apimti imčių dydžius ir neapibrėžtumą; nepastebėjus nė vieno iš 20 teigiamų atvejų, tai neįrodo tobulo jautrumo.
- Veikimo greitis maždaug 60 sekundžių apibūdina mūsų interpretavimo funkciją, o ne įrodytą diagnostinių klaidų ar gydymo vėlavimo sumažėjimą.
- Diegimo kriterijai turėtų apimti paciento lygmens saugą, konkrečios kalbos veiksmingumą, įvesties klaidas ir dokumentuotą reagavimą į programinės įrangos pakeitimus.
DI iškilimas medicininėje diagnostikoje: ką reiškia validacija
AI kraujo tyrimų validavimas reikalauja įrodymų, kad nurodyta programinės įrangos versija pateikia tikslias ir saugias interpretacijas numatytiems pacientams ir sprendimams. Pirkėjai turėtų išnagrinėti pacientų lygmens vardiklius, nepriklausomus bandymus, pogrupių rezultatus ir klaidų tvarkymą, o ne vien pagrindinį tikslumo procentą. Kantesti yra AI kraujo tyrimų analizatorius, kurio rezultatams turėtų būti taikomi tie patys įrodymų reikalavimai.
Interpretavimo programinė įranga nematuoja pradinio mėginio. Laboratorinis analizatorius pateikia tokias vertes kaip natrio koncentracija – 138 mmol/L; tada interpretavimo programinė įranga nuskaito šias vertes ir paaiškina galimą jų reikšmę, taip sukurdama antrą galimybę suklysti, net jei laboratorinis matavimas teisingas. Todėl pirkėjams reikia atskirų įrodymų apie duomenų išgavimą, atskaitos intervalų taikymą ir klinikinį samprotavimą.
Klinikinis validumas ir klinikinė nauda atsako į skirtingus klausimus. Vertinimas gali parodyti, kad 500 ataskaitų buvo interpretuota sutartinai, tačiau neparodyti, kad pacientams teikiama geresnė priežiūra, išvengiama nereikalingų tyrimų ar tiksliau suprantamas neapibrėžtumas. Mūsų medicininių ataskaitų paaiškinimo vadove paaiškinama, kodėl net ir suprantamai suformuluotą informaciją vis tiek reikia patikrinti pagal šaltinį ir nustatyti tinkamas eskalavimo ribas.
Diegimo statistika negali pakeisti klinikinio tyrimo. Mūsų platformos nurodomas pasiekiamumas – 2M+ naudotojų 127+ šalyse – apibūdina naudojimą, o ne reprezentatyvią validavimo kohortą su patvirtintais rezultatais. įmonės aprašymą padeda nustatyti organizacinę atskaitomybę; atskirame įrodymų dokumentų rinkinyje turi būti nurodyta tiksli numatyta paskirtis, tinkama pacientų populiacija ir klaidingo interpretavimo pasekmės.
Tikslumo teiginiai: pacientus, ataskaitas ir sprendimus skaičiuokite atskirai
Tikslumo teiginį galima interpretuoti tik tada, kai atskleisti jo skaitiklis, vardiklis ir vertinimo taisyklės. Toks rodiklis kaip 98.49% gali reikšti išgautus laukus, priimtus teiginius arba klasifikuotus atvejus – tai labai skirtingos užduotys. Šiuo atveju šis skaičius yra pavyzdys, kaip reikėtų vertinti pagrindinį rodiklį, o ne nepriklausomai patvirtintas klinikinio veiksmingumo rezultatas.
Pasikartojantys teiginiai nėra nepriklausomi pacientai. Hipotetiniame vertinime 200 ataskaitų, kuriose yra po 50 vertinamų teiginių, sudaro 10 000 teiginių lygmens stebėjimų, tačiau ataskaitų vis tiek tėra 200. Teisingas natrio koncentracijos – 140 mmol/L – paaiškinimas neturėtų kompensuoti pavojingos rekomendacijos kitoje tos pačios ataskaitos vietoje; reikalaukite ir teiginių lygmens vertinimo, ir ataskaitų, kuriose yra kliniškai reikšmingų klaidų, dalies.
Neįtraukus tam tikrų įvesčių, tariamas patikimumas gali būti didesnis. Tarkime, pateikiama 1 000 ataskaitų, 100 atmetama, o iš likusių 900 pagal vertinimo kriterijus 882 įvertinamos teigiamai: užbaigtų ataskaitų tikslumas yra 98%, o tinkamas rezultatas, pasiektas tarp visų pateiktų ataskaitų, – 88.2%. Nė vienas iš šių vardiklių savaime nėra nesąžiningas, tačiau pirkėjams reikia abiejų, taip pat atmetimo priežasčių ir informacijos, ar atmetami atvejai neproporcingai dažnai susiję su skubiai įvertintinais pakitimais.
Paskelbtoje metodikoje turėtų būti apibrėžta, kas laikyta teisingu atsakymu, dar prieš pradedant vertinimą. 2015 m. STARD ataskaitų teikimo gairėse diagnostinio tikslumo tyrimų prašoma aprašyti dalyvių atranką, etaloninį standartą ir dalyvių eigą tyrime (Bossuyt et al., 2015). Mūsų patvirtinimo metodologijos puslapis yra pradinis atspirties taškas klausimams apie Kantesti; jo nereikėtų laikyti nepriklausomo veiksmingumo paciento lygmeniu įrodymu, jei nėra prieinamos pagrindinės tyrimo medžiagos.
Jautrumas, specifiškumas ir prognostinė vertė atsako į skirtingus klausimus
Jautrumas parodo, kaip aptinkami etaloniniu standartu teigiami atvejai; specifiškumas parodo, kaip teisingai nustatomi etaloniniu standartu neigiami atvejai. Teigiama prognostinė vertė parodo, kaip dažnai teigiamas rezultatas yra teisingas tiriamoje aplinkoje. Esant hipotetinio įrankio 90% jautrumui, 95% specifiškumui ir 1% paplitimui, teigiama prognostinė vertė yra maždaug 15.4%.
Painiavos matrica aiškiai parodo kompromisą. Iš 10 000 hipotetinių pacientų, kai paplitimas yra 1%, tikslinė būklė nustatyta 100 pacientų: 90 atvejų aptinkama, o 10 praleidžiama. Iš 9 900 pacientų, kuriems ši būklė nenustatyta, 495 gaunami klaidingai teigiami rezultatai; todėl teisingi yra tik 90 iš 585 teigiamų rezultatų, nors bendras tikslumas siekia 94.95%.
Tikslumas nėra universalus tikslumo sinonimas. Klasifikavimo srityje tikslumas paprastai reiškia teigiamą prognostinę vertę, o tiekėjo pasakojimo vertinimo kriterijuose šis žodis gali būti vartojamas kita reikšme. Mūsų aptariamas mažo antikūnų kiekio patvirtinimas iliustruoja klinikinį principą: interpretacija priklauso nuo išankstinės tikimybės ir patvirtinimo, o ne vien nuo to, ar pradinis rezultatas viršija ribinę vertę.
Ribinės vertės pasirinkimas keičia praleistų atvejų ir klaidingų pavojaus signalų pusiausvyrą. Paprašykite pateikti painiavos matricą, sudarytą pagal siūlomą diegimo ribinę vertę, o ne tik našumo kreivę, apimančią daug ribinių verčių. Hipotetiniame įspėjimų sistemos tyrime sumažinus ribinę vertę nuo 0.7 iki 0.4, jautrumas gali padidėti, o klaidingų įspėjimų skaičius padvigubėti; pirkėjai turi nuspręsti, ar toks kompromisas atitinka klinikines pasekmes ir peržiūros pajėgumus.
Nepriklausomam testavimui reikia apsaugoto duomenų rinkinio ir patikimo etaloninio standarto
Atliekant nepriklausomą testavimą, fiksuotas modelis vertinamas naudojant duomenis, kurie kūrimo metu nebuvo prieinami, atskleidus vertintojų ryšius ir taikant kliniškai pagrįstą etaloninį standartą. Vien išoriniai duomenys dar negarantuoja nepriklausomo vertinimo. Tyrime gali dalyvauti 3 ligoninės, tačiau vis tiek gali būti naudojamos šališkos žymos, bendri duomenų srautai arba testavimo atvejai, turėję įtakos modelio derinimui.
Atskyrimas paciento lygmeniu padeda išvengti dažnos duomenų nutekėjimo formos. Jei vieno paciento sausio mėnesio ataskaita įtraukiama į mokymo duomenis, o vasario mėnesio ataskaita – į testavimo duomenis, modelis gali pasinaudoti pasikartojančiais šablonais ar identifikatoriais. Pirkėjai turėtų pasiteirauti, kaip buvo aptikti pasikartojantys pacientai, pakartotiniai hospitalizavimo atvejai ir ataskaitos iš 2 susietų laboratorinių sistemų, taip pat ar galutinis testavimo rinkinys liko nepaliestas pasirinkus modelį ir užklausas.
Etaloninis standartas turi atitikti teiginį. Ekspertų sutapimas vertinant 300 interpretacijų gali padėti įvertinti ataskaitų kokybę, tačiau savaime nepatvirtina ligos buvimo ar būsimų baigčių. Šis skirtumas gerai žinomas kalbant apie tyrimo tikslumą ir laiką: vertinamas tyrimas, palyginamasis metodas ir patvirtinimo laikas gali pakeisti tariamą veiksmingumą.
Sintetiniai etaloniniai rinkiniai leidžia išbandyti sukonstruotus atvejus, bet ne realaus pasaulio ligų paplitimą ar klinikinę naudą. Net 100,000 sintetinių scenarijų negali atkurti visų trūkstamų anamnezės duomenų, mėginio artefaktų ar netikėtų klinikinių pasireiškimų. Teiginiams apie troponino interpretavimo ribas, tyrimui reikia klinikinės informacijos ir su teiginiu susijusio diagnostinio stebėjimo; teisingas sakinys apie laboratorinę ribinę vertę nėra patvirtinta diagnozė.
Veiksmingumas pogrupiuose gali atskleisti vidurkio paslėptą riziką
Pogrupių validavimu tikrinama, ar veiksmingumas skiriasi skirtingose kliniškai reikšmingose pacientų grupėse ir esant skirtingoms įvesties sąlygoms. Pirkėjai turėtų prašyti pateikti vardiklius, klaidų sunkumą ir pasikliautinuosius intervalus, susijusius su vaikais, vyresnio amžiaus suaugusiaisiais, nėštumu, inkstų funkcijos sutrikimu ir kitomis numatytomis populiacijomis. Stebėjus 0 klaidingai neigiamų rezultatų iš 20 etaloniniu metodu teigiamų atvejų, tikrasis klaidingai neigiamų rezultatų dažnis tebėra labai neaiškus.
Pagal amžių pritaikyti referenciniai intervalai nėra tarpusavyje pakeičiami. Vaikų tyrimų rezultatų interpretacija negali būti saugiai grindžiama visomis suaugusiesiems taikomomis ribinėmis vertėmis, net jei analitė ir matavimo vienetas sutampa. Mūsų vadovas apie dirbtinio intelekto interpretacija vaikams paaiškina saugumo ribas; pirkėjai turėtų prašyti tikslaus pacientų skaičiaus kiekvienoje amžiaus grupėje, o ne priimti bendro teiginio, apimančio 1–18 metų pacientus.
Biologinis kontekstas svarbesnis už demografinius supaprastinimus. 1,2 × 10^9/L absoliutus neutrofilų skaičius gali būti vertinamas skirtingai, kai jis nustatomas stabilios būklės asmeniui, turinčiam su Duffy-null susijusį neutrofilų skaičių, ir asmeniui, kuriam gydymo metu šis rodiklis neseniai sumažėjo. Duffy-null neutropenijos paaiškinimas padeda parengti tikslinį bandomąjį atvejį; vien pagal kilmę negalima spręsti apie genotipą ar klinikinį saugumą.
Mažos imtys gali slėpti kliniškai reikšmingą nesėkmių dažnį. Apytikslė trijų taisyklė reiškia, kad 0 stebėtų įvykių iš 20 nepriklausomų stebėjimų atitinka maždaug 15% viršutinę 95% ribą, o ne 0%. Kai ataskaitose kartojami duomenys, lyginant pogrupius taip pat reikia atsižvelgti į pacientų grupavimą; tyrime turėtų būti nurodomos nevertintos grupės, o statistiškai nereikšmingas skirtumas neturėtų būti laikomas lygiaverčio veiksmingumo įrodymu.
Daugiakalbiam palaikymui reikia konkrečiai kalbai pritaikytų saugos bandymų
Daugiakalbiu validavimu tikrinama, ar klinikinė reikšmė išlieka verčiant, taikant skaitinių reikšmių formatavimą ir aiškinant rezultatus pacientams kiekviena numatyta kalba. Kantesti yra dirbtiniu intelektu pagrįsta kraujo tyrimų rezultatų interpretavimo platforma, palaikanti 100+ kalbas; vien ši galimybė neįrodo, kad klinikinis veiksmingumas šiomis kalbomis yra lygiavertis. Kiekvienai kalbai reikia tinkamos vertinimo strategijos ir aiškiai nurodytos aprėpties.
Dešimtainių skaičių rašymo tvarka gali pakeisti interpretuojamą reikšmę. Vienoje vietovėje užrašytas gliukozės rezultatas 5,6 mmol/L, ištraukus duomenis, negali virsti 56 mmol/L, o konvertuojant vienetus turi išlikti klinikinė reikšmė, nepakanka vien pakeisti skyrybos ženklus. Originalo kalbos įvestis ir išverstą išvestį vertinkite atskirai; tikrinant vien angliškas laboratorinių tyrimų ataskaitas, išverstas į 10 kalbų, nepastebimos įvesties klaidos.
Neiginiams ir rezultatų tipams reikia specialiai parinktų bandomųjų atvejų. Tokie teiginiai kaip „neaptikta“, „mažiau nei kiekybinio nustatymo riba“ ir „negalima atmesti“ perteikia skirtingą užtikrintumo lygį. Mūsų kokybinis prieš kiekybinį vadovas paaiškina šį skirtumą; dvikalbių vertintojų gairėmis turėtų būti tikrinama, ar šios reikšmės perteikiamos, įskaitant nelygybės simbolius, pavyzdžiui, „mažiau nei 0,1“, o ne vien vertinamas sklandus tekstas.
Skaitomumas negarantuoja supratimo. Atliekant naudingą kalbos vertinimą dalyvių galima paprašyti perskaičius 3 trumpas ataskaitas nurodyti būtinus veiksmus ir neapibrėžtumą, kartu fiksuojant, ar vertimas pakeičia skubumo lygį arba rekomendacijas dėl vaistų. Tai siūlomos vertinimo užduotys, o ne visuotinai patvirtinta ribinė vertė; mažiau išteklių turinčioms kalboms gali reikėti papildomos peržiūros, nes skiriasi turimos klinikinės terminijos aprėptis ir mokymo duomenų aprėptis.
API integravimas ir ataskaitų formatai turi išsaugoti klinikinę prasmę
Integracijos validavimu tikrinama, ar paciento tapatybė, reikšmės, matavimo vienetai, datos ir įspėjimai išlieka teisingi sistemų sąsajose. HTML, JSON ir PDF išvestyse turi būti pateikiamas tas pats klinikinis turinys, jei palaikomi šie formatai. Natrio tyrimo rezultato 128 mmol/L reikšmė negali pasikeisti dėl to, kad vienoje išvestyje prarandamas įspėjimas, o kitoje nukerpamas laukas.
Veikiantis API ryšys dar nereiškia patvirtintos klinikinės integracijos. Mūsų B2B API reikia atlikti konkrečiam diegimui skirtus susiejimo, autentifikavimo, atsakymų apdorojimo ir versijų veikimo patikrinimus; suderinamumą su EHR arba LIS reikėtų įrodyti naudojant tikrąją sąsają. Išbandykite bent 3 gedimų kategorijas – trūkstamus matavimo vienetus, nesutampančius pacientų identifikatorius ir pavėluotus pasikartojančius atsakymus, o neapsiribokite vienu sėkmingu demonstraciniu užklausos pavyzdžiu.
Išvestinėms vertėms apskaičiuoti būtini aiškiai nurodyti įvesties duomenys ir formulės kilmė. Pavyzdžiui, koreguota natrio koncentracija priklauso nuo išmatuotos natrio koncentracijos, gliukozės kiekio ir koregavimo metodo; taikant skirtingus paskelbtus koeficientus galima gauti skirtingus įverčius. Mūsų su gliukoze susijusios natrio koncentracijos koregavimo vadove pateikiamas klinikinio bandymo atvejis, tačiau pirkėjai turėtų patikrinti, ar gliukozė, išreikšta mg/dL, niekada nelaikoma mmol/L, ir ar atliekant bet kokį skaičiavimą nurodomos jo prielaidos.
Susitarimas dėl formato turėtų apimti ne tik išdėstymą, bet ir reikšmę. Hipotetiniame 300 ataskaitų eksportavimo bandyme JSON gali išsaugoti kritinės reikšmės žymą, o PDF šablone ji gali būti paslėpta po puslapio lūžiu. Palyginkite klinikines rekomendacijas, neapibrėžtumą, matavimo vienetus ir laiko žymas visuose palaikomuose formatuose; užtikrinkite, kad neapdorotos vertės būtų atsekamos iki šaltinio, ir nurodykite, ar trūkstant lauko saugiai atmetama užklausa, ar pateikiama nepagrįsta interpretacija.
Greitoms ataskaitoms ir patogiai sąsajai vis tiek reikia žmogaus veiksnių įrodymų
Greitis ir patogumas yra veiklos privalumai, o ne tiesioginiai diagnostinio tikslumo įrodymai. Mūsų interpretavimo funkcija paprastai pateikia paaiškinimą maždaug per 60 sekundžių, tačiau diegiant ją klinikinėje aplinkoje reikėtų įvertinti visą proceso trukmę, nepavykusias užklausas ir peržiūrai tenkantį krūvį. Vien medianinė apdorojimo trukmė neparodo, ar skubūs rezultatai saugiai pasiekia reikiamą asmenį.
Vėlavimas turėtų būti pateikiamas kaip skirstinys. Reikalaukite nurodyti medianą, 95-ąjį procentilį ir skirtųjų laikų viršijimo dažnį esant realistiškai lygiagrečiai apkrovai, įskaitant didelius failus ir prastos kokybės nuotraukas. Hipotetinis 45 sekundžių medianos ir 240 sekundžių 95-ojo procentilio derinys apibūdina visai kitokią paslaugą nei tokia, kuri nuosekliai užbaigia darbą beveik per 60 sekundžių; nė vienas iš šių rodiklių neįrodo, kad gydymas pradedamas greičiau.
Skubius laboratorinius rodiklius reikia išbandyti pateikimo ir eskalavimo scenarijuose. 6,5 mmol/L kalio koncentracija gali reikšti skubią medicininę būklę, nors interpretacijai įtakos turi mėginio kokybė ir klinikinis kontekstas. Mūsų skubių elektrolitų atvejų vadovas padeda kurti scenarijus; pacientai, gavę skubų laboratorinio tyrimo įspėjimą, turėtų nedelsdami susisiekti su gydančia įstaiga, o ne laukti programėlės paaiškinimo, ypač jei jaučia simptomus.
Atliekant žmogaus veiksnių bandymus vertinama, ką naudotojai daro gavę ataskaitą. Pirkėjai turėtų įvertinti bent 3 užduotis naudojantis žiniatinklio, iOS, Android ir plėtiniais pagrįsta prieiga: rasti pradinę vertę, atpažinti neapibrėžtumą ir nustatyti tinkamą tolesnį veiksmą. Registruokite ne tik užduoties atlikimo laiką, bet ir neteisingus veiksmus, nes daili sąsaja gali sustiprinti pasitikėjimą nepagrįsta rekomendacija ir apsunkinti automatizavimo šališkumo pastebėjimą.
Saugumo ir privatumo įrodymai turi būti pateikiami greta klinikinės validacijos
Privatumo vertinimu tikrinama, kaip renkama, apdorojama, saugoma, bendrinama ir ištrinama slapta laboratorinė informacija. Teiginys, kad tvarkymas atitinka GDPR, nusako pasirinktą metodą, tačiau nepakeičia sutartinių ir techninių įrodymų. Pirkėjai, dirbantys su Kantesti Ltd, kurios JK bendrovės numeris yra 17090423, prieš siųsdami nors vieną identifikuojamą ataskaitą turėtų nustatyti taikomą duomenų valdytojo ir duomenų tvarkytojo santykį bei jų atsakomybes.
Norint apsaugoti sveikatos informaciją, nepakanka pašalinti vardą. Ataskaitoje gali būti brūkšninis kodas, tiksli gimimo data, registracijos numeris ar pasakojamoji detalė, pagal kuriuos, sujungus su kita informacija, galima nustatyti asmens tapatybę. Mūsų privatumo užtikrinimo prieš įkeliant failą priemonės paaiškinti praktinio duomenų kiekio mažinimo principą; pirkėjas turėtų atskirai įvertinti bent 3 sluoksnius: failo turinį, paskyros metaduomenis ir veiklos žurnalus.
Saugumo teiginių taikymo sritis ir įrodymų data turi būti aiškiai apibrėžtos. Peržiūrėkite šifravimo priemones, prieigos kontrolę, subprocesorių sąrašus, pranešimo apie incidentus sąlygas ir saugojimo nustatymus duomenų privatumo dokumentacijoje. Jei tiekėjas nurodo atliktą auditą, pasiteiraukite, kokiai paslaugai ir kontrolės laikotarpiui jis taikomas; ataskaita, apimanti 1 infrastruktūros komponentą, automatiškai neįvertina prieigos prie klinikinės programos ar darbo su modelio duomenimis.
Tarptautinis diegimas sukuria papildomų įsipareigojimų. Naudojimas 127+ šalyse nereiškia, kad viena sutartis ar teisinis pagrindas galioja visose jurisdikcijose, o atitiktis GDPR nereiškia, kad HIPAA taikoma ar kad jos reikalavimai yra įvykdyti. Šeimos funkcijų atveju patikrinkite leidimų ribas naudodami 2 atskiras paskyras, įskaitant prieigos panaikinimą ir paskyros atkūrimą; į klausimą, ar ištrynus ataskaitą pašalinamos ir atsarginės kopijos bei žurnalai, turi būti aiškiai atsakyta.
DI variklis: prognozes ir rekomendacijas validuokite atskirai
DI varikliui reikia atskiro, konkretiems teiginiams skirto modelių interpretavimo, būsimos rizikos prognozavimo ir individualizuotų rekomendacijų validavimo. Tai skirtingos užduotys, net jei sugeneruojamos 1 ataskaitoje. Giliojo mokymosi architektūra ir kelių parametrų analizė apibūdina sistemos veikimą; jos neįrodo, kad jos tikimybės įverčiai, diagnostiniai pasiūlymai ar mitybos patarimai yra kliniškai patikimi.
Interpretuojant kelis parametrus reikėtų išlaikyti galimybę svarstyti alternatyvius paaiškinimus. Hipotetinėje ataskaitoje, kurioje feritino koncentracija yra 40 ng/mL, o CRP – 20 mg/L, vien feritino koncentracijos nepakanka geležies prieinamumo klausimui išspręsti, nes feritino koncentracija gali padidėti dėl ūminės fazės reakcijos. Pirkėjai, vertinantys Kantesti neuroninį tinklą, turėtų naudoti tokius nuo konteksto priklausančius atvejus, o technologijos paaiškinimas skiriasi nuo įrodymų, kad konkreti klinikinė išvada yra teisinga.
Prognozuojant riziką būtina apibrėžti baigtį ir laikotarpį. 20% tikimybė yra neinterpretuojama nenurodžius, kas gali nutikti, kam ir per kokį laikotarpį, pavyzdžiui, hospitalizacija per 30 dienų, o ne ligos pradžia per 5 metus. TRIPOD+AI rekomendacijose siūloma skaidriai teikti prognozavimo modelių tyrimų ataskaitas (Collins et al., 2024); svarbi kalibracija ir išorinis validavimas, taip pat ir su vaistais susijusiai tendencijų analizei.
Individualizuoti patarimai sukuria atskirą saugos įsipareigojimą. Mitybos rekomendacija gali būti netinkama, jei nežinoma inkstų funkcija, vartojami vaistai ar nėštumo aplinkybės; šeimos sveikatos rizikos funkcijoje taip pat turi būti aiškiai nurodyta, kaip tvarkoma neapibrėžta ar pačių naudotojų pateikta anamnezė. Mūsų inkstų mitybos saugos vadovas pateikiami tinkami bandymo scenarijai, tačiau 3 patiekalų plano priėmimas neįrodo, kad jis pagerina rezultatus arba saugiai pakeičia individualų dietologo įvertinimą.
Kaip veikia DI kraujo tyrimo rezultatų interpretavimas: pirkėjo validacijos kontrolinis sąrašas
Pirkėjas turėtų patikrinti visą seką: pirminio šaltinio užfiksavimą, normalizavimą, interpretavimą atsižvelgiant į kontekstą, ataskaitos generavimą ir klinikinę peržiūrą. Prieš bandydami bendrą sistemą, įvertinkite kiekvieną etapą atskirai. 5 etapų priėmimo planas padeda lengviau nustatyti, ar nesaugus rezultatas atsirado dėl neteisingai nuskaitytos reikšmės, klaidingos prielaidos ar netinkamos rekomendacijos.
Pradėkite nuo numatytos paskirties apibrėžimo ir vertinamos versijos užfiksavimo. 1 žingsnis – rašytinis teiginių ir rizikų sąrašas; 2 žingsnis – užrakintas, reprezentatyvus duomenų rinkinys su iš anksto nustatytais tinkamumo kriterijais ir etaloninėmis žymomis. Tada reikėtų išbandyti PDF ar nuotraukų nuskaitymą naudojant pakeistus maketus, dešimtainių skirtukų formatus ir neįskaitomus laukus; atsisakymo atvejus dokumentuokite, o ne tyliai pašalinkite iš galutinio vardiklio.
Toliau tikrinkite konteksto ir išilginių duomenų prielaidas. 3 žingsnyje tikrinami vienetai, referenciniai intervalai ir metaduomenys; 4 žingsnyje interpretacijos ir rekomendacijos vertinamos pagal kliniškai reikšmingas sunkumo kategorijas. Mūsų vadovas apie pokyčiai tarp laboratorinių apsilankymų pagrindžia naudingą iššūkį: kreatinino pokyčiui nuo 80 iki 100 µmol/L įvertinti reikia atsižvelgti į laiką, tyrimo metodo variaciją ir pacientą, o ne automatiškai skelbti apie būklės pablogėjimą.
Užbaikite priėmimo naudoti sprendimu, o ne šūkiu apie tikslumą. 5 žingsnyje, remiantis kriterijais, dėl kurių susitarta prieš peržiūrint rezultatus, vertinamas perspektyvus naudojimas vietos sąlygomis ir nesėkmių valdymas, įskaitant neapibrėžtumo ribas ir eskalavimo veiksmus. Paprašykite dokumentų rinkinio, kuriame būtų pateikta kohortos atranka, modelio versija, visa vertinimo skalė, pogrupių lentelės, nepalankių išvesties rezultatų pavyzdžiai ir pakeitimų kontrolės taisyklės; jokio universalaus procentinio rodiklio negalima laikyti pakaitalu priimtinumo riboms, nustatytoms atsižvelgiant į klaidos pasekmes.
Ataskaitų pavyzdžiai ir atsiliepimai: iliustracijas atskirkite nuo įrodymų
Pavyzdinė ataskaita parodo pateikimą ir argumentavimą, o atsiliepimas apibūdina individualų įspūdį. Nė vienas iš jų nepatvirtina tikslumo paciento lygmeniu ar klinikinės naudos. Panagrinėkime aiškiai hipotetinį 52 metų suaugusįjį, kurio kreatinino koncentracija yra 118 µmol/L, nurodytas eGFR – 58 mL/min/1,73 m², o ankstesnių rezultatų nėra: saugiame paaiškinime būtina išsaugoti neapibrėžtumą.
Vien sumažėjęs eGFR nepatvirtina lėtinės inkstų ligos. KDIGO lėtinę inkstų ligą apibrėžia kaip inkstų struktūros ar funkcijos pakitimus, trunkančius bent 3 mėnesius; kai eGFR yra mažesnis nei 60 mL/min/1,73 m², reikia įvertinti pakitimų trukmę ir kontekstą (KDIGO CKD Work Group, 2024). Šiame hipotetiniame pavyzdyje ataskaitoje reikėtų pasiūlyti gydytojo įvertinimą ir tinkamą tolesnę priežiūrą, o ne pagal vieną rezultatą diagnozuoti negrįžtamą inkstų pažeidimą.
Pagal kreatininą apskaičiuoti įverčiai gali būti mažiau informatyvūs esant neįprastai kūno sudėčiai. Jei hipotetinis asmuo yra labai raumeningas arba neseniai pakeitė vartojamus maisto papildus, interpretacijoje reikėtų į tai atsižvelgti, o ne atmesti rezultatą. Mūsų aptarimas apie kreatininas raumeningiems suaugusiems suteikia konteksto; KDIGO rekomenduoja, kai įmanoma, tinkamai suaugusiųjų lėtinei inkstų ligai įvertinti naudoti kreatinino ir cistatino C pagrindu apskaičiuotą rodiklį, o ne laikyti pradinį įvertį galutiniu.
Demonstracijose turėtų būti pateikiami sudėtingi įvesties duomenys ir nepalankūs rezultatai. Pridėkite atskirą hipotetinį kalio rezultatą – 6.0 mmol/L – su nurodyta mėginio problema, pasitelkdami mūsų su hemolize susijusius rezultatų apribojimus paaiškinti, kodėl būtina atsižvelgti ir į patvirtinimo poreikį, ir į skubumą. Naudingas Kantesti vertinimo metodas – aklas išsamių ataskaitų palyginimas; profesionalų atsiliepimai, jei pateikiami gavus sutikimą, atspindi patirtį, bet nėra tokio testavimo pakaitalas.
Diagnostikos ateities priėmimas: įrodymais pagrįstas diegimas
AI interpretaciją taikykite tik įrodymais pagrįstais atvejais, užtikrindami vietos priežiūrą ir dokumentuotą reagavimą į klaidas. Kantesti yra AI pagrįstas kraujo tyrimų analizės įrankis; mūsų funkcijų rinkinys turėtų būti vertinamas pagal čia aprašytus tuos pačius pirkimo standartus. Pradėti nuo 1 riboto naudojimo atvejo yra saugiau, nei manyti, kad įrodymai tinka kiekvienam pacientui ir kiekvienai rekomendacijai.
Laipsniškai diegiant reikėtų atskirti įgyvendinamumą nuo veiksmingumo. Hipotetinis 100 ataskaitų vertinimas šešėline veiksena gali atskleisti integravimo trūkumus ir dažnai pasitaikančias formuluočių problemas, neatskleidžiant pacientų neperžiūrėtoms rekomendacijoms, tačiau vargu ar juo pavyks nustatyti mažą retų sunkių klaidų dažnį. Platesniam perspektyviam vertinimui reikia pagrįsti imties dydį ir pasirinkti faktinį teiginį atitinkančias baigtis, įskaitant nereikalingą tolesnį ištyrimą ir nepastebėtas problemas.
Programinės įrangos pakeitimai gali pakeisti anksčiau išmatuotą veiksmingumą. Naujas modelis, užklausa, referencinių intervalų duomenų bazė ar ataskaitos šablonas gali pakeisti rezultatus, net jei produkto pavadinimas lieka tas pats; diegimo istorijoje registruokite visas 4 kategorijas. Stebėkite klaidų sunkumą, susilaikymo nuo atsakymo atvejus, poslinkius pogrupiuose ir naudotojų atliekamus pakeitimus; apibrėžkite, kokiais atvejais pakeitimas paskatina tikslinį regresinį testavimą, pakartotinį vietos vertinimą ar konkrečios funkcijos sustabdymą.
Sprendimas dėl diegimo turėtų būti grindžiamas rašytine įrodymų spragų analize. Nustatykite, kas patvirtinta nepriklausomai, kas pagrįsta tik techniniais bandymais, o kas dar neišbandyta; tada kiekvienai neišspręstai rizikai paskirkite atsakingą asmenį. Mūsų sveikatos priežiūros pirkėjo kontaktinis kanalas yra tinkama vieta prašyti dokumentų, susijusių su konkrečia taikymo sritimi, – verčiau rinktis siauresnį, pagrįstą teiginį nei 99% antraštinį teiginį, kurio vardiklis neaiškus.
Mokslinės publikacijos: mokomuosius vadovus atskirkite nuo validacijos tyrimų
Toliau pateiktos 2 saugyklose esančių DOI nuorodos nurodo mokomuosius vadovus, o ne klinikinio dirbtinio intelekto interpretavimo programinės įrangos validavimo tyrimus. DOI suteikia nuolatinį identifikatorių; jis nepatvirtina recenzavimo, pacientų įtraukimo, nepriklausomo vertinimo ar klinikinio veiksmingumo. Pirkėjai turėtų klasifikuoti kiekvieną cituojamą publikaciją pagal klausimą, į kurį ji iš tikrųjų gali atsakyti.
Mokomieji vadovai gali padėti sudaryti validavimo vertinimo kriterijų rinkinį, tačiau patys produkto nevaliduoja. Mūsų komplemento ir ANA gairės gali padėti nagrinėti atvejus, kai reikia atidžiai paaiškinti 2 komplemento matavimus ir antikūnų kontekstą. Atitiktis vadovui nėra lygiavertė atitikčiai nepriklausomai įvertintoms pacientų baigtims, ypač kai vadovas ir vertinama programinė įranga turi tą patį organizacinį šaltinį.
Diagnostikos atlikimo laiko vadovai aptaria kitą svarbų klaidų tipą. Mūsų Nipah diagnostikos tyrimų vadovas aptariamas specializuotas diagnostinis kontekstas; jo nereikėtų naudoti sudarant įspūdį, kad įprastas laboratorinis rezultatų interpretavimas leidžia nustatyti konkretų virusą. Jei pirkėjas į numatytą paskirtį įtraukia bent 1 didelių pasekmių sukėlėjo teiginį, tam teiginiui reikia atskirų, tinkamų diagnostinių įrodymų ir tinkamų eskalavimo ribų.
Tyrimų ataskaitų teikimo standartai padeda vertinti tyrimus, o ne patvirtina jų veiksmingumą. STARD 2015 apima 30 ataskaitų teikimo punktų, skirtų diagnostinio tikslumo tyrimams, o TRIPOD+AI skirtas prognozavimo modelių ataskaitoms; nė vienas kontrolinis sąrašas nesuteikia programinei įrangai klinikinio patvirtinimo. Toliau pateiktose nuorodose šie metodologiniai šaltiniai ir 2024 m. KDIGO gairės atskirti nuo 2 mokomųjų DOI įrašų, kad skaitytojai galėtų atskirti klinikines rekomendacijas, ataskaitų teikimo gaires ir konkretaus produkto įrodymus.
Dažnai užduodami klausimai
Kas yra dirbtinio intelekto kraujo tyrimų programinės įrangos klinikinis validavimas?
Klinikinis validavimas įvertina, ar konkreti dirbtinio intelekto kraujo tyrimų programinės įrangos versija pateikia pakankamai tikslius ir saugius rezultatus numatytiems pacientams ir sprendimams. Jis turėtų atskirti bent 3 užduotis: pirminės ataskaitos nuskaitymą, klinikinės reikšmės interpretavimą ir veiksmo rekomendavimą. Įrodymai turėtų apibūdinti etaloninį standartą, imties dydį pacientų lygmeniu, nepriklausomą testavimą ir nesėkmių valdymą. Techniškai teisingas paaiškinimas savaime neįrodo, kad pacientų gydymo rezultatai pagerėjo.
Ar 99% tikslumo pakanka, kad būtų galima pasitikėti dirbtinio intelekto kraujo tyrimų analizatoriumi?
99% tikslumo teiginys negali patvirtinti saugumo, jei nenurodytas vardiklis, užduoties apibrėžtis ir klaidų sunkumas. Hipotetinėje grupėje, kurioje tik 1% asmenų turi tikslinę būklę, programinė įranga, kuri visus pažymi kaip neturinčius būklės, pasiekia 99% tikslumą, tačiau neaptinka nė vieno paveikto paciento. Pirkėjai turėtų prašyti jautrumo, specifiškumo, paciento lygmens ataskaitų klaidų ir atmestų įvesčių skaičiaus. Retos, bet pavojingos rekomendacijos neturi pasimesti vidurkyje, kuriame vyrauja lengvai įvertinami teiginiai.
Kuo skiriasi sintetinis etaloninis testas ir klinikinis validavimas?
Sintetinis etaloninis testas vertina programinę įrangą pagal dirbtinai sukurtus atvejus, o klinikinei validacijai reikia įrodymų, tinkamų numatytai pacientų populiacijai ir klinikiniam teiginiui pagrįsti. Net 100 000 sintetinių atvejų negali nustatyti realaus pasaulio paplitimo, klinikinės naudos ar veiksmingumo esant kiekvienai trūkstamos anamnezės ar mėginio kokybės problemai. Sintetiniai testai gali padėti nustatyti techninius gedimus ir atlikti regresijos patikras. Jie turėtų papildyti, o ne pakeisti reprezentatyvų išorinį ir perspektyvųjį vertinimą.
Kiek nepriklausomų bandymų reikia sveikatos priežiūros dirbtiniam intelektui?
Sveikatos priežiūros DI reikia nepriklausomo testavimo, proporcingo klaidingo rezultato pasekmėms, o ne universalaus minimalaus ataskaitų skaičiaus. Stebint 0 nesėkmių iš 100 nepriklausomų atvejų, apytikslė viršutinė nesėkmių dažnio riba pagal trijų taisyklę yra beveik 3%. Pirkėjai turėtų prašyti apsaugotų testavimo duomenų, užfiksuotos modelio versijos ir informacijos apie vertintojų ryšius. Teiginiams apie retas rimtas klaidas paprastai reikia daugiau įrodymų, nei gali suteikti nedidelis tinkamumo naudoti ar įgyvendinamumo bandomasis tyrimas.
Ar palaikymas 100 kalbų reiškia vienodą tikslumą kiekviena kalba?
100 kalbų palaikymas neįrodo, kad klinikinis tikslumas visomis šiomis kalbomis yra vienodas. Vertinant kiekvieną kalbą reikėtų patikrinti duomenų išgavimą, dešimtainių skaičių žymėjimą, matavimo vienetus, neiginius ir rekomendacijų prasmę. Pavyzdžiui, gliukozės rodmuo, užrašytas kaip 5,6 mmol/L, neturi būti interpretuojamas kaip 56 mmol/L. Pirkėjai turėtų prašyti konkrečioms kalboms skirtų vardiklių ir nurodyti, kurių kalbų klinikiniai specialistai nevertino.
Ar dirbtinis intelektas gali diagnozuoti lėtinę inkstų ligą pagal vieną mažą eGFR rodiklį?
Vienas eGFR rezultatas, mažesnis nei 60 mL/min/1.73 m², pats savaime nepatvirtina lėtinės inkstų ligos. 2024 m. KDIGO gairėse lėtinė inkstų liga apibrėžiama kaip inkstų pakitimai, trunkantys bent 3 mėnesius, įvertinus jų trukmę ir klinikinį kontekstą. Ūminiai pokyčiai, kūno sudėtis ir kiti veiksniai gali turėti įtakos rezultatų interpretavimui. DI programinė įranga turėtų paaiškinti neapibrėžtumą ir padėti gydytojui stebėti paciento būklę, o ne įvardyti vieną sumažėjusį įvertį kaip nuolatinę ligą.
Sužinokite, kaip skaityti kraujo tyrimo rezultatus
Įkelkite laboratorinio tyrimo ataskaitą ir Kantesti AI per kelias sekundes paprasta kalba paaiškins kiekvieną biomarkerį. Juo naudojasi daugiau nei 2 milijonai žmonių visame pasaulyje.
Nuorodos
- Klein, T., Mitchell, S. ir Weber, H. (2025). C3 C4 komplemento kraujo tyrimo ir ANA titro vadovas. Kantesti AI medicininiai tyrimai. DOI
- Klein, T., Mitchell, S. ir Weber, H. (2025). Nipah viruso kraujo tyrimas: ankstyvo nustatymo ir diagnostikos vadovas, 2026 m. Kantesti AI medicininiai tyrimai. DOI
- Bossuyt PM ir kt. (2015). STARD 2015: atnaujintas esminių diagnostinio tikslumo tyrimų ataskaitų teikimo punktų sąrašas. BMJ. DOI PubMed
- Collins GS ir kt. (2024). TRIPOD+AI pareiškimas: atnaujintos klinikinių prognozavimo modelių, kuriuose naudojami regresijos arba mašininio mokymosi metodai, ataskaitų teikimo gairės. BMJ. DOI
- Inkstų ligos: geresnės pasaulinės baigtys (KDIGO) LIL darbo grupė (2024). KDIGO 2024 m. klinikinės praktikos gairės dėl lėtinės inkstų ligos vertinimo ir gydymo. Tarptautinis inkstų žurnalas. DOI
- 2M+Ištirti tyrimai
- 127+Šalys
- 100+Kalbos
Apie medicinos komandą
E-E-A-T patikimumo signalai
Patirtis
Gydytojo vadovaujama klinikinė laboratorinių tyrimų interpretavimo darbo eigų peržiūra.
Ekspertizė
Laboratorinės medicinos dėmesys tam, kaip biomarkeriai elgiasi klinikiniame kontekste.
Autoritetas
Mediciniškai peržiūrėjo dr. Thomas Klein, prisidėjo dr. Sarah Mitchell ir prof. dr. Hans Weber.
Patikimumas
Įrodymais pagrįsta interpretacija su aiškiais tolesnių veiksmų keliais, siekiant sumažinti nerimą.
Medicininė atsakomybės ribojimo nuostata
Šis straipsnis skirtas tik mokymo tikslais ir nesudaro medicininės konsultacijos. Visada kreipkitės į kvalifikuotą sveikatos priežiūros specialistą dėl diagnozės ir gydymo sprendimų.
Paskelbta · Atnaujinta · Susisiekite su redakcine komanda
Išleido Kantesti Ltd, registruota Anglijoje ir Velse, įmonės Nr. 17090423, Londonas, Jungtinė Karalystė.
