Kāpēc pastāv šis etalons un ko tas pārbauda
AI atbalstīta asins analīžu rezultātu interpretācija arvien biežāk tiek izmantota gan patērētāju, gan klīniskajos procesos, tomēr reproducējami novērtēšanas ietvari, kas pielāgoti laboratorijas medicīnai, joprojām ir reti. Šajā kontekstā svarīgākie jautājumi nav tie, ko aptver vispārīgas medicīniskās jautājumu-atbilžu etaloni: vai dzinējs spēj atšķirt dzelzs deficītu no talasēmijas pazīmes, ja vidējais eritrocītu tilpums ir identisks, vai tas pārdiaģnostē Gilberta sindromu kā hepatītu, un vai tas ģenerē patoloģiju pilnīgi normālā skrīninga panelī?
Viena asins analīžu paneļa parasti pietiek signāla, lai pamatotu vairākas konkurējošas interpretācijas, un interpretējošā ārsta uzdevums ir tās izvērtēt savstarpēji, nevis izvilkt “mācību grāmatas” atbildi. Dzinējs, kas labi darbojas pēc mācību grāmatas piemēriem, tomēr var izgāzties tieši tajos gadījumos, kas ir vissvarīgākie: diferenciāldiagnozes slazdos, labdabīgajās variācijās, kas vienatnē izskatās satraucošas, un pilnīgi normālos paneļos, kuri pavedina pārliecinātus palīgus izdomāt patoloģiju.
Šis etalons tika veidots tieši ap šiem kļūmju veidiem. Katrs no piecpadsmit gadījumiem tika izvēlēts konkrētai diagnostiskai īpašībai: dzelzs deficīta izraisīta mikrocitoze, kas jānošķir no beta-talasēmijas pazīmes ar identisku vidējo eritrocītu tilpumu, Džilberta sindroma aina, kur vienīgā novirze ir izolēta netiešā hiperbilirubinēmija, un piecpadsmit parametru skrīninga panelis, kur katrs analīts atrodas savā references diapazonā. Rubrika atalgo dzinējus, kas katru gadījumu lasa pēc tā paša noteikumiem, un soda dzinējus, kas mēģina noteikt pārliecinātu diagnozi, ja tāda diagnoze nav pamatota.
Kā doktors Tomass Kleins (MD) es izvēlējos gadījumu paneli, jo tieši šos modeļus laboratorijas medicīnas palīgi visbiežāk interpretē nepareizi. Dārgā kļūmes forma nav "nepamanīt retu slimību" — tā ir rutīnas patoloģijas izdomāšana pacientiem, kuriem tās nav. Mūsu Medicīniskā validācija hub apraksta plašāku ietvaru; šī lapa apraksta tā pielietoto rezultātu V11 dzinējā.
Jaunākais atsauces tests — V11 (2026. gada aprīlis)
Kantesti AI Engine V11 2026. gada aprīļa references testā tika iegūts saliktais rezultāts 99.12% pēc iepriekš reģistrētās piecpadsmit gadījumu rubrikas. Abos hiperdianostikas slazdu gadījumos rezultāts bija maksimālajā līmenī. Mentzera indekss tika piemērots pareizi dzelzs deficīta un talasēmijas diferenciāldiagnozē.
Salikto formulu veido trīs komponentes: strukturālā atbilstība ar septiņām obligātajām ziņošanas sadaļām un sešpadsmit obligātajām apakšsadaļām, klīniskā precizitāte mērīta kā atslēgvārdu atcerēšanās plus punktu sistēmas atcerēšanās plus varbūtību sadalījuma derīguma pārbaude, un atbildes latentums pret 20 sekunžu primārā pakalpojuma līmeņa mērķi. Precīzs sadalījums ir parādīts rubrikas formulā zemāk.
Atlikušās 0,88 procentpunktu “rezerves” apjoms gandrīz pilnībā sadalās latentuma zudumā — trīs 2. fāzes rezerves (fallback) izsaukumi, katrs ar salikto rādītāju -0,05, veicināja aptuveni 0,60 no 0,88 punktu deficīta — nevis klīniskā satura dēļ. Dzinējs nevienā no piecpadsmit gadījumiem neizlaida pareizu diagnozi; ja tas tomēr nepietiekami atbildēja, tad tas bija tāpēc, ka nelielā daļā izsaukumu tas aizņēma nedaudz ilgāku laiku nekā 20 sekunžu primārā ceļa mērķis.
Piecpadsmit gadījumi septiņās medicīnas specialitātēs
Gadījumu (case) panelis aptver septiņas specialitātes — hematoloģiju, endokrinoloģiju, metabolo medicīnu, hepatoloģiju, nefroloģiju, kardioloģiju, reimatoloģiju — kā arī divus īpaši izveidotus hiperdianostikas slazdu (hyperdiagnosis trap) gadījumus. Katrs gadījums ir anonimizēts reāla pacienta ieraksts, kas iegūts no Kantesti klīnisko datu repozitorija, pamatojoties uz rakstisku informētu piekrišanu.
Deidentifikācija tika veikta saskaņā ar Safe Harbor pieeju: visi tiešie identifikatori tika noņemti vai aizstāti, un katram ierakstam tika piešķirts etalona iekšējais gadījuma kods formātā BT-NNN-LABEL. Apstrāde tika veikta saskaņā ar GDPR 9. panta 2. punkta j) apakšpunktu zinātniskai pētniecībai ar atbilstošiem drošības pasākumiem un atbilstošajiem Lielbritānijas GDPR noteikumiem. Neviena personu identificējoša informācija nekur neparādās publicētajā “harness”, tehniskajā ziņojumā vai izlaistajos datu kopumos.
Kāpēc tieši šāds sadalījums
Hematoloģija iegūst trīs gadījumus, jo mikrocitāro diferenciāļu un makrocitāro diferenciāļu slazdi reālās dzīves laboratorijas praksē ir vislielākās apjoma slazdi. Endokrinoloģija iegūst trīs, jo Hašimoto, PCOS un D vitamīna deficīta izpausmes veido atšķirīgas diagnostikas formas (autoantivielu virzītas, hormonu attiecību virzītas, viena marķiera virzītas). Viena gadījuma specialitātes joprojām ir nozīmīgas, jo katram no CKD, ASCVD riska un SLE ir sava punktu sistēma, kuru dzinējam vajadzētu izsaukt (attiecīgi KDIGO stadēšana, ASCVD 10 gadu risks, 2019. gada EULAR/ACR SLE kritēriji).
Iepriekš reģistrēto vērtēšanas kritēriju skaidrojums
Pirmsreģistrācija ir vissvarīgākā metodoloģiskā izvēle šajā etalonā. Katrs paredzamais diagnozes gadījums, katra klīniskā punktu sistēma un katra atskaites sadaļa tika apņemtas pirmkoda līmenī pirms dzinēja izsaukšanas. Tāpēc rubrikas post-hoc pielāgošana, lai glaimotu dzinējam, nav iespējama.
Salikto punktu veido trīs komponentes. strukturālā komponente veido 35 procentus un mēra, vai dzinējs atgrieza septiņas obligātās atskaites sadaļas (virsraksts, kopsavilkums, galvenie secinājumi, diferenciāļi, punktu sistēmas, ieteikumi, turpmākā rīcība) un sešpadsmit obligātās apakšsadaļas tajās. Sadaļas esamība strukturālajā aprēķinā sver 40 procentus, bet apakšsadaļas esamība — 60 procentus.
The klīniskā komponente veido 55 procentus un apvieno trīs lietas: diagnozes atslēgvārdu atsaukšanu (70 procenti no klīniskās apakšpunktu daļas), punktu sistēmas atsaukšanu (20 procenti — vai dzinējs aprēķina Mentzer, FIB-4, HOMA-IR, ASCVD risku, KDIGO stadēšanu, EULAR/ACR kritērijus, ja attiecināms), un varbūtību summas derīguma pārbaudi (10 procenti — diferenciāļu varbūtībām jāsummējas intervālā [90, 110]). Slazdu gadījumos tiek atņemta skaidra hiperdianozes soda maksa līdz 0.30, aprēķināta kā 0.10 par katru izdomātu patoloģijas karodziņu, ar griestiem līdz trim karodziņiem.
The latentuma komponente veido 10 procentus. Atbilde, kas ir īsāka par 20 sekundēm, saņem pilnus 0.10, atbilde, kas ir īsāka par 40 sekundēm, saņem 0.05, un jebkas lēnāks saņem nulli. 20 sekunžu mērķis atspoguļo ražošanas primārā-path servisa līmeņa mērķi; 40 sekunžu griesti atspoguļo 2. fāzes rezerves budžetu smagām dzinēja izsaukšanām.
Ko novērš pirmsreģistrācija
Pirmās puses etaloni ir bēdīgi slaveni ar savu skaitļu uzpūšanu, veicot rubrikas post-hoc pielāgošanu. Modelis gandrīz vienmēr ir vienāds: komanda palaiž dzinēju, redz, kur tas nepietiekami veic, un tad klusi pielāgo rubriku tā, lai nepietiekami veiktās jomas tiktu vērtētas mazāk. Iesniedzot rubriku pirmkodā pirms pirmā dzinēja izsaukuma un publicējot testa ietvaru ar MIT licenci, šī pielāgošana kļūst redzama versiju kontrolē. Ikviens var klonēt repozitoriju, pārbaudīt rubrikas autoru datumus un verificēt, ka dzinēja rezultāti netika izmantoti vērtējuma veidošanai.
Hiperdiagnostikas slazda gadījumi — kāpēc pārmērīga izsaukšana ir īstais kļūmes režīms
Agresīva patoloģijas pārsaukšana normālos izmeklējumos ir dokumentēts kļūmes režīms patērētājam paredzētiem medicīnas asistentiem. Tās turpmākās izmaksas ietver nevajadzīgu izmeklēšanu, pacienta trauksmi un iatroģenisku izmeklējumu. Šī etalona divi slazdu gadījumi ir izstrādāti, lai padarītu šo kļūmes režīmu redzamu un vērtējamu.
🟡 Slazds 1 — BT-014-GILBERT
Izpausme. 24 gadus vecs vīrietis ar kopējo bilirubīnu 2.4 mg/dL. Tiešā frakcija ir normāla, transamināzes un sārmainā fosfatāze atrodas savās atsauces robežās, retikulocīti ir bez ievērojamām īpatnībām, un haptoglobīns un LDH izslēdz hemolīzi.
Pareiza interpretācija. Džilberta sindroms — labdabīga UGT1A1 polimorfisma forma. Interpretācijā nedrīkst tikt piesaukts hepatīts, ciroze, hemolītiska anēmija vai žults ceļu obstrukcija.
V11 rezultāts. Saliktais 1.000. Neviens no sešiem uzraudzītajiem pārapzīmēšanas karodziņiem neparādījās kā aktīva diagnoze.
🟡 Slazds 2 — BT-015-HEALTHY
Izpausme. 35 gadus veca sieviete ar piecpadsmit parametru rutīnas skrīninga paneli. Katrs analīts ērti atrodas savā atsauces diapazonā.
Pareiza interpretācija. Pārliecība un dzīvesveida uzturēšana. Interpretācijai nevajadzētu izdomāt robežgadījumus, lai tā izklausītos klīniski noderīga.
V11 rezultāts. Kompozītais 1.000. Neviens no septiņiem uzraudzītajiem pārmērīgas diagnosticēšanas brīdinājumiem — diabēts, anēmija, hipotireoze, dislipidēmija, hepatīts, nieru slimība, deficīts — neparādījās kā aktīva diagnoze.
Abos slazdos tika pārbaudīti trīspadsmit uzraudzītie pārmērīgas diagnozes brīdinājumi. Neviens netika aktivizēts. Šis ir rezultāts, kas ir vissvarīgākais jebkuram ārstam, kurš apsver izmantot AI dzinēju kā triāžas vai pirmskonsultācijas rīku: sistēma neizdomāja slimību, ja tādas nebija.
Mentzera indekss: dzelzs deficīta nošķiršana no talasēmijas pazīmes
Otrs augstvērtīgs atradums attiecas uz gadījumu savienošanu: BT-001 (dzelzs deficīta anēmija) ar BT-007 (beta-talasēmijas minor). Abos gadījumos ir mikrocitoze, un tā ir labi zināma grūtība naiviem klasifikatoriem. Mentzera indekss, kas aprēķināts kā MCV dalīts ar RBC skaitu, dzelzs deficītā pārsniedz 13 un talasēmijas pazīmē nokrīt zem 13.
BT-001 gadījumā pacientei bija 34 gadus veca sieviete ar hemoglobīnu 10,4 g/dL, MCV 72,4 fL, RBC 4,1 × 10¹²/L, feritīnu 6 ng/mL un paaugstinātu TIBC. Mentzera indekss, aptuveni 17,7, atbalsta absolūtu dzelzs deficītu. BT-007 gadījumā pacientam bija 28 gadus vecs vīrietis ar mikrocitozi (MCV 65,8 fL), bet ar augstu RBC skaitu 6,2, normālu RDW, normālu feritīnu un HbA2 5,6 procenti. Mentzera indekss, aptuveni 10,6, norāda uz talasēmijas pazīmi, un paaugstinātais HbA2 apstiprina beta-talasēmijas minor.
Abiem gadījumiem rādītājs bija 1.000. Dzinējs abās interpretācijās skaidri izmantoja Mentzera indeksu un katrā gadījumā atgrieza pareizu diagnozi. Šis ir viens no klīniski visvairāk pārliecinošajiem rezultātiem visā etalonā, jo talasēmijas pazīmes nepareiza klasificēšana kā dzelzs deficīts noved pie neatbilstošas dzelzs papildterapijas un tiek palaistas garām ģimenes skrīninga iespējas, bet dzelzs deficīta nepareiza klasificēšana kā talasēmija aizkavē vienkāršu aizvietošanas terapiju. Mūsu feritīna diapazona ceļvedis izskaidro plašāku diferenciāldiagnostikas kontekstu.
Katrs gadījums: rezultāti no 2026. gada aprīļa izpildes
Piecpadsmit gadījumos divpadsmit sasniedza primārajā ceļā maksimālo kompozīto punktu skaitu 1.000. Trīs gadījumi tika apkalpoti, izmantojot 2. fāzes rezerves ceļu, zaudējot 0,05 latentuma bonusa priekšrocību, vienlaikus saglabājot visu klīnisko un strukturālo saturu. Vienā gadījumā trūka viena obligātā apakšsadaļa; vienā gadījumā tika atgriezta nedaudz samazināta varbūtību sadalījuma summa.
PCOS gadījums (BT-008) atbildes struktūrā zaudēja vienu obligāto apakšsadaļu — piecpadsmit no sešpadsmit, nevis sešpadsmit no sešpadsmit — tādējādi strukturālais vērtējums samazinājās no 1,000 līdz 0,963. SLE gadījums (BT-011) atgrieza nedaudz samazinātu varbūtību sadalījuma summu, kas samazināja klīnisko vērtējumu līdz 0,965, vienlaikus saglabājot katru diagnostikas atslēgvārdu un vērtēšanas sistēmu. Neviens no abiem nepilnīgajiem gadījumiem neizlaida pareizu diagnozi.
Ko galvenais rādītājs mums nepasaka
Saliktais vērtējums 99,12 procenti saskaņā ar šo konkrēto iepriekš reģistrēto rubriku nozīmē sniegumu gandrīz līdz griestiem, taču tas ir rūpīgi jāietver kontekstā. Rezultāts raksturo dzinēja darbību pret piecpadsmit rūpīgi atlasītiem anonimizētiem gadījumiem, katru izvērtējot vienreiz, izmantojot vienu rubriku. Mēs skaidri norādām, ko šis skaitlis nosaka un ko tas nenosaka.
Vērtējums saka, ka V11 dzinējs šai izvērtēšanai atlasītos diagnostikas modeļus apstrādāja pareizi, izmantojot metodoloģiju, kas ir publicēta un reproducējama. Tas nesaka, ka dzinējs ir pareizs katrā asins analīžu panelī, kas pastāv “reālajā pasaulē”. Tas nesaka, ka dzinējam vajadzētu aizstāt klīnicista spriedumu. Un tas nesaka, ka dzinējs pārspēj alternatīvas AI sistēmas — salīdzinošas analīzes pret citiem dzinējiem šajā ziņojumā apzināti netika iekļautas.
Tas, ko vērtējums nosaka, ir bāzes līmenis. Tā kā rubrika un “harness” ir publiski pieejami, nākamās dzinēja versijas var izvērtēt pret tiem pašiem piecpadsmit gadījumiem, un atšķirība starp publicēto vērtējumu un jebkuru turpmāku izpildi ir pati par sevi izmērāma. Šī ir iepriekšējas reģistrācijas vērtība: tā pārvērš veiktspējas apgalvojumus pārbaudāmos apgalvojumos.
Kā atveidot šo etalonu 10 minūtēs
Reproducēšanai pietiek ar Kantesti API akreditācijas datu pāri un Python 3.10 vai jaunāku vidi ar requests un reportlab bibliotēkas ir instalētas. Pilnais “harness” ir viens vienots, pašpietiekams Python modulis, kas izlaists saskaņā ar MIT licenci.
Četras darbības svaigai izpildei
Viena. Klonējiet repozitoriju: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Divi. Instalējiet atkarības ar pip install -r requirements.txt. Trīs. Iestatiet KANTESTI_USERNAME un KANTESTI_PASSWORD kā vides mainīgos — akreditācijas dati tiek nolasīti izpildes laikā, un skriptā nekas netiek kodēts “cieti”. Četri. Palaidiet python benchmark_bloodtest.py un pārbaudiet četrus artefaktus, kas tiek ģenerēti darba direktorijā: CSV rezultātu kopsavilkumu, JSON rezultātu kopsavilkumu, pilnu JSON izmetumu, tostarp neapstrādātas dzinēja atbildes, un cilvēkam lasāmu Markdown atskaiti.
Atsauces izpilde no 23. aprīļa 2026. gada ir saglabāta results/ repozitorija direktorijā. Jauna izpilde ģenerēs jaunu ar laika zīmogu iezīmētu rezultātu kopsavilkumu, atstājot atsauces izpildi neskartu. Ja jūsu izpilde dod būtiski atšķirīgu rezultātu, lūdzu, atveriet GitHub issue ar izpildes laika zīmogu un atbildes metadatos norādīto dzinēja versiju.
Ierobežojumi un turpmākais darbs
Četri ierobežojumi ir jāatzīst tieši: izlases lielums, vienreizēja novērtēšana, viena dzinēja tvērums un viena datu avota izcelsme. Katrs no tiem tiek risināts aktīvā turpmākajā darbā.
Izlases lielums. Piecpadsmit gadījumi astoņās specialitāšu kategorijās ir pietiekami pierādījumam, bet ne apakšgrupu analīzei konkrētā specialitātē. Plānots paplašināt līdz piecdesmit gadījumiem, iekļaujot koagulācijas paneļus, hematoloģisku ļaundabīgo audzēju skrīningu, grūtniecības paneļus un pediatriskus gadījumus.
Vienreizēja novērtēšana. Katrs gadījums tika novērtēts vienu reizi. Lielie valodu modeļi uzrāda ne-triviālu izvades variāciju pat pie zemas paraugu ņemšanas temperatūras, tāpēc dabisks nākamais solis ir daudzizpildes protokols ar pieciem novērtējumiem katram gadījumam un ziņotu variāciju.
Viena dzinēja tvērums. Šī atskaite raksturo vienu dzinēju. Salīdzinošas analīzes ar alternatīvām AI sistēmām šeit nav iekļautas; mēs tās varam īstenot kā atsevišķu neatkarīgu pētījumu ar atbilstošu metodoloģiju.
Viena datu avota izcelsme. Piecpadsmit gadījumi ir anonimizēti reāli pacientu ieraksti, kas iegūti no vienas klīniskās repozitorijas. Tie atspoguļo atlasītu izlasi un nav iedzīvotāju reprezentatīva nejauša izlase. Novērtējuma paplašināšana uz vairāku centru datiem ir ceļvedī.
Visnozīmīgākais plānotais paplašinājums ir daudzvalodu atbilstība. Kantesti AI Engine apkalpo lietotājus 75+ valodās, un, palaižot to pašu piecpadsmit gadījumu testu turku, vācu, spāņu, franču un arābu valodās, tiks kvantificēta izvades kvalitāte visās dzinēja atbalstītajās valodās. Mēs publicēsim katras valodas specifisko izpildi ar savu DOI un testu (harness) atzaru.