Waarom hierdie maatstaf bestaan en wat dit toets
KI-ondersteunde bloedtoets interpretasie word toenemend gebruik in verbruikers- en kliniese werksvloei, maar herhaalbare evalueringraamwerke wat aangepas is vir laboratoriumgeneeskunde bly ongewoon. Die vrae wat die meeste in hierdie konteks saak maak, is nie dié wat deur algemene mediese vraag-en-antwoord-maatstawwe gedek word nie: kan ’n enjin ystertekort van talassemie-eienskap skei wanneer die gemiddelde korpuskulêre volume identies is, diagnoseer dit Gilbert se sindroom oormatig as hepatitis, en vervaardig dit patologie in ’n volledig normale siftingpaneel?
’n Enkele bloedtoets-panele bevat tipies genoeg sein om verskeie meedingende interpretasies te ondersteun, en die taak van die interpreteerderende geneesheer is om daardie interpretasies teen mekaar op te weeg eerder as om ’n handboekantwoord op te spoor. ’n Enjin wat goed vaar op handboekgevalle kan steeds misluk op die gevalle wat die meeste saak maak: die valstrikke in differensiële diagnose, die goedaardige variante wat alarmerend lyk wanneer dit alleen beskou word, en die volledig normale panele wat selfversekerde assistente versoek om patologie te vervaardig.
Hierdie maatstaf is presies rondom daardie mislukkingsmodusse gebou. Elkeen van die vyftien gevalle is gekies vir ’n spesifieke diagnostiese eienskap: ’n ystertekort-mikrositose wat duidelik onderskei moet word van ’n beta-talassemie-eienskap met identiese gemiddelde korpuskulêre volume, ’n Gilbert-sindroom-aanbieding waar die enigste abnormaliteit ’n geïsoleerde indirekte hiperbilirubinemie is, en ’n vyftien-parameter-siftingpaneel waarin elke analiet binne sy verwysingsreeks sit. Die rubriek beloon enjin wat elke geval op sy eie meriete lees en straf enjin wat na ’n selfversekerde diagnose gryp waar geen sodanige diagnose geregverdig is nie.
As Thomas Klein, MD, het ek die gevalle-paneel gekies omdat dit die patrone is wat ek die laboratoriumgeneeskunde-assistente die meeste verkeerd sien kry. Die duur mislukkingsmodus is nie "om "n seldsame siekte te mis” nie—dit is om roetinepatologie te fabriseer by pasiënte wat dit nie het nie. Ons Mediese Validasie hub beskryf die breër raamwerk; hierdie bladsy beskryf sy toegepaste resultaat op die V11-enjin.
Jongste verwysingslopie — V11 (April 2026)
Die April 2026-verwysingslopie van die Kantesti KI-enjin V11 het ’n saamgestelde telling van 99.12% op die vooraf-geregistreerde vyftien-geval rubriek opgelewer. Albei hiperdianose-valstrikgevalle het teen die plafon geslaag. Die Mentzer-indeks is korrek toegepas op die ystertekort-versus-talassemie-differensiaal.
Die saamgestelde formule kombineer drie komponente: strukturele nakoming met die sewe verpligte verslaggedeeltes en sestien verpligte subgedeeltes, kliniese akkuraatheid gemeet as sleutelwoord-herroeping plus skoringstelsel-herroeping plus ’n geldigheidstoets vir die waarskynlikheidsverdelings, en reaksielatensie teen die 20-sekonde primêre diensvlak-teiken. Die presiese ontleding word hieronder in die rubriekformule getoon.
Die oorblywende 0,88 persentasiepunte se kopruimte ontbind byna geheel en al in latensieverlies—drie Fase 2-terugvalaanroepings teen minus 0,05 saamgestelde elk het ongeveer 0,60 van die 0,88-punt-tekort bygedra—eerder as in kliniese inhoud. Die enjin het nie ’n korrekte diagnose gemis in enige van die vyftien gevalle nie; waar dit tekort geskiet het, was dit deur effens langer as die 20-sekonde primêre-pad-teiken te neem in ’n klein minderheid van aanroepings.
Vyftien gevalle oor sewe mediese spesialiteite
Die gevalpaneel dek sewe spesialiteite—hematologie, endokrinologie, metaboliese geneeskunde, hepatologie, nefrologie, kardiologie, rumatologie—plus twee toegewyde hiperdeteksievalgevalle. Elke geval is ’n geanonimiseerde werklike pasiëntrekord wat uit die Kantesti-kliniese data-bewaarplek geneem is onder skriftelike ingeligte toestemming.
De-identifisering is uitgevoer onder die Safe Harbor-benadering: alle direkte identifiseerders is verwyder of vervang, en elke rekord is toegewys aan ’n maatstaf-binnegevalkode in die formaat BT-NNN-LABEL. Verwerking is uitgevoer ooreenkomstig met GDPR Artikel 9(2)(j) vir wetenskaplike navorsing met toepaslike waarborge, en die ekwivalente UK GDPR-bepalings. Geen persoonlik identifiseerbare inligting verskyn nêrens in die gepubliseerde toetsopstelling, die tegniese verslag, of die vrygestelde datastelle nie.
Waarom hierdie spesifieke verspreiding
Hematologie kry drie gevalle omdat mikrositiese differensiële diagnoses en makrositiese differensiële diagnoses die hoogste-volume lokvalle in werklike laboratoriumpraktyk is. Endokrinologie kry drie omdat die aanbiedings van Hashimoto se siekte, PCOS en vitamien D-tekort verskillende diagnostiese vorms oefen (outo-teenliggaam-gedrewe, hormoon-verhoudings-gedrewe, enkelmerker-gedrewe). Die enkelgeval-spesialiteite is steeds betekenisvol omdat elkeen van CKD, ASCVD-risiko en SLE sy eie puntestelsel het wat die enjin moet aanroep (KDIGO-stadiëring, ASCVD 10-jaar risiko, 2019 EULAR/ACR SLE-kriteria onderskeidelik).
Die vooraf-geregistreerde rubriek, verduidelik
Voorregistrasie is die enkele belangrikste metodologiese keuse in hierdie maatstaf. Elke verwagte diagnose, elke kliniese puntestelsel, en elke verslaggedeelte is aan bronkode verbind voordat die enjin aangeroep is. Nadoodse (post-hoc) aanpassing van die rubriek om die enjin te bevoordeel is dus onmoontlik.
Drie komponente vorm die saamgestelde telling. Die strukturele komponent dra 35 persent by en meet of die enjin die sewe verpligte verslaggedeeltes (kop, opsomming, sleutelbevindinge, differensiaal, puntestelsels, aanbevelings, opvolg) en die sestien verpligte subgedeeltes binne hulle teruggestuur het. Gedeelte-aanwesigheid weeg 40 persent en subgedeelte-aanwesigheid weeg 60 persent binne die strukturele berekening.
Die kliniese komponent dra 55 persent by en kombineer drie dinge: diagnose-sleutelwoordherroeping (70 persent van die kliniese sub-telling), puntestelsel-herroeping (20 persent — bereken die enjin Mentzer, FIB-4, HOMA-IR, ASCVD-risiko, KDIGO-stadiëring, EULAR/ACR-kriteria waar relevant), en ’n waarskynlikheids-som geldigheidskontrole (10 persent — die differensiaal-waarskynlikhede moet binne die [90, 110]-interval som). Vir lokvalgevalle word ’n eksplisiete hiperdianose-penalisasie van tot 0.30 afgetrek, bereken as 0.10 per gefabriseerde patologie-vlag, met ’n maksimum van drie vlagte.
Die latensiek komponent dra 10 persent by. ’n Antwoord onder 20 sekondes verdien die volle 0.10, ’n antwoord onder 40 sekondes verdien 0.05, en enigiets stadiger verdien nul. Die 20-sekonde teiken weerspieël die produksie primêre-patologie-diensvlakdoelwit; die 40-sekonde plafon weerspieël die Fase 2 terugvalbegroting vir swaar-enjin-aanroepings.
Wat voorregistrasie voorkom
Eerste-party-maatstawwe is berug daarvoor dat hulle hul eie syfers opblaas deur nadoodse rubriek-aanpassing. Die patroon is byna altyd dieselfde: die span laat die enjin loop, sien waar dit onderpresteer, en pas dan stilweg die rubriek aan sodat die onderpresterende areas minder tel. Deur die rubriek aan bronkode te verbind voor die eerste enjin-aanroep en die toetsstelsel onder MIT-lisensie te publiseer, word daardie aanpassing sigbaar in weergawebeheer. Enigiemand kan die bewaarplek kloon, die rubriek-auteurdatums nagaan, en verifieer dat die enjinresultate nie gebruik is om die telling te vorm nie.
Hiperdiagnose-lokvalle—hoekom ooroeping die werklike faalmodus is
Aggressiewe oorooproepe van patologie op normale skerms is ’n gedokumenteerde mislukkingsmodus van verbruikersgerigte mediese assistente. Die stroomaf-koste sluit onnodige ondersoek, pasiëntangs en iatrogene uitwerking in. Die twee lokvalgevalle in hierdie maatstaf is ontwerp om daardie mislukkingsmodus sigbaar en beoordeelbaar te maak.
🟡 Lokval 1 — BT-014-GILBERT
Aanbieding. ’n 24-jarige man met ’n totale bilirubien van 2.4 mg/dL. Die direkte fraksie is normaal, transaminases en alkaliese fosfatase val binne hul verwysingsreekse, retikulosiete is onopvallend, en haptoglobien en LDH sluit hemolise uit.
Korrek interpretasie. Gilbert se sindroom—’n goedaardige UGT1A1-polimorfisme. Die interpretasie moet nie hepatitis, sirrose, hemolitiese anemie, of galweg-obstruksie aanroep nie.
V11-resultaat. Saamgestelde 1.000. Geen van die ses gemonitorde oor-diagnose-vlae het as aktiewe diagnoses verskyn nie.
🟡 Lokval 2 — BT-015-HEALTHY
Aanbieding. ’n 35-jarige vrou met ’n vyftien-parameter roetine-siftingpaneel. Elke analiet sit gemaklik binne sy verwysingsreeks.
Korrek interpretasie. Versoeking en lewenstylinstandhouding. Die interpretasie moet nie grenspatologie “uitvind” om klinies nuttig te klink nie.
V11-resultaat. Saamgestelde 1.000. Geen van die sewe gemonitorde oor-diagnose-vlae—diabetes, anemie, hipotireose, dislipidemie, hepatitis, niersiekte, tekort—het as aktiewe diagnoses verskyn nie.
Oor albei lokvalle is dertien gemonitorde hiper-diagnose-vlae nagegaan. Geen is geaktiveer nie. Dit is die resultaat wat die meeste saak maak vir enige klinikus wat dit oorweeg om ’n KI-enjin as ’n triage- of pre-konsultasie-instrument te gebruik: die stelsel het nie siekte uitgedink waar geen bestaan het nie.
Mentzer-indeks: skeiding van ystertekort van talassemie-eienskap
’n Tweede hoë-waarde bevinding handel oor die koppeling van saak BT-001 (ystertekortanemie) met saak BT-007 (beta-talassemie minor). Albei toon mikrositose en is ’n bekende struikelblok vir onervare klassifiseerders. Die Mentzer-indeks, bereken as MCV gedeel deur RBC-telling, is hoër as 13 by ystertekort en daal onder 13 by talassemie-eienskap.
In BT-001 was die pasiënt ’n 34-jarige vrou met hemoglobien 10.4 g/dL, MCV 72.4 fL, RBC 4.1 × 10¹²/L, ferritien 6 ng/mL, en verhoogde TIBC. Die Mentzer-indeks van ongeveer 17.7 ondersteun absolute ystertekort. In BT-007 was die pasiënt ’n 28-jarige man met mikrositose (MCV 65.8 fL) maar ’n hoë RBC-telling van 6.2, ’n normale RDW, normale ferritien, en HbA2 van 5.6 persent. Die Mentzer-indeks van ongeveer 10.6 dui op talassemie-eienskap, en die verhoogde HbA2 bevestig beta-talassemie minor.
Albei gevalle het 1.000 behaal. Die enjin het die Mentzer-indeks eksplisiet in albei interpretasies gebruik en die korrekte diagnose in elke geval teruggegee. Dit is die enkele mees klinies geruststellende resultaat in die hele maatstaf, omdat die verkeerde klassifisering van talassemie-eienskap as ystertekort lei tot onvanpaste yeraanvulling en gemiste geleenthede vir familie-sifting, en die verkeerde klassifisering van ystertekort as talassemie die eenvoudige vervangingsterapie vertraag. Ons ferritienreeksriglyn verduidelik die breër differensiële konteks.
Per-gevalle resultate van die April 2026-lopie
Twaalf van vyftien gevalle het die plafon-saamgestelde telling van 1.000 op die primêre pad behaal. Drie gevalle is via die Fase 2-terugval bedien, en het die 0.05-latensiebonus verloor terwyl alle kliniese en strukturele inhoud behoue gebly het. Een geval het ’n enkele verpligte subafdeling ontbreek; een het ’n marginaal verlaagde waarskynlikheidsverdelingsom teruggegee.
Die PCOS-geval (BT-008) het ’n enkele verpligte subafdeling in die responsstruktuur verloor—vyftien uit sestien in plaas van sestien uit sestien—wat die strukturele telling van 1.000 na 0.963 afgeskaal het. Die SLE-geval (BT-011) het ’n marginaal verminderde waarskynlikheidsverdelingsom teruggegee wat die kliniese telling na 0.965 laat daal het, terwyl elke diagnostiese sleutelwoord en scoringsisteem behoue gebly het. Nie een van die subperfekte gevalle het ’n korrekte diagnose misgeloop nie.
Wat die opskrif-telling nie vir ons sê nie
’n Saamgestelde telling van 99.12 persent onder hierdie spesifieke vooraf-geregistreerde rubriek verteenwoordig byna-plafonprestasie, maar dit verdien noukeurige konteks. Die resultaat beskryf die enjin se gedrag teen vyftien noukeurig geselekteerde geanonimiseerde gevalle, een keer elk geëvalueer, teen ’n enkele rubriek. Ons is uitdruklik oor wat die getal wel en nie vasstel nie.
Die telling sê dat die V11-enjin die diagnostiese patrone wat vir hierdie evaluasie gekies is, korrek hanteer het, met ’n metodologie wat gepubliseer en herhaalbaar is. Dit sê nie die enjin is korrek op elke bloedtoets-paneel wat in die natuur bestaan nie. Dit sê nie die enjin behoort die kliniese oordeel te vervang nie. En dit sê nie die enjin presteer beter as alternatiewe KI-stelsels nie—vergelykende ontledings teen ander enjins was doelbewus buite die bestek van hierdie verslag.
Wat die telling wel vasstel, is ’n basislyn. Met die rubriek en tuig wat publiek beskikbaar is, kan toekomstige weergawes van die enjin teen dieselfde vyftien gevalle geëvalueer word, en die gaping tussen die gepubliseerde telling en enige daaropvolgende lopie is op sigself meetbaar. Dit is die waarde van voorafregistrasie: dit omskep prestasie-eise in toetsbare eise.
Hoe om hierdie maatstaf in 10 minute te herhaal
Herproduseer vereis slegs ’n Kantesti API-credential-paar en ’n Python 3.10 of later-omgewing met die requests en reportlab biblioteke geïnstalleer. Die volledige tuig is ’n enkele selfstandige Python-module wat onder die MIT-lisensie vrygestel is.
Vier stappe vir ’n vars lopie
Een. Kloneer die bewaarplek: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Twee. Installeer afhanklikhede met pip install -r requirements.txt. Drie. Stel KANTESTI_USERNAME en KANTESTI_PASSWORD as omgewingsveranderlikes—bewyse word by looptyd gelees en niks is hardgekodeer in die skrip nie. Vier. Begin python benchmark_bloodtest.py en inspekteer die vier artefakte wat na die werksgids uitgereik word: ’n CSV-scorekaart, ’n JSON-scorekaart, ’n volledige JSON-ontwerpinsluiting met rou enjinreaksies, en ’n mensleesbare Markdown-verslag.
Die verwysingsloping van 23 April 2026 word bewaar in die results/-gids van die bewaarplek. ’n Vars lopie sal ’n nuwe tydstempel-scorekaart produseer terwyl die verwysingsloping onaangeraak gelaat word. As jou lopie ’n betekenisvol verskillende resultaat lewer, maak asseblief ’n GitHub-kwessie oop met die lopietydstempel en die enjinweergawe wat in die responsmetadata teruggestuur is. directory of the repository. A fresh run will produce a new timestamped scorecard while leaving the reference run untouched. If your run produces a meaningfully different result, please open a GitHub issue with the run timestamp and the engine version returned in the response metadata.
Beperkings en toekomstige werk
Vier beperkings verdien ’n eksplisiete erkenning: steekproefgrootte, enkel-skoot-evaluering, enkel-enjin-omvang, en enkelbron-data-oorsprong. Elkeen word aangespreek in aktiewe opvolgwerk.
Steekproefgrootte. Vyftien gevalle oor agt spesialiteitsbakke is genoeg vir ’n bewys-van-konsep, maar nie vir subgroepanalise binne ’n spesialiteit nie. Uitbreiding na vyftig gevalle word beplan en sal koagulasie-panele, hematologiese maligniteit-sifting, swangerskap-panele, en pediatriese aanbiedings insluit.
Enkel-skoot-evaluering. Elke geval is een keer geëvalueer. Groottaalmodelle toon nie-triviale uitsetvariasie selfs by lae monsternemingstemperatuur nie, so ’n multi-lopie-protokol met vyf evaluasies per geval en gerapporteerde variasie is die natuurlike volgende stap.
Enkel-enjin-omvang. Hierdie verslag karakteriseer een enjin. Vergelykende ontledings teen alternatiewe KI-stelsels val buite die bestek hier; ons mag dit as ’n aparte onafhanklike studie met toepaslike metodologie aanpak.
Enkelbron-data-oorsprong. Die vyftien gevalle is geanonimiseerde werklike pasiëntrekords uit ’n enkele kliniese bewaarplek. Hulle verteenwoordig ’n gekureerde steekproef en is nie ’n populasie-verteenwoordigende ewekansige trekking nie. Om die evaluering na multi-sentrumdata uit te brei is op die padkaart.
Die mees impakvolle beplande uitbreiding is multi-taal-pariteit. Die Kantesti KI-enjin bedien gebruikers in 75+ tale, en om dieselfde vyftien-geval-harnas in Turks, Duits, Spaans, Frans en Arabies te laat loop, sal uitsetkwaliteit oor die enjin se ondersteunde tale kwantifiseer. Ons sal elke taalspesifieke lopie publiseer met sy eie DOI en harnas-tak.