Kial ekzistas ĉi tiu komparnormo kaj kion ĝi testas
AI-helpata interpretado de sangoanalizo estas ĉiam pli uzata en konsumantaj kaj klinikaj laborfluoj, tamen reprodukteblaj taksaj kadroj adaptitaj al laboratoriamedicino restas maloftaj. La demandoj, kiuj plej gravas en ĉi tiu kunteksto, ne estas tiuj kovritaj de ĝeneralaj medicinaj demando-respondo-komparnormoj: ĉu motoro povas apartigi feromankon de talasemio-trajto kiam la meza korpuskula volumeno estas identa, ĉu ĝi tro-diagnostikas Gilbert-malsanon kiel hepatiton, kaj ĉu ĝi fabrikas patologion en plene normala ekzamena panelo?
Ununura panelo de sangoanalizo kutime enhavas sufiĉe da signalo por subteni plurajn konkurantajn interpretojn, kaj la tasko de la interpretanta klinikisto estas pesi tiujn interpretojn unu kontraŭ la aliajn prefere ol serĉi respondon el lernolibro. Motoro kiu bone funkcias en lernolibraj kazoj povas tamen malsukcesi en la kazoj kiuj plej gravas: la kaptiloj de diferenciala diagnozo, la benignaj variantoj kiuj aspektas alarmigaj kiam ili estas izolitaj, kaj la tute normalaj paneloj kiuj tentigas memcertajn asistantojn fabrikadi patologion.
Ĉi tiu benchmark estis konstruita ĝuste ĉirkaŭ tiuj fiaskoreĝimoj. Ĉiu el la kvin-dek kazoj estis elektita por specifa diagnoza propraĵo: fer-manka mikrocitozo kiu devas esti konservita aparta de beta-talasemio-trajto kun identa meza korpuskula volumeno, prezento de sindromo de Gilbert kie la sola anomalio estas izolita nerekta hiperbilirubinemio, kaj kvin-dek-parametra skanada panelo en kiu ĉiu analito troviĝas ene de sia referenca intervalo. La rubriko rekompencas motorojn kiuj legas ĉiun kazon laŭ ĝiaj propraj kondiĉoj kaj punas motorojn kiuj serĉas memcertan diagnozon kiam tia diagnozo ne estas pravigita.
Kiel Thomas Klein, MD, mi elektis la panelon de kazoj ĉar ĉi tiuj estas la ŝablonoj kiujn laboratorimedicinaj asistantoj plej ofte eraras. La multekosta fiaskoreĝimo ne estas "mankanta rara malsano" — ĝi estas fabrikado de rutina patologio ĉe pacientoj kiuj ne havas ĝin. Nia Medicina Validigo hub priskribas la pli larĝan kadron; ĉi tiu paĝo priskribas ĝian aplikitan rezulton ĉe la V11-motoro.
Plej nova referenca ruliĝo — V11 (aprilo 2026)
La referenca rulado de aprilo 2026 de la Kantesti AI Engine V11 produktis kompozitan poentaron de 99.12% en la antaŭregistrita rubriko de kvin-dek kazoj. Ambaŭ kazoj de la hiperdiaĝnostika kaptilo atingis la plafonon. La Mentzer-indekso estis aplikita ĝuste en la diferencialo fer-manko kontraŭ talasemio.
La kompozita formulo kombinas tri komponantojn: struktura konformeco kun la sep devigaj raportsekcioj kaj dek ses devigaj subsekcioj, klinika precizeco mezurita kiel ŝlosilvorta revoko plus revoko de la poentadsistemo plus validec-kontrolo de probabla distribuo, kaj responda latenco kontraŭ la 20-sekunda ĉefa servnivela celo. La ĝusta malkomponado estas montrita en la rubrika formulo malsupre.
La ceteraj 0,88 procentpunktoj de spaco por eraro preskaŭ tute malkomponiĝas en latencperdon — tri Phase 2-falback-invokoj po po -0,05 kompona kontribuis proksimume 0,60 el la 0,88-punkta manko — prefere ol en klinikan enhavon. La motoro ne maltrafis ĝustan diagnozon en iuj el la dek kvin kazoj; kie ĝi ne atingis, ĝi faris tion prenante iomete pli longe ol la 20-sekunda ĉefa-cela tempo en malplimulto de invokoj.
Dek kvin kazoj tra sep medicinaj fakoj
La kazpanelo kovras sep fakojn — hematologio, endokrinologio, metabola medicino, hepatologio, nefrologio, kardiologio, reŭmatologio — plus du dediĉitajn kazojn de hiperdanĝera kaptilo. Ĉiu kazo estas anonimecigita reala paciento-dosiero el la deponejo de klinikaj datumoj Kantesti sub skribita informita konsento.
De-identigo estis farita laŭ la aliro Safe Harbor: ĉiuj rektaj identigiloj estis forigitaj aŭ anstataŭigitaj, kaj ĉiu dosiero ricevis internan benchmark-kazan kodon en la formato BT-NNN-LABEL. Pretigo estis farita konforme al GDPR Artikolo 9(2)(j) por scienca esplorado kun taŭgaj protektaj rimedoj, kaj la ekvivalentaj provizaĵoj de UK GDPR. Neniu persone identigebla informo aperas ie ajn en la publikigita testinstalaĵo, la teknika raporto, aŭ la eldonitaj datumaroj.
Kial ĝuste tiu ĉi distribuo
Hematologio ricevas tri kazojn, ĉar mikrocitaj diferencialoj kaj makrocitaj diferencialoj estas la plej alt-volumaj kaptiloj en reala laboratoria praktiko. Endokrinologio ricevas tri, ĉar la prezentoj de Hashimoto, PCOS kaj manko de vitamino D ekzercas malsamajn diagnozajn formojn (aŭtoantikorp-movataj, hormon-proporciaj movataj, ununura-signa movata). La unu-kaza specialaĵoj tamen estas signifaj, ĉar ĉiu el CKD, ASCVD-risko kaj SLE havas sian propran poentadsistemon, kiun la motoro devus alvoki (KDIGO-stadiajigo, ASCVD 10-jara risko, 2019 EULAR/ACR SLE-kriterioj respektive).
La antaŭregistrita rubriko, klarigita
Antaŭregistriĝo estas la ununura plej grava metodika elekto en ĉi tiu komparnormo. Ĉiu atendata diagnozo, ĉiu klinika poentadsistemo, kaj ĉiu raporta sekcio estis engaĝitaj al fontkodo antaŭ ol la motoro estis alvokita. Posta alĝustigo de la rubriko por flati la motoron do estas neebla.
Tri komponantoj konsistigas la kompozitan poentaron. La struktura komponanto kontribuas 35 procentojn kaj mezuras ĉu la motoro resendis la sep devigajn raportaĵojn (kaplinio, resumo, ŝlosilaj trovoj, diferencialo, poentadsistemoj, rekomendoj, sekvado) kaj la dek ses devigajn subsekciojn ene de ili. Sekcia ĉeesto pezas 40 procentojn kaj subsekcia ĉeesto pezas 60 procentojn ene de la struktura kalkulo.
La klinika komponanto kontribuas 55 procentojn kaj kombinas tri aferojn: rememoro de diagnoz-ŝlosilvortoj (70 procentoj de la klinika subpoentaro), rememoro de poentadsistemoj (20 procentoj — ĉu la motoro kalkulas Mentzer, FIB-4, HOMA-IR, ASCVD-risko, KDIGO-stadiajigo, EULAR/ACR-kriteriojn kie konvene), kaj validec-kontrolon de probabla sumo (10 procentoj — la diferencialaj probabloj devas sumiĝi ene de la intervalo [90, 110]). Por kaptilaj kazoj, eksplicita hiperdiaĝnosa puno ĝis 0.30 estas subtrahata, kalkulata kiel 0.10 por ĉiu fabrikita patologia flago, limigata al tri flagoj.
La latencia komponanto kontribuas 10 procentojn. Respondo sub 20 sekundoj ricevas la plenan 0.10, respondo sub 40 sekundoj ricevas 0.05, kaj ĉio pli malrapida ricevas nulo. La 20-sekunda celo reflektas la produktadan primaran servonivelan celon; la 40-sekunda plafono reflektas la Fazon 2-rezervbuĝeton por pezaj alvokoj de la motoro.
Kion antaŭregistriĝo malhelpas
Unuflankaj komparnormoj estas fifamaj pro inflado de siaj propraj nombroj per postaj alĝustigoj de la rubriko. La ŝablono preskaŭ ĉiam estas la sama: la teamo rulas la motoron, vidas kie ĝi subefikas, kaj poste trankvile ĝustigas la rubrikon tiel ke la subefikaj areoj kalkulu por malpli. Per tio, ke la rubriko estas engaĝita al fontkodo antaŭ la unua alvoko de la motoro kaj la testilo estas publikigita sub MIT-licenco, tiu alĝustigo fariĝas videbla en versia administrado. Ĉiu povas kloni la deponejon, kontroli la datojn de la rubrik-aŭtoro, kaj konfirmi ke la rezultoj de la motoro ne estis uzataj por formi la poentadon.
Kazoj de hiperdiaĝnoza kaptilo — kial tro-frazo estas la vera fiaskoreĝimo
Akriga tro-alvoko de patologio sur normalaj ekranoj estas dokumentita fiaskomodo de konsumant-orientitaj medicinaj helpantoj. Ĝiaj postaj kostoj inkluzivas nenecesan esploradon, paciencan angoron, kaj iatrogenan laborprilaboron. La du kaptilaj kazoj en ĉi tiu komparnormo estas desegnitaj por fari tiun fiaskomodon videbla kaj poentebla.
🟡 Kaptilo 1 — BT-014-GILBERT
Prezento. 24-jaraĝa viro kun totala bilirubino de 2.4 mg/dL. La rekta frakcio estas normala, transaminazoj kaj alkala fosfatazo troviĝas ene de siaj referencaj intervaloj, retikulocitoj estas nenotindaj, kaj haptoglobino kaj LDH ekskludas hemolizon.
Ĝusta interpretado. La sindromo de Gilbert — bonigna polimorfismo de UGT1A1. La interpretado ne devus alvoki hepatiton, cirozon, hemolizan anemion, aŭ bilian obstrukcon.
Rezulto de v11. Kompona 1.000. Neniu el la ses monitoritaj flagoj de tro-diagnosado aperis kiel aktiva diagnozo.
🟡 Kaptilo 2 — BT-015-HEALTHY
Prezento. 35-jaraĝa virino kun dek kvin-parametra rutina rastruma panelo. Ĉiu analito komforte troviĝas ene de sia referenca intervalo.
Ĝusta interpretado. Trankviligo kaj prizorgado de vivstilo. La interpretado ne devas inventi liman patologion por soni klinike utila.
Rezulto de v11. Komponita 1.000. Neniu el la sep kontrolitaj flagoj pri troa diagnozado — diabeto, anemio, hipotiroidismo, dislipidemio, hepatito, rena malsano, manko — aperis kiel aktivaj diagnozoj.
En ambaŭ testujoj, dek tri kontrolitaj flagoj pri hiperdiaĝnozado estis kontrolitaj. Neniu estis ekigita. Ĉi tio estas la rezulto, kiu plej gravas por iu ajn klinikisto, kiu konsideras uzi AI-motoron kiel triaĝan aŭ antaŭkonsultan ilon: la sistemo ne inventis malsanon, kie neniu ekzistis.
Mentzer-indekso: apartigado de fera manko de talasemio-trajto
Dua altvalora trovo koncernas la parigon de kazo BT-001 (fermanka anemio) kun kazo BT-007 (beta-talasemio minor). Ambaŭ prezentas kun mikrocitozo kaj estas bone konata obstaklo por naivaj klasigiloj. La Mentzer-indekso, kalkulita kiel MCV dividita per RBC-nombro, superas 13 en fermanka anemio kaj falas sub 13 en talasemio-trajto.
En BT-001, la paciento estis 34-jara virino kun hemoglobino 10.4 g/dL, MCV 72.4 fL, RBC 4.1 × 10¹²/L, feritino 6 ng/mL, kaj levita TIBC. La Mentzer-indekso de proksimume 17.7 subtenas absolutan feromankon. En BT-007, la paciento estis 28-jara viro kun mikrocitozo (MCV 65.8 fL) sed alta RBC-nombro de 6.2, normala RDW, normala feritino, kaj HbA2 de 5.6 procentoj. La Mentzer-indekso de proksimume 10.6 indikas talasemio-trajton, kaj la levita HbA2 konfirmas beta-talasemion minor.
Ambaŭ kazoj gajnis 1.000. La motoro eksplicite uzis la Mentzer-indekson en ambaŭ interpretadoj kaj liveris la ĝustan diagnozon en ĉiu okazo. Ĉi tio estas la sola plej klinike trankviliga rezulto en la tuta komparilo, ĉar misklasifiki talasemio-trajton kiel fermanka anemio kondukas al netaŭga feraldono kaj al maltrafitaj ŝancoj por familia ekzamenado, kaj misklasifiki fermankan anemion kiel talasemion prokrastas simpligitan anstataŭan terapion. Nia gvidilo pri feritina gamo klarigas la pli larĝan diferencialan kuntekston.
Rezultoj laŭkaze de la aprilo 2026-rulado
Dek du el dek kvin kazoj atingis la plafonan kompozan poentaron de 1.000 ĉe la primara vojo. Tri kazoj estis servitaj per la Fazo 2-falreĝimo, perdante la 0.05-latentecan gratifikon dum konservante ĉian klinikan kaj strukturan enhavon. Unu kazo mankis unuopan devigan subsekcion; unu resendis marĝene reduktitan probablan distribu-sumon.
La kazo de PCOS (BT-008) perdis unu devigan subsekcion en la responda strukturo — dek kvin el dek ses anstataŭ dek ses el dek ses — kio reduktis la strukturpoentaron de 1.000 al 0.963. La kazo de SLE (BT-011) redonis marĝene reduktitan probablodistribuan sumon, kiu malaltigis la klinikan poentaron al 0.965, konservante ĉiun diagnozan ŝlosilvorton kaj poentadsistemon. Nek el la subperfektaj kazoj maltrafis ĝustan diagnozon.
Kion la ĉefpoentaro ne diras al ni
Komponita poentaro de 99.12 procentoj laŭ ĉi tiu aparta antaŭregistrita rubriko reprezentas preskaŭ-ĉefnivelan agadon, sed ĝi meritas zorgeman kadriĝon. La rezulto priskribas la konduton de la motoro kontraŭ dek kvin zorge elektitaj anonimizitaj kazoj, taksitaj po unufoje, kontraŭ unu sola rubriko. Ni klare diras, kion la nombro faras kaj kion ĝi ne establas.
La poentaro diras, ke la V11-motoro pritraktis la diagnozajn ŝablonojn elektitajn por ĉi tiu taksado ĝuste, laŭ metodaro kiu estas publikigita kaj reproduktebla. Ĝi ne diras, ke la motoro estas ĝusta pri ĉiu sangotesta panelo, kiu ekzistas en la realo. Ĝi ne diras, ke la motoro devus anstataŭigi klinikan juĝon. Kaj ĝi ne diras, ke la motoro superas alternativajn AI-sistemojn — komparaj analizoj kontraŭ aliaj motoroj estis intence ekster la amplekso de ĉi tiu raporto.
Kion la poentaro ja establas, estas bazo. Kun la rubriko kaj testilo publike haveblaj, estontaj versioj de la motoro povas esti taksitaj kontraŭ la samaj dek kvin kazoj, kaj la breĉo inter la publikigita poentaro kaj iu ajn posta rulado estas mem mezurebla. Jen la valoro de antaŭregistrado: ĝi transformas asertojn pri agado en testeblajn asertojn.
Kiel reprodukti ĉi tiun komparnormon en 10 minutoj
Reproduktado postulas nur paron de Kantesti API-atestiloj kaj Python 3.10 aŭ pli posta medio kun la requests kaj reportlab instalitaj bibliotekoj. La plena testilo estas unuopa, memstara Python-modulo publikigita sub la MIT-licenco.
Kvar paŝoj por nova rulo
Unu. Klonu la deponejon: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Du. Instalu dependecojn per pip install -r requirements.txt. Tri. Agordu KANTESTI_USERNAME kaj KANTESTI_PASSWORD kiel mediajn variablojn — akreditaĵoj estas legataj dum rultempo kaj nenio estas fiksita en la skripto. Kvar. Rulu python benchmark_bloodtest.py kaj inspektu la kvar artefaktojn elsenditajn al la labordosierujo: CSV-poentokarteto, JSON-poentokarteto, plena JSON-dump inkluzive de krudaj motoraj respondoj, kaj homlegebla Markdown-raporto.
La referenca rulo de la 23-a de aprilo 2026 estas konservita en la results/ dosierujo de la deponejo. Freŝa rulo generos novan tempomarkitan poentokarteton dum la referenca rulo restas netuŝita. Se via rulo produktas signife malsaman rezulton, bonvolu malfermi GitHub-eldonaĵon kun la tempomarko de la rulo kaj la motorversio resendita en la responda metadato.
Limigoj kaj estonta laboro
Kvar limigoj meritas eksplicitan agnoskon: prova grandeco, unufoja taksado, unu-motora amplekso, kaj unu-fonta origino de datumoj. Ĉiu el ili estas traktata en aktiva sekva laboro.
Prova grandeco. Dek kvin kazoj tra ok specialaj kategorioj sufiĉas por pruvo de koncepto, sed ne por subgrupa analizo ene de specialaĵo. Plivastigo al kvindek kazoj estas planita kaj inkluzivos koaguliĝajn panelojn, ekranadon por hematologiaj malignancoj, gravedajn panelojn, kaj pediatriajn prezentojn.
Unufoja taksado. Ĉiu kazo estis taksita unufoje. Grandaj lingvomodeloj montras ne-trivialan variadon de eligo eĉ ĉe malalta prova temperaturo, do plur-rula protokolo kun kvin taksadoj por kazo kaj raportita varianco estas natura sekva paŝo.
Unu-motora amplekso. Ĉi tiu raporto karakterizas unu motoron. Komparaj analizoj kontraŭ alternativaj AI-sistemoj estas ekster la amplekso ĉi tie; ni povas okupiĝi pri ili kiel aparta sendependa studo kun taŭga metodaro.
Unu-fonta origino de datumoj. La dek kvin kazoj estas anonimecitaj realaj pacientaj registroj el ununura klinika deponejo. Ili reprezentas kuracitan specimenon kaj ne estas hazarda tirado reprezentanta la populacion. Etendi la taksadon al plurcentra datumaro estas en la vojo.
La plej efika planita etendo estas plurlingva egalecon. La Kantesti AI Engine servas uzantojn en 75+ lingvoj, kaj ruli la saman dek kvin-kazan testilon en turka, germana, hispana, franca kaj araba kvantigos la kvaliton de eligo tra la subtenataj lingvoj de la motoro. Ni publikigos ĉiun lingvo-specifan ruliĝon kun sia propra DOI kaj testila branĉo.