Per què existeix aquest benchmark i què prova
L’AI-assisted blood test interpretation s’utilitza cada cop més en fluxos de treball de consum i clínics, però els marcs d’avaluació reproduïbles adaptats a la medicina de laboratori continuen sent poc habituals. Les preguntes que més importen en aquest context no són les que cobreixen els benchmarks generals de resposta a preguntes mèdiques: pot un engine separar la deficiència de ferro de la característica de talassèmia quan el volum corpuscular mitjà és idèntic, sobrediagnostica la síndrome de Gilbert com a hepatitis, i fabrica patologia en un panell de cribratge completament normal?
Un sol panell d’anàlisi de sang típicament conté prou senyal per donar suport a diverses interpretacions competidores, i la feina del clínic que interpreta és ponderar aquestes interpretacions entre si, en lloc de recuperar una resposta de manual. Un motor que va bé en casos de llibre pot continuar fallant en els casos que més importen: els paranys de diagnòstic diferencial, les variants benignes que semblen alarmants quan es consideren aïlladament i els panells plenament normals que tempten els assistents segurs a fabricar patologia.
Aquest benchmark es va construir precisament al voltant d’aquests modes de fallada. Cada un dels quinze casos es va seleccionar per una propietat diagnòstica específica: una microcitosi per dèficit de ferro que cal mantenir diferenciada d’un tret de beta-talassèmia amb un volum corpuscular mitjà idèntic, una presentació de síndrome de Gilbert on l’única anormalitat és una hiperbilirubinèmia indirecta aïllada, i un panell de cribratge de quinze paràmetres en què cada analit se situa dins del seu rang de referència. La rúbrica premia els motors que llegeixen cada cas en els seus propis termes i penalitza els motors que s’avancen a un diagnòstic segur quan no es justifica cap diagnòstic d’aquest tipus.
Com a Thomas Klein, MD, vaig seleccionar el panell de casos perquè són els patrons que veig que els assistents de medicina de laboratori s’equivoquen més sovint. El mode de fallada car no és "passar per alt una malaltia rara": és fabricar patologia rutinària en pacients que no la tenen. El nostre Validació mèdica hub descriu el marc més ampli; aquesta pàgina descriu el seu resultat aplicat a l’enginy V11.
Última execució de referència — V11 (abril de 2026)
L’execució de referència d’abril de 2026 de l’Kantesti AI Engine V11 va produir una puntuació composta de 99.12% a la rúbrica pre-registrada de quinze casos. Ambdós casos del parany d’hiperdiagnosi van puntuar al sostre. L’índex de Mentzer es va aplicar correctament en el diferencial entre dèficit de ferro i talassèmia.
La fórmula composta combina tres components: conformitat estructural amb les set seccions de notificació obligatòries i setze subseccions obligatòries, precisió clínica mesurada com a recuperació de paraules clau més recuperació del sistema de puntuació més una comprovació de validesa de la distribució de probabilitat, i latència de resposta en relació amb l’objectiu principal de nivell de servei de 20 segons. La descomposició exacta es mostra a la fórmula de la rúbrica següent.
Les 0,88 punts percentuals restants de marge lliure es descomponen gairebé íntegrament en pèrdua de latència: tres invocacions de reserva de la fase 2, cadascuna amb un -0,05 compost, van aportar aproximadament 0,60 dels 0,88 punts de dèficit; en lloc de contingut clínic. El motor no va fallar cap diagnòstic correcte en cap dels quinze casos; quan va quedar curt, ho va fer perquè va trigar una mica més que l’objectiu principal de 20 segons en una petita minoria d’invocacions.
Quince casos de set especialitats mèdiques
El panell de casos cobreix set especialitats: hematologia, endocrinologia, medicina metabòlica, hepatologia, nefrologia, cardiologia i reumatologia, a més de dos casos dedicats de trampa de hiperdetecció. Cada cas és un registre real de pacient anonimitzat, extret del repositori de dades clíniques Kantesti, amb consentiment informat per escrit.
La desidentificació es va dur a terme amb l’enfocament Safe Harbor: es van eliminar o substituir tots els identificadors directes, i a cada registre se li va assignar un codi intern de cas de referència en el format BT-NNN-LABEL. El processament es va fer d’acord amb l’article 9(2)(j) del GDPR per a recerca científica amb salvaguardes adequades i les disposicions equivalents del GDPR del Regne Unit. No apareix cap informació personalment identificable enlloc del banc publicat, l’informe tècnic ni els conjunts de dades alliberats.
Per què aquesta distribució en particular
La hematologia obté tres casos perquè els diferencials microcítics i els diferencials macrocítics són els paranys de major volum en la pràctica real de laboratori. L’endocrinologia n’obté tres perquè les presentacions de la malaltia de Hashimoto, la SOP i la deficiència de vitamina D fan exercitar formes diagnòstiques diferents (impulsades per autoanticossos, impulsades per la relació hormonal i impulsades per un sol marcador). Les especialitats d’un sol cas encara són significatives perquè cadascuna de la ERC, el risc d’ASCVD i l’LES té el seu propi sistema de puntuació que l’engine hauria d’invocar (respectivament, estadificació KDIGO, risc a 10 anys d’ASCVD i criteris d’LES EULAR/ACR 2019).
El barem pre-registrat, explicat
El preregistre és la decisió metodològica més important d’aquest benchmark. Cada diagnòstic esperat, cada sistema de puntuació clínica i cada secció de l’informe es van comprometre al codi font abans que s’invoqués l’engine. Per tant, no és possible ajustar a posteriori la rúbrica per afalagar l’engine.
Tres components formen la puntuació composta. El component estructural contribueix amb el 35% i mesura si l’engine va retornar les set seccions obligatòries de l’informe (capçalera, resum, troballes clau, diferencial, sistemes de puntuació, recomanacions, seguiment) i les setze subseccions obligatòries dins d’aquestes. La presència de seccions pesa un 40% i la presència de subseccions pesa un 60% dins del càlcul estructural.
El component clínic contribueix amb el 55% i combina tres coses: record de paraules clau del diagnòstic (70% del subròs clínic), record del sistema de puntuació (20% — si l’engine calcula Mentzer, FIB-4, HOMA-IR, el risc d’ASCVD, l’estadificació KDIGO i els criteris EULAR/ACR quan sigui rellevant), i una comprovació de validesa de suma de probabilitats (10% — les probabilitats del diferencial s’han de sumar dins l’interval [90, 110]). En casos parany, es resta una penalització explícita d’hiperdiagnosi de fins a 0,30, calculada com 0,10 per cada bandera de patologia fabricada, amb un límit de tres banderes.
El component de latència contribueix amb el 10%. Una resposta de menys de 20 segons obté el 0,10 complet, una resposta de menys de 40 segons obté 0,05, i qualsevol cosa més lenta obté zero. L’objectiu de 20 segons reflecteix l’objectiu de nivell de servei del servei primari de producció; el sostre de 40 segons reflecteix el pressupost de reserva de la Fase 2 per a invocacions pesades de l’engine.
Què evita el preregistre
Els benchmarks de primera part són famosos per inflar els seus propis resultats mitjançant l’ajust a posteriori de la rúbrica. El patró gairebé sempre és el mateix: l’equip executa l’engine, veu on no assoleix el rendiment, i després ajusta tranquil·lament la rúbrica perquè les àrees que no rendeixen comptin menys. En comprometre la rúbrica al codi font abans de la primera crida a l’engine i publicar el banc sota llicència MIT, aquest ajust es fa visible en el control de versions. Qualsevol pot clonar el repositori, comprovar les dates d’autoria de la rúbrica i verificar que els resultats de l’engine no es van utilitzar per donar forma a la puntuació.
Casos trampa d’hiperdiagnosi — per què el veritable mode de fallada és sobreanomenar
L’atribució agressiva de patologia en pantalles normals és un mode de fallada documentat de les assistències mèdiques orientades al consumidor. Els costos derivats inclouen investigació innecessària, ansietat del pacient i exploració i tractament iatrogènics. Els dos casos parany d’aquest benchmark estan dissenyats per fer visible i puntuable aquest mode de fallada.
🟡 Parany 1 — BT-014-GILBERT
Presentació. Un home de 24 anys amb una bilirrubina total de 2,4 mg/dL. La fracció directa és normal, les transaminases i la fosfatasa alcalina estan dins dels seus intervals de referència, els reticulòcits no presenten res destacable i la haptoglobina i la LDH descarten l’hemòlisi.
Interpretació correcta. La síndrome de Gilbert — una polimorfisme benigna de l’UGT1A1. La interpretació no hauria d’invocar hepatitis, cirrosi, anèmia hemolítica ni obstrucció biliar.
Resultat V11. Composta 1.000. Cap de les sis banderes de sobre-diagnosi monitoritzades va aparèixer com a diagnòstic actiu.
🟡 Parany 2 — BT-015-SALUDABLE
Presentació. Una dona de 35 anys amb un panell rutinari de cribratge de quinze paràmetres. Tots els analits estan còmodament dins del seu interval de referència.
Interpretació correcta. Tranquil·lització i manteniment de l’estil de vida. La interpretació no hauria de fabricar patologia limítrofa per semblar clínicament útil.
Resultat V11. Composició 1.000. Cap de les set alertes de sobre-diagnòstic monitoritzades —diabetis, anèmia, hipotiroïdisme, dislipidèmia, hepatitis, malaltia renal, dèficit— va aparèixer com a diagnòstic actiu.
En ambdós paranys, es van revisar tretze alertes de hiperdetecció monitoritzades. No se’n va activar cap. Aquest és el resultat que més importa per a qualsevol clínic que consideri utilitzar un motor d’IA com a eina de triatge o de pre-consulta: el sistema no va inventar cap malaltia quan no n’hi havia.
Índex de Mentzer: separar la deficiència de ferro de la característica de la talassèmia
Un segon resultat d’alt valor es refereix a l’associació del cas BT-001 (anèmia ferropènica) amb el cas BT-007 (beta-talassèmia menor). Tots dos presenten microcitosi i són un entrebanc ben conegut per als classificadors poc experts. L’índex de Mentzer, calculat com el MCV dividit pel recompte de RBC, supera 13 en la deficiència de ferro i cau per sota de 13 en el tret de talassèmia.
A BT-001, la pacient era una dona de 34 anys amb hemoglobina 10,4 g/dL, MCV 72,4 fL, RBC 4,1 × 10¹²/L, ferritina 6 ng/mL i TIBC elevat. L’índex de Mentzer d’aproximadament 17,7 recolza una deficiència absoluta de ferro. A BT-007, el pacient era un home de 28 anys amb microcitosi (MCV 65,8 fL) però un recompte alt de RBC de 6,2, RDW normal, ferritina normal i HbA2 de 5,6 per cent. L’índex de Mentzer d’aproximadament 10,6 apunta al tret de talassèmia, i l’HbA2 elevat confirma la beta-talassèmia menor.
Ambdós casos van obtenir una puntuació d’1.000. El motor va invocar explícitament l’índex de Mentzer en les dues interpretacions i va retornar el diagnòstic correcte en cada cas. Aquest és el resultat únic que més tranquil·litza clínicament de tot el benchmark, perquè classificar erròniament el tret de talassèmia com a deficiència de ferro condueix a una suplementació de ferro inadequada i a oportunitats perdudes de cribratge familiar, i classificar erròniament la deficiència de ferro com a talassèmia retarda una teràpia de substitució senzilla. El nostre guia del rang de ferritina explica el context diferencial més ampli.
Resultats per cas de l’execució d’abril de 2026
Dotze de quinze casos van assolir el sostre de la puntuació composta d’1.000 en la via principal. Tres casos es van servir mitjançant el mecanisme de reserva de la Fase 2, perdent el bonus de latència de 0,05 mentre es preservava tot el contingut clínic i estructural. Un cas no tenia una subsecció obligatòria; un altre va retornar una suma de distribució de probabilitat lleugerament reduïda.
El cas de la PCOS (BT-008) va perdre una única subsecció obligatòria en l’estructura de la resposta — quinze de setze en lloc de setze de setze — cosa que va reduir la puntuació estructural de 1,000 a 0,963. El cas de l’SLE (BT-011) va retornar una suma de probabilitats lleugerament reduïda que va fer baixar la puntuació clínica fins a 0,965, tot preservant cada paraula clau diagnòstica i el sistema de puntuació. Cap dels dos casos no perfectes va fallar un diagnòstic correcte.
El que la puntuació del titular no ens diu
Una puntuació composta del 99,12 per cent en aquesta rúbrica preinscrita concreta representa un rendiment gairebé al sostre, però mereix una contextualització acurada. El resultat descriu el comportament del motor enfront de quinze casos anonimitzats seleccionats amb cura, avaluats una sola vegada cadascun, segons una única rúbrica. Expliquem de manera explícita què estableix i què no estableix el nombre.
La puntuació diu que el motor V11 va gestionar correctament els patrons diagnòstics seleccionats per a aquesta avaluació, amb una metodologia publicada i reproduïble. No diu que el motor sigui correcte en cada panell d’anàlisi de sang que existeix al món real. No diu que el motor hagi de substituir el criteri clínic. I tampoc diu que el motor superi altres sistemes d’IA — les anàlisis comparatives amb altres motors van quedar deliberadament fora de l’abast d’aquest informe.
El que sí que estableix la puntuació és una línia de base. Amb la rúbrica i el banc de proves fets públics, les versions futures del motor es poden avaluar contra els mateixos quinze casos, i la diferència entre la puntuació publicada i qualsevol execució posterior és, alhora, mesurable. Aquest és el valor de la preinscripció: converteix les afirmacions de rendiment en afirmacions comprovables.
Com reproduir aquest benchmark en 10 minuts
La reproducció només requereix un parell de credencials d’API Kantesti i un entorn de Python 3.10 o posterior amb el requests i reportlab biblioteques instal·lades. El banc de proves complet és un únic mòdul de Python autònom, publicat sota la llicència MIT.
Quatre passos per a una execució nova
Un. Clona el repositori: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Dos. Instal·la les dependències amb pip install -r requirements.txt. Tres. Defineix KANTESTI_USERNAME i KANTESTI_PASSWORD com a variables d’entorn — les credencials es llegeixen en temps d’execució i no es codifica res de manera fixa al script. Quatre. Executa python benchmark_bloodtest.py i inspecciona els quatre artefactes emesos al directori de treball: un scorecard CSV, un scorecard JSON, un abocament JSON complet incloent respostes crues de l’engine, i un informe Markdown llegible per humans.
La execució de referència de l’23 d’abril de 2026 es conserva a la carpeta results/ del repositori. Una execució nova generarà un nou scorecard amb marca de temps mentre deixa la execució de referència intacta. Si la teva execució produeix un resultat significativament diferent, obre un issue de GitHub amb la marca de temps de l’execució i la versió de l’engine retornada a les metadades de la resposta.
Limitacions i treball futur
Quatre limitacions mereixen un reconeixement explícit: mida de la mostra, avaluació d’una sola vegada, abast d’un sol engine i origen de dades d’una sola font. Totes s’estan abordant en treball de seguiment actiu.
Mida de la mostra. Quinze casos en vuit categories d’especialitat és suficient per a una prova de concepte però no per a l’anàlisi per subgrups dins d’una especialitat. Es preveu ampliar a cinquanta casos i s’hi inclouran panells de coagulació, cribratge de malignitats hematològiques, panells d’embaràs i presentacions pediàtriques.
Avaluació d’una sola vegada. Cada cas es va avaluar una sola vegada. Els models de llenguatge gran mostren una variància de sortida no trivial fins i tot a baixa temperatura de mostreig, de manera que un protocol de múltiples execucions amb cinc avaluacions per cas i la variància reportada és el següent pas natural.
Abast d’un sol engine. Aquest informe caracteritza un sol engine. Les anàlisis comparatives contra sistemes d’IA alternatius queden fora de l’abast aquí; podem perseguir-les com un estudi independent separat amb la metodologia adequada.
Origen de dades d’una sola font. Els quinze casos són registres reals de pacients anonimitzats extrets d’un únic repositori clínic. Representen una mostra curada i no són una selecció aleatòria representativa de la població. L’extensió de l’avaluació a dades multicentre està en el full de ruta.
L’extensió planificada més impactant és la paritat multilingüe. L’Kantesti AI Engine ofereix servei a usuaris en 75+ idiomes, i executar el mateix banc de proves de quinze casos en turc, alemany, espanyol, francès i àrab quantificarà la qualitat de la sortida a través dels idiomes suportats per l’engine. Publicarem cada execució específica de cada idioma amb el seu propi DOI i la branca del banc de proves.