Por que existe este benchmark e que proba
A interpretación de análise de sangue con IA asistida cada vez se usa máis en fluxos de traballo de consumo e clínicos, pero seguen sendo pouco comúns os marcos de avaliación reproducibles adaptados á medicina de laboratorio. As preguntas que máis importan neste contexto non son as que se cobren cos benchmarks xerais de preguntas e respostas médicas: pode un motor separar a deficiencia de ferro da característica de talasemia cando o volume corpuscular medio é idéntico, diagnostica en exceso o síndrome de Gilbert como hepatite e fabrica patoloxía nun panel de cribado totalmente normal?
Un único panel de análises de sangue adoita conter sinal suficiente para sustentar varias interpretacións competidoras, e o traballo do/a clínico/a intérprete é ponderar esas interpretacións entre si, en lugar de recuperar unha resposta de manual. Un motor que se desempeña ben en casos de libro aínda pode fallar nos casos que máis importan: as trampas de diagnósticos diferenciais, as variantes benignas que, vistas illadamente, parecen alarmantes, e os paneis totalmente normais que tentan asistentes seguros a fabricar patoloxía.
Este benchmark construíuse precisamente arredor deses modos de fallo. Cada un dos quince casos foi seleccionado por unha propiedade diagnóstica concreta: unha microcitose por deficiencia de ferro que debe manterse distinta dunha traza de beta-talassemia con volume corpuscular medio idéntico, unha presentación de síndrome de Gilbert na que a única anormalidade é unha hiperbilirrubinemia indirecta illada, e un panel de cribado de quince parámetros no que cada analito se sitúa dentro do seu intervalo de referencia. O baremo premia os motores que len cada caso nos seus propios termos e penaliza os motores que se lanzan a un diagnóstico seguro cando non se xustifica tal diagnóstico.
Como Thomas Klein, MD, seleccionei o panel de casos porque son os patróns que vexo que os asistentes de medicina de laboratorio equivocan con máis frecuencia. O modo de fallo caro non é "perder unha enfermidade rara": é fabricar patoloxía rutinaria en pacientes que non a teñen. O noso Validación médica hub describe o marco máis amplo; esta páxina describe o seu resultado aplicado no motor V11.
Última execución de referencia — V11 (abril de 2026)
A execución de referencia de abril de 2026 do Kantesti AI Engine V11 produciu unha puntuación composta de 99.12% no baremo pre-rexistrado de quince casos. Ambos casos trampa de hiperdianóstico puntuaron no teito. O índice de Mentzer aplicouse correctamente no diferencial ferrodeficiencia fronte a talasemia.
A fórmula composta combina tres compoñentes: conformidade estrutural coas sete seccións de informe obrigatorias e dezaseis subseccións obrigatorias, precisión clínica medida como recuperación de palabras clave máis recuperación do sistema de puntuación máis unha comprobación de validez da distribución de probabilidades, e latencia de resposta fronte ao obxectivo principal de nivel de servizo de 20 segundos. A descomposición exacta móstrase na fórmula do baremo de abaixo.
As restantes 0,88 puntos porcentuais de marxe libre descomponse case por completo en perda de latencia: tres invocacións de reserva da Fase 2, cada unha con -0,05 composta, achegaron aproximadamente 0,60 dos 0,88 puntos de déficit, en vez de contido clínico. O motor non fallou un diagnóstico correcto en ningún dos quince casos; onde quedou curto, foi ao tardar lixeiramente máis que o obxectivo primario de 20 segundos nunha pequena minoría de invocacións.
Quince casos en sete especialidades médicas
O panel de casos abrangue sete especialidades — hematoloxía, endocrinoloxía, medicina metabólica, hepatoloxía, nefroloxía, cardioloxía, reumatoloxía — ademais de dous casos dedicados de trampa de hiperdetección. Cada caso é un rexistro real anonimizado dun paciente, extraído do repositorio de datos clínicos Kantesti baixo consentimento informado por escrito.
A desidentificación realizouse baixo o enfoque Safe Harbor: elimináronse ou substituíronse todos os identificadores directos, e a cada rexistro asignóuselle un código de caso interno de referencia no formato BT-NNN-LABEL. O procesamento realizouse de acordo con Artigo 9(2)(j) do RGPD para investigación científica con salvagardas adecuadas, e as disposicións equivalentes do RGPD do Reino Unido. Non aparece ningunha información persoalmente identificable en ningunha parte do banco de probas publicado, do informe técnico nin dos conxuntos de datos liberados.
Por que esta distribución en particular
A hematoloxía recibe tres casos porque os diagnósticos diferenciais microcíticos e macrocíticos son as trampas de maior volume na práctica real de laboratorio. A endocrinoloxía recibe tres porque as presentacións de Hashimoto, SOP e deficiencia de vitamina D exercen formas diagnósticas distintas (impulsadas por autoanticorpos, impulsadas por razóns hormonais, impulsadas por un único marcador). As especialidades de caso único seguen sendo significativas porque cada unha de CKD, risco de ASCVD e SLE ten o seu propio sistema de puntuación que o motor debe invocar (estadificación KDIGO, risco a 10 anos de ASCVD, e criterios SLE 2019 EULAR/ACR, respectivamente).
O baremo preinscrito, explicado
O rexistro previo é a elección metodolóxica máis importante neste benchmark. Cada diagnóstico esperado, cada sistema de puntuación clínica e cada sección do informe foron comprometidos a código fonte antes de que se invocase o motor. O axuste post-hoc da rúbrica para favorecer o motor, polo tanto, é imposible.
Tres compoñentes forman a puntuación composta. O compoñente estrutural contribúe co 35 por cento e mide se o motor devolveu as sete seccións obrigatorias do informe (cabeceira, resumo, achados clave, diferencial, sistemas de puntuación, recomendacións, seguimento) e as dezaseis subseccións obrigatorias dentro delas. A presenza de seccións pesa un 40 por cento e a presenza de subseccións pesa un 60 por cento dentro do cálculo estrutural.
O/A compoñente clínico contribúe co 55 por cento e combina tres cousas: lembranza de palabras clave do diagnóstico (70 por cento da subpuntuación clínica), lembranza do sistema de puntuación (20 por cento — se o motor calcula Mentzer, FIB-4, HOMA-IR, risco de ASCVD, estadificación KDIGO, criterios EULAR/ACR cando corresponda), e unha verificación de validez da suma de probabilidades (10 por cento — as probabilidades do diferencial deben sumar dentro do intervalo [90, 110]). Para casos trampa, restase unha penalización explícita de hiperdianóstico de ata 0,30, calculada como 0,10 por cada bandeira de patoloxía fabricada, con límite de tres bandeiras.
O/A compoñente de latencia contribúe co 10 por cento. Unha resposta por debaixo de 20 segundos obtén a puntuación completa de 0,10, unha resposta por debaixo de 40 segundos obtén 0,05, e calquera cousa máis lenta obtén cero. O obxectivo de 20 segundos reflicte o obxectivo de nivel de servizo do servizo primario de produción; o teito de 40 segundos reflicte o orzamento de respaldo da Fase 2 para invocacións pesadas do motor.
O que evita o rexistro previo
Os benchmarks de primeira parte son notorios por inflar os seus propios números mediante axustes post-hoc da rúbrica. O patrón é case sempre o mesmo: o equipo executa o motor, ve onde falla, e despois axusta en silencio a rúbrica para que as áreas que fallan conten menos. Ao comprometer a rúbrica a código fonte antes da primeira chamada ao motor e publicar o arnés baixo licenza MIT, ese axuste faise visible no control de versións. Calquera pode clonar o repositorio, comprobar as datas de autoría da rúbrica e verificar que os resultados do motor non se usaron para dar forma á puntuación.
Casos trampa de hiperdianóstico: por que a sobrechamada é o verdadeiro modo de fallo
O sobrediagnóstico agresivo de patoloxía en pantallas normais é un modo de fallo documentado de asistentes médicos orientados ao consumidor. Os seus custos posteriores inclúen investigación innecesaria, ansiedade do paciente e traballo iatroxénico. Os dous casos trampa deste benchmark están deseñados para facer visible e puntuable ese modo de fallo.
🟡 Trampa 1 — BT-014-GILBERT
Presentación. Un home de 24 anos cunha bilirrubina total de 2,4 mg/dL. A fracción directa é normal, as transaminases e a fosfatase alcalina están dentro dos seus intervalos de referencia, os reticulocitos non presentan particularidades e a haptoglobina e a LDH descartan a hemólise.
Interpretación correcta. Síndrome de Gilbert — unha polimorfia benigna de UGT1A1. A interpretación non debe invocar hepatite, cirrose, anemia hemolítica nin obstrución biliar.
Resultado V11. Composta 1.000. Ningunha das seis bandeiras de sobrediagnóstico monitorizadas apareceu como diagnóstico activo.
🟡 Trampa 2 — BT-015-SAUDABLE
Presentación. Unha muller de 35 anos cun panel rutinario de cribado de quince parámetros. Cada analito está cómodamente dentro do seu intervalo de referencia.
Interpretación correcta. Tranquilidade e mantemento do estilo de vida. A interpretación non debe fabricar patoloxía limítrofe para parecer clinicamente útil.
Resultado V11. Composto 1.000. Ningunha das sete alertas de sobrediagnóstico monitorizadas — diabetes, anemia, hipotiroidismo, dislipidemia, hepatite, enfermidade renal, deficiencia — apareceu como diagnóstico activo.
En ambas as dúas trampas, revisáronse trece alertas de hiperdianóstico monitorizadas. Non se activou ningunha. Este é o resultado que máis importa para calquera clínico que estea considerando usar un motor de IA como ferramenta de triaxe ou de preconsulta: o sistema non inventou enfermidade onde non existía.
Índice de Mentzer: separar a deficiencia de ferro da traza de talasemia
Un segundo achado de alto valor está relacionado co emparellamento do caso BT-001 (anemia ferropénica) co caso BT-007 (beta-talassemia menor). Ambos presentan microcitose e son un atranco ben coñecido para clasificadores inxenuos. O índice de Mentzer, calculado como MCV dividido polo reconto de RBC, supera 13 na deficiencia de ferro e cae por debaixo de 13 na característica de talasemia.
En BT-001, a paciente era unha muller de 34 anos con hemoglobina 10,4 g/dL, MCV 72,4 fL, RBC 4,1 × 10¹²/L, ferritina 6 ng/mL e TIBC elevado. O índice de Mentzer de aproximadamente 17,7 apoia a deficiencia absoluta de ferro. En BT-007, o paciente era un home de 28 anos con microcitose (MCV 65,8 fL) pero un reconto alto de RBC de 6,2, RDW normal, ferritina normal e HbA2 do 5,6 por cento. O índice de Mentzer de aproximadamente 10,6 apunta á característica de talasemia, e a HbA2 elevada confirma a beta-talassemia menor.
Ambos casos obtiveron 1.000. O motor invocou o índice de Mentzer de forma explícita en ambas as interpretacións e devolveu o diagnóstico correcto en cada caso. Este é o resultado máis tranquilizador a nivel clínico de todo o benchmark, porque clasificar erradamente a característica de talasemia como deficiencia de ferro leva a unha suplementación inadecuada con ferro e a oportunidades perdidas de cribado familiar, e clasificar erradamente a deficiencia de ferro como talasemia atrasa a terapia de substitución, que é directa. O noso guía de rangos de ferritina explica o contexto diferencial máis amplo.
Resultados por caso da execución de abril de 2026
Doce de quince casos acadaron o teito da puntuación composta de 1.000 na ruta primaria. Tres casos foron servidos mediante o fallback da Fase 2, perdendo o bono de latencia de 0,05 mentres se preservaba todo o contido clínico e estrutural. Un caso carecía dunha única subsección obrigatoria; un devolveu unha suma de distribución de probabilidade lixeiramente reducida.
O caso de PCOS (BT-008) perdeu unha única subsección obrigatoria na estrutura da resposta — quince de dezaseis en vez de dezaseis de dezaseis — o que reduciu a puntuación estrutural de 1,000 a 0,963. O caso de SLE (BT-011) devolveu unha suma de probabilidade-distribución lixeiramente reducida que baixou a puntuación clínica a 0,965, mantendo cada palabra clave diagnóstica e o sistema de puntuación. Ningún dos dous casos non perfectos perdeu un diagnóstico correcto.
O que non nos di a puntuación do titular
Unha puntuación composta do 99,12 por cento baixo esta rúbrica pre-rexistrada concreta representa un rendemento moi próximo ao teito, pero merece unha contextualización coidadosa. O resultado describe o comportamento do motor fronte a quince casos anonimizados coidadosamente seleccionados, avaliados unha vez cada un, fronte a unha única rúbrica. Somos explícitos sobre o que o número si e o que non establece.
A puntuación di que o motor V11 xestionou correctamente os patróns diagnósticos seleccionados para esta avaliación, cunha metodoloxía publicada e reproducible. Non di que o motor sexa correcto en cada panel de análise de sangue que existe no mundo real. Non di que o motor deba substituír o criterio clínico. E tampouco di que o motor supere sistemas alternativos de IA — as análises comparativas con outros motores quedaron deliberadamente fóra do alcance deste informe.
O que si establece a puntuación é unha liña de base. Coa rúbrica e o banco de probas públicos, as versións futuras do motor poden avaliarse cos mesmos quince casos, e a diferenza entre a puntuación publicada e calquera execución posterior é, por si mesma, medible. Este é o valor da preinscrición: converte as afirmacións de rendemento en afirmacións comprobables.
Como reproducir este benchmark en 10 minutos
A reproducibilidade require só un par de credenciais de API Kantesti e un entorno de Python 3.10 ou posterior co requests e reportlab bibliotecas instaladas. O banco de probas completo é un único módulo de Python autocontido, publicado baixo a licenza MIT.
Catro pasos para unha execución nova
Un. Clona o repositorio: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Dous. Instala as dependencias con pip install -r requirements.txt. Tres. Define KANTESTI_USERNAME e KANTESTI_PASSWORD como variables de entorno: as credenciais léense en tempo de execución e non se codifica nada de forma fixa no script. Catro. Executa python benchmark_bloodtest.py e inspecciona os catro artefactos emitidos no directorio de traballo: un scorecard CSV, un scorecard JSON, un volcado JSON completo que inclúe as respostas crúas do motor e un informe en Markdown lexible para humanos.
A execución de referencia do 23 de abril de 2026 consérvase en results/ no directorio do repositorio. Unha execución nova xerará un novo scorecard con marca de tempo, deixando a execución de referencia intacta. Se a túa execución produce un resultado de forma significativamente diferente, por favor abre un issue en GitHub coa marca de tempo da execución e a versión do motor devolta nos metadatos da resposta.
Limitacións e traballo futuro
Catro limitacións merecen un recoñecemento explícito: tamaño da mostra, avaliación dunha soa vez, alcance dun só motor e orixe dos datos dunha soa fonte. Cada unha está a ser abordada en traballo de seguimento activo.
Tamaño da mostra. Quince casos en oito categorías de especialidade son suficientes para unha proba de concepto, pero non para análise por subgrupos dentro dunha especialidade. Está prevista a ampliación a cincuenta casos e incluirá paneis de coagulación, cribado de malignidades hematolóxicas, paneis de embarazo e presentacións pediátricas.
Avaliación dunha soa vez. Cada caso foi avaliado unha única vez. Os modelos de linguaxe grande presentan unha variación de saída non trivial incluso a baixa temperatura de mostreo, polo que un protocolo de múltiples execucións con cinco avaliacións por caso e a variación reportada é un seguinte paso natural.
Alcance dun só motor. Este informe caracteriza un único motor. As análises comparativas fronte a sistemas de IA alternativos quedan fóra do alcance aquí; poderiamos abordalas como un estudo independente separado con metodoloxía adecuada.
Orixe dos datos dunha soa fonte. Os quince casos son rexistros reais anonimizados de pacientes, extraídos dun único repositorio clínico. Representan unha mostra curada e non son unha selección aleatoria representativa da poboación. Estender a avaliación a datos de múltiples centros está no plan de traballo.
A extensión planificada máis impactante é a paridade multilingüe. O motor de IA Kantesti serve usuarios en 75+ idiomas, e executar o mesmo arnés de quince casos en turco, alemán, español, francés e árabe cuantificará a calidade da saída nos idiomas soportados polo motor. Publicaremos cada execución específica de idioma co seu propio DOI e coa súa rama de arnés.