Неге бұл эталон бар және ол нені тексереді
AI көмегімен қан анализін қалай оқу керек барған сайын тұтынушылық және клиникалық жұмыс процестерінде қолданыла бастады, алайда зертханалық медицинаға бейімделген, қайта өндіруге болатын бағалау құрылымдары әлі де сирек. Бұл контекстте ең маңызды сұрақтар жалпы медициналық сұрақ-жауап эталондары қамтитын сұрақтар емес: орташа корпускулалық көлем (MCV) бірдей болғанда қозғалтқыш темір тапшылығын талассемия белгілерінен ажырата ала ма, Гилберт синдромын гепатит ретінде артық диагноз қоя ма, және толық қалыпты скрининг панелінде патологияны «жасай» ма?
Бір ғана қан талдауы панелі әдетте бірнеше бәсекелес түсіндіруді қолдауға жеткілікті сигнал береді, ал оны түсіндіретін клиницистің міндеті сол түсіндірулерді бір-бірімен салыстырып таразылау болып табылады, оқулықтағы дайын жауапты іздеп табу емес. Оқулықтағы жағдайларда жақсы нәтиже көрсететін қозғалтқыш маңыздырақ болып саналатын жағдайларда әлі де сәтсіздікке ұшырауы мүмкін: дифференциалды диагностикадағы қателік тұзақтары, оқшау қарағанда дабылдай көрінетін, бірақ қатерсіз нұсқалар және сенімді көмекшілерді патологияны «жасауға» итермелейтін толық қалыпты панельдер.
Бұл бенчмарк дәл сол сәтсіздік режимдеріне негізделіп жасалды. Он бес жағдайдың әрқайсысы нақты бір диагностикалық қасиет үшін таңдалды: орташа эритроцит көлемі бірдей бета-талассемия белгілерімен шатастырылмауы тиіс темір тапшылығынан болатын микроцитоз; жалғыз ғана ауытқуы оқшауланған жанама гипербилирубинемия болып табылатын Гилберт синдромының көрінісі; және әрбір көрсеткіші өз анықтамалық диапазонының ішінде тұрған он бес параметрлі скрининг панелі. Бағалау өлшемі әр жағдайды өз мәнмәтінімен оқитын қозғалтқыштарды марапаттайды және мұндай диагноз негізделмеген кезде сенімді диагнозға «жүгінетін» қозғалтқыштарды жазалайды.
MD дәрігер Томас Клейн ретінде мен жағдайлар панелін таңдадым, өйткені зертханалық-медицина көмекшілері ең жиі қателесетін үлгілер осы. Қымбат сәтсіздік режимі "сирек ауруды жіберіп алу" емес — оны жоқ пациенттерде әдеттегі патологияны ойдан шығару. Біздің Медициналық валидация hub кеңірек негіздемені сипаттайды; бұл бет оның V11 қозғалтқышындағы қолданылған нәтижесін сипаттайды.
Ең соңғы эталондық іске қосу — V11 (2026 жылғы сәуір)
2026 жылғы сәуірдегі Kantesti AI Engine V11 референстік іске қосылымы 99.12% алдын ала тіркелген он бес жағдайдан тұратын бағалау өлшемі бойынша құрама балл берді. Гипердиагноз тұзағына түсу жағдайларының екеуі де ең жоғарғы шекке жетті. Темір тапшылығы мен талассемия арасындағы дифференциалда Ментцер индексі дұрыс қолданылды.
Құрама формула үш компонентті біріктіреді: құрылымдық сәйкестік жеті міндетті есеп беру бөлімімен және он алты міндетті қосалқы бөліммен, клиникалық дәлдік кілтсөзді еске түсіру (keyword recall) + бағалау жүйесін еске түсіру (scoring-system recall) + ықтималдық-үлестірімнің жарамдылығын тексеру арқылы өлшенеді, және жауап беру кідірісі 20 секундтық негізгі қызмет деңгейінің нысанасына қарсы. Нақты жіктелуі төмендегі бағалау өлшемі формуласында көрсетілген.
Бастапқы «headroom»-ның қалған 0,88 пайыздық тармағының басым бөлігі кідіріс жоғалуына ыдырайды — әрқайсысы құрама есептеуде минус 0,05 болатын 2-фазаға арналған үш резервтік шақыру 0,88 тармақтық тапшылықтың шамамен 0,60-ын берді — клиникалық мазмұнға емес. Қозғалтқыш он бес жағдайдың ешқайсысында да дұрыс диагнозды жіберіп алмады; ол қай жерде қысқа қалса, аз ғана шақырулар үлесінде 20 секундтық негізгі-бағыт мақсатынан сәл ұзағырақ уақыт алғандықтан ғана болды.
Жеті медициналық мамандық бойынша он бес жағдай
Іс панелі жеті мамандықты қамтиды — гематология, эндокринология, метаболизмдік медицина, гепатология, нефрология, кардиология, ревматология — сондай-ақ екі арнайы гипердиагностикаға арналған «trap» жағдай. Әрбір іс — жазбаша негізделген келісім бойынша Kantesti клиникалық деректер репозиторийінен алынған анонимдендірілген нақты пациент жазбасы.
Анонимсіздендіру Safe Harbor тәсілімен жүргізілді: барлық тікелей идентификаторлар жойылды немесе ауыстырылды, және әрбір жазба BT-NNN-LABEL форматындағы эталондық ішкі іс коды берілді. Өңдеу
GDPR 9-бабының 2( j )-тармағына сәйкес жүргізілді ғылыми зерттеу үшін тиісті сақтық шараларымен және Ұлыбритания GDPR-ының баламалы ережелерімен. Жарияланған «harness»-та, техникалық есепте де, шығарылған деректер жиынтықтарында да еш жерде жеке тұлғаны анықтайтын ақпарат кездеспейді.
Неге дәл осы таралу таңдалды
Гематология үш жағдай алады, өйткені микрциттік дифференциалдар және макроциттік дифференциалдар нақты өмірдегі зертханалық практикада ең көп көлемді «тұзақ» болып табылады. Эндокринология үш жағдай алады, өйткені Хашимото, ПКОС және D дәрумені жетіспеушілігі көріністері әртүрлі диагностикалық пішіндерді жаттықтырады (аутоантиденеге негізделген, гормондық қатынасқа негізделген, бір маркерге негізделген). Бір жағдайдан берілген мамандықтар да маңызды, өйткені әрбір ЖБЖ (CKD), АСҚД (ASCVD) қаупі және ЖСЕ (SLE) үшін қозғалтқыш шақыруы тиіс өз бағалау жүйесі бар (KDIGO сатылары, ASCVD 10 жылдық қаупі, тиісінше 2019 EULAR/ACR SLE критерийлері).
Алдын ала тіркелген рубрика, түсіндірілген
Рәсімге дейінгі тіркеу (pre-registration) — осы бенчмарктегі ең маңызды әдістемелік таңдау. Күтілетін әрбір диагноз, әрбір клиникалық бағалау жүйесі және әрбір есеп бөлімі бастапқы кодқа бекітілді қозғалтқыш шақырылғанға дейін. Сондықтан рубриканы қозғалтқышты «мақтау» үшін пост-хок баптау мүмкін емес.
Құрама баллды құрайтын үш компонент бар. құрылымдық компонент 35 пайызды құрайды және қозғалтқыштың жеті міндетті есеп бөлімін (тақырып, қорытынды, негізгі қорытындылар, дифференциал, бағалау жүйелері, ұсыныстар, бақылау) және олардың ішіндегі он алты міндетті қосалқы бөлімін қайтарған-қайтармағанын өлшейді. Бөлімнің бар болуы құрылымдық есептеуде 40 пайызды, ал қосалқы бөлімнің бар болуы 60 пайызды құрайды.
The клиникалық компонент 55 пайызды құрайды және үш нәрсені біріктіреді: диагноз-кілтсөзді еске түсіру (клиникалық қосалқы баллдың 70 пайызы), бағалау жүйесін еске түсіру (20 пайыз — қозғалтқыш қажет болғанда Mentzer, FIB-4, HOMA-IR, ASCVD қаупін, KDIGO сатыларын, EULAR/ACR критерийлерін есептей ме), және ықтималдықтар қосындысының дұрыстығын тексеру (10 пайыз — дифференциал ықтималдықтары [90, 110] аралығына дейін қосылуы тиіс). Тұзақ жағдайларда айқын гипердиагноз үшін ең көбі 0.30 айыппұл шегеріледі, ол әрбір ойдан шығарылған патология белгісі үшін 0.10 есебімен есептеледі, үш белгімен шектеледі.
The кідіріс (латенттілік) компоненті 10 пайызды құрайды. 20 секундтан аз жауап толық 0.10 алады, 40 секундтан аз жауап 0.05 алады, ал одан баяу кез келгені нөл алады. 20 секундтық мақсат өндірістік негізгі primary-path қызмет деңгейінің мақсатымен байланысты; 40 секундтық шек ауыр қозғалтқыш шақырулары үшін 2-кезеңдегі fallback бюджетіне сәйкес келеді.
Pre-registration неге жол бермейді
Бірінші тараптың бенчмарктері пост-хок рубриканы баптау арқылы өз сандарын асырып көрсетуге бейім. Үлгі әрдайым дерлік бірдей: команда қозғалтқышты іске қосады, қай жерде нашар орындайтынын көреді, содан кейін нашар орындалған аймақтар аз есептелуі үшін рубриканы үнсіз ғана түзетеді. Рубриканы алғашқы қозғалтқыш шақыруына дейін бастапқы кодқа бекітіп, harness-ті MIT лицензиясымен жариялау арқылы бұл түзету нұсқаларды басқаруда көрінетін болады. Кез келген адам репозиторийді клондап, рубрика авторларының күндерін тексеріп, қозғалтқыш нәтижелері бағалауды қалыптастыру үшін қолданылмағанын дәлелдей алады.
Гипердиагностика тұзағы жағдайлары — шамадан тыс атау (over-calling) неге негізгі сәтсіздік режимі
Қалыпты скринингтерде патологияны агрессивті түрде «артық шақыру» — тұтынушыға арналған медициналық ассистенттерге тән құжатталған сәтсіздік режимі. Оның салдарлық шығындарына қажетсіз тексерулер, пациенттің мазасыздануы және ятрогендік тексеру жатады. Осы бенчмарктегі екі тұзақ жағдай бұл сәтсіздік режимін көрінетін және бағаланатын ету үшін жасалған.
🟡 Тұзақ 1 — BT-014-GILBERT
Көрінісі. Жалпы билирубині 2.4 мг/дл болатын 24 жастағы ер адам. Тікелей фракция қалыпты, трансаминазалар мен сілтілік фосфатаза олардың анықтамалық диапазондарының ішінде, ретикулоциттер айтарлықтай емес, ал гаптоглобин мен LDH гемолизді жоққа шығарады.
Дұрыс интерпретация. Гилберт синдромы — UGT1A1 генінің қатерсіз полиморфизмі. Интерпретация гепатитті, циррозды, гемолиздік анемияны немесе билиарлық обструкцияны қамтымауы тиіс.
V11 нәтижесі. Құрама 1.000. Алты бақыланған артықдиагноз белгісінің ешқайсысы белсенді диагноз ретінде шыққан жоқ.
🟡 Тұзақ 2 — BT-015-HEALTHY
Көрінісі. 15 параметрлі рутиналық скрининг панелі бар 35 жастағы әйел. Әрбір аналит өзінің анықтамалық диапазонының ішінде ыңғайлы орналасқан.
Дұрыс интерпретация. Жауырыну және өмір салтын қолдау. Түсіндірме клиникалық тұрғыдан пайдалы көрінуі үшін шекаралық патологияны ойдан шығармауы тиіс.
V11 нәтижесі. Композит 1.000. Жеті бақыланған артық диагноз қою туралы жалаушаның ешқайсысы — қант диабеті, анемия, гипотиреоз, дислипидемия, гепатит, бүйрек ауруы, тапшылық — белсенді диагноз ретінде шыққан жоқ.
Екі «тұзақтың» екеуінде де он үш бақыланған гипердиагноз жалаушасы тексерілді. Ешқайсысы іске қосылмады. Бұл кез келген клиницист үшін ең маңызды нәтиже, өйткені ол AI қозғалтқышын триаж немесе алдын ала кеңес құралы ретінде қолдануды қарастырады: жүйе жоқ жерде ауру ойлап таппады.
Ментцер индексі: темір тапшылығын талассемия белгілерінен ажырату
Екінші құнды нәтиже — BT-001 жағдайын (темір тапшылығы анемиясы) BT-007 жағдайымен (бета-талассемияның кіші түрі) жұптастыру. Екеуі де микроцитозбен көрінеді және бейімделмеген жіктегіштер үшін жиі кездесетін «кедергі». Ментцер индексі, ол MCV-ді RBC санына бөлу арқылы есептеледі, темір тапшылығында 13-тен жоғары, ал талассемия белгісінде 13-тен төмен болады.
BT-001-де пациент 34 жастағы әйел болды: гемоглобин 10.4 г/дЛ, MCV 72.4 фл, RBC 4.1 × 10¹²/л, ферритин 6 нг/мл және TIBC жоғары. Ментцер индексі шамамен 17.7 абсолютті темір тапшылығын қолдайды. BT-007-де пациент 28 жастағы ер адам болды: микроцитоз (MCV 65.8 фл), бірақ RBC саны 6.2 жоғары, RDW қалыпты, ферритин қалыпты, HbA2 5.6 пайыз. Ментцер индексі шамамен 10.6 талассемия белгісін көрсетеді, ал HbA2-нің жоғары болуы бета-талассемияның кіші түрін растайды.
Екі жағдай да 1.000 балл жинады. Қозғалтқыш екі түсіндірмеде де Ментцер индексін нақты қолданды және әр жағдайда дұрыс диагнозды қайтарды. Бұл бүкіл бенчмарктегі ең клиникалық тұрғыдан сенімді нәтиже, өйткені талассемия белгісін темір тапшылығы деп қате жіктеу орынсыз темір қоспасын тағайындауға және отбасылық скрининг мүмкіндіктерін жіберіп алуға әкеледі; ал темір тапшылығын талассемия деп қате жіктеу қарапайым алмастыру терапиясын кешіктіреді. Біздің ферритин көрсеткіштерінің диапазоны дифференциалды контексттің кеңірек көрінісін түсіндіреді.
2026 жылғы сәуірдегі іске қосылым нәтижелері (әр жағдай бойынша)
Он бес жағдайдың он екеуі бастапқы жолда 1.000 төбелік композит балын алды. Үш жағдай 2-фазаға арналған «fallback» арқылы қызмет етті: 0.05 латенттілік бонусынан айырылып, бірақ барлық клиникалық және құрылымдық мазмұнды сақтап қалды. Бір жағдай бір ғана міндетті бөлімшеден кем болды; бір жағдай ықтималдықтар жиынының шамалы төмендетілген мәнін қайтарды.
PCOS жағдайы (BT-008) жауап құрылымында бір міндетті ішкі бөлімді жоғалтты — он алтының орнына он бестен он алтыға дейін — бұл құрылымдық баллды 1,000-нан 0,963-ке дейін төмендетті. SLE жағдайы (BT-011) клиникалық баллды 0,965-ке түсірген, бірақ барлық диагностикалық кілтсөздер мен бағалау жүйесін сақтаған, ықтималдықтар таралуы қосындысының шамалы төмендеген нұсқасын қайтарды. Екі де мінсіз емес жағдай да дұрыс диагнозды жіберіп алмады.
Басты көрсеткіш бізге нені айтпайды
Осы нақты алдын ала тіркелген рубрика бойынша 99,12 пайыздық құрама балл төбеге жақын деңгейдегі нәтижені білдіреді, бірақ оны мұқият түсіндіру керек. Нәтиже қозғалтқыштың мінез-құлқын дәл осы рубрикаға қарсы, әрқайсысы бір рет бағаланған, мұқият таңдалған он бес анонимдендірілген жағдайға қатысты сипаттайды. Біз сан нені көрсететінін және нені көрсетпейтінін нақты айтамыз.
Балл V11 қозғалтқышы осы бағалау үшін таңдалған диагностикалық үлгілерді жарияланған және қайта өндіруге болатын әдістеме бойынша дұрыс өңдегенін айтады. Ол қозғалтқыштың далада бар барлық қан талдауы панельдерінде дұрыс екенін айтпайды. Ол қозғалтқыштың клиницистің пайымын алмастыруы керек екенін айтпайды. Және ол қозғалтқыштың баламалы AI жүйелерден асып түсетінін айтпайды — басқа қозғалтқыштарға салыстырмалы талдаулар бұл есеп үшін әдейі шектеу аясынан тыс қалдырылды.
Баллдың дәлелдейтіні — бастапқы деңгей. Рубрика мен құрал (harness) ашық болғандықтан, қозғалтқыштың болашақ нұсқаларын дәл сол он бес жағдайға қарсы бағалауға болады, ал жарияланған балл мен кез келген кейінгі іске қосу арасындағы айырма өлшенетін болады. Алдын ала тіркеудің құндылығы міне: өнімділік туралы талаптарды тексерілетін талаптарға айналдырады.
Бұл эталонды 10 минутта қалай қайталауға болады
Қайта өндіру үшін тек Kantesti API куәлік жұбы және Python 3.10 немесе одан кейінгі нұсқасы бар орта қажет, сонымен бірге requests және reportlab кітапханалары орнатылған болуы керек. Толық құрал бір ғана MIT лицензиясымен шығарылған, дербес қамтылған Python модулі.
Жаңа іске қосу үшін төрт қадам
Бірінші. Репозиторийді клондау: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Екінші. Тәуелділіктерді орнату: pip install -r requirements.txt. Үш. Орнату KANTESTI_USERNAME және KANTESTI_PASSWORD орта айнымалылары ретінде — деректер орындалу кезінде оқылады және сценарийде ештеңе қатты кодталмайды. Төрт. Іске қосу python benchmark_bloodtest.py және жұмыс каталогына шығарылған төрт артефактіні қарап шығыңыз: CSV scorecard, JSON scorecard, қозғалтқыштың бастапқы жауаптарын қоса толық JSON дампы және адамға оқуға ыңғайлы Markdown есебі.
2026 жылғы 23 сәуірдегі эталондық іске қосу сақталған results/ репозиторийдің каталогында. Жаңа іске қосу эталондық іске қосуды өзгертпей, жаңа уақыт белгісі бар scorecard шығарады. Егер сіздің іске қосуыңыз нәтижесі елеулі түрде өзгеше болса, өтінеміз, GitHub issue ашыңыз: іске қосу уақыт белгісімен және жауап метадеректерінде қайтарылған қозғалтқыш нұсқасымен бірге.
Шектеулер және болашақ жұмыс
Нақты түрде мойындауды қажет ететін төрт шектеу бар: іріктеме көлемі, бір реттік бағалау, бір қозғалтқыш ауқымы және деректердің бір ғана көзден шығуы. Олардың әрқайсысы белсенді түрде кейінгі жұмыстарда қарастырылып жатыр.
Іріктеме көлемі. Сегіз мамандықтық топ бойынша он бес жағдай дәлелдеу үшін жеткілікті, бірақ мамандық ішіндегі топшаларды талдау үшін жеткіліксіз. Елу жағдайға дейін кеңейту жоспарланған және оған коагуляция панельдері, гематологиялық қатерлі ісіктерді скрининг, жүктілік панельдері және педиатриялық жағдайлар кіреді.
Бір реттік бағалау. Әрбір жағдай бір рет бағаланды. Үлкен тілдік модельдер төмен іріктеу температурасында да айтарлықтай шығыс ауытқуын көрсетеді, сондықтан әр жағдайға бес бағалау жүргізілетін және ауытқу көрсетілетін көп мәртелік протокол — табиғи келесі қадам.
Бір қозғалтқыш ауқымы. Бұл есеп бір қозғалтқышты сипаттайды. Мұнда баламалы AI жүйелермен салыстырмалы талдаулар қарастырылмаған; біз оларды тиісті әдістемесі бар бөлек тәуелсіз зерттеу ретінде жүргізуіміз мүмкін.
Деректердің бір ғана көзден шығуы. Он бес жағдай — бір клиникалық репозиторийден алынған анонимдендірілген нақты пациент жазбалары. Олар іріктелген үлгі болып табылады және популяцияға тән кездейсоқ іріктеу емес. Бағалауды көп орталықты деректерге кеңейту жол картасында бар.
Ең ықпалды жоспарланған кеңейту — көптілді сәйкестік. Kantesti AI Engine 75+ тіліндегі пайдаланушыларға қызмет көрсетеді, және бірдей он бес жағдайдан тұратын тесті түрік, неміс, испан, француз және араб тілдерінде іске қосу қозғалтқыштың қолдайтын тілдері бойынша шығыс сапасын сандық түрде бағалайды. Біз әр тілге арналған әр іске қосуды өз DOI-ымен және harness тармағымен жариялаймыз.