Бул салыштырма көрсөткүч эмне үчүн бар жана ал эмнени текшерет
AI колдоосу менен кан анализин чечмелөө керектөөчүлүк жана клиникалык иш процесстеринде барган сайын көбүрөөк колдонулуп жатат, бирок лабораториялык медицина үчүн ылайыкташкан, кайра чыгарылуучу баалоо алкактары сейрек кездешет. Бул шартта эң маанилүү суроолор жалпы медициналык суроо-жооп эталондорунда камтылгандар эмес: орточо корпускулалык көлөм (MCV) бирдей болгондо кыймылдаткыч темир жетишсиздигин талассемия белгилеринен ажырата алабы, Гилберт синдромун гепатит катары ашыкча диагноз коюп жибереби жана толугу менен нормалдуу скрининг панелинде патологияны “жасап” чыгарабы?
Бир кан анализинин бирдиктүү панели адатта бир нече атаандаш чечмелөөнү колдоого жетиштүү сигнал камтыйт, ал эми чечмелеп жаткан дарыгердин милдети — ошол чечмелөөлөрдү бири-бирине салыштырып таразалоо, окуу китебиндеги даяр жоопту издеп табуу эмес. Окуу китептеги учурларда жакшы иштеген система эң маанилүү учурларда дагы эле жаңылышы мүмкүн: дифференциалдык диагноздогу тузактар, өзүнчө караганда кооптуу көрүнгөн зыянсыз варианттар жана ишенимдүү жардамчыларды патологияны “жасоого” азгыра турган толугу менен нормалдуу панелдер.
Бул бенчмарк дал ошол иштен чыгуу режимдеринин айланасында түзүлгөн. Он беш учурдун ар бири белгилүү бир диагностикалык касиет үчүн тандалды: орточо эритроциттик көлөмү бирдей болгон бета-талассемия белгилеринен айырмаланып турушу керек болгон темир жетишсиздигине байланышкан микроцитоз; жалгыз гана обочолонгон кыйыр гипербилирубинемиядан турган Гилберт синдрому көрүнүшү; жана ар бир анализат өзүнүн маалымдама диапазонунун ичинде турган он беш параметрлүү скрининг панели. Рубрика ар бир учурду өзүнүн шарттары менен окуган системаларды сыйлайт жана мындай диагноз талап кылынбаган учурда ишенимдүү диагнозго жеткен системаларды жазалайт.
MD Томас Клейн катары мен учурлардын панелин тандадым, анткени лабораториялык медицина боюнча жардамчылар эң көп жаңылышкан үлгүлөр — дал ушулар. Кымбат баалуу жаңылыштык "сейрек кездешүүчү ооруну өткөрүп жиберүү" эмес — анысы жок бейтаптарда күнүмдүк патологияны ойлоп табуу. Биздин Медициналык текшерүү hub кеңири алкакты сүрөттөйт; бул бет анын V11 кыймылдаткычында колдонулган натыйжасын сүрөттөйт.
Акыркы шилтеме иштетүүсү — V11 (2026-жылдын апрели)
2026-жылдын апрелиндеги Kantesti AI Engine V11 үчүн маалымдама жүргүзүлгөн тесттин жыйынтыгы 99.12% алдын ала катталган он беш учурдан турган рубрика боюнча композиттик баллды берди. Гипердиагноз тузагы бар эки учур тең чектеги баллга жетти. Ментцер индекси темир жетишсиздиги vs талассемия дифференциалы боюнча туура колдонулду.
Композиттик формула үч компонентти бириктирет: структуралык шайкештик жети милдеттүү отчет бөлүмү жана он алты милдеттүү кошумча бөлүм менен, клиникалык тактык ачкыч сөздү эстеп калуу + балл коюу системасын эстеп калуу + ыктымалдык бөлүштүрүүнүн жарактуулугун текшерүү катары өлчөнөт, жана жооп берүү кечигүүсү 20 секунддук негизги кызмат деңгээлинин максатына каршы. Так ажыратылышы төмөндөгү рубрика формуласында көрсөтүлгөн.
Калган 0,88 пайыздык пункт баш мейкиндик дээрлик толугу менен кечигүү жоготуусуна ажырайт — ар бири 0,05тен турган үч Phase 2 резервдик чакыруу 0,88 пункттук жетишпестиктин болжол менен 0,60ын түздү — клиникалык мазмунга эмес. Кыймылдаткыч он беш учурдун биринде да туура диагнозду өткөрүп жиберген жок; кайсы жерде жетишпей калды, ал чакыруулардын азчылык бөлүгүндө 20 секунддук негизги-ыкма максатынан бир аз узагыраак убакыт кетирүү аркылуу болду.
Жети медициналык адистик боюнча он беш учур
Иш панели жети адистикти камтыйт — гематология, эндокринология, метаболикалык медицина, гепатология, нефрология, кардиология, ревматология — ошондой эле эки өзүнчө гипердиагностика тузагы (trap) учурлары. Ар бир учур — жазуу жүзүндөгү маалымдалган макулдук астында Kantesti клиникалык маалыматтар репозиторийинен алынган, анонимдештирилген реалдуу пациенттин жазуусу.
Анонимдештирүү Safe Harbor ыкмасы менен жүргүзүлдү: бардык түз идентификаторлор алынып салынды же алмаштырылды, жана ар бир жазууга BT-NNN-LABEL форматындагы ички эталондук учур коду ыйгарылды. Иштетүү төмөнкүгө ылайык жүргүзүлдү GDPR 9(2)(j)-беренеси тийиштүү коргоочу чаралар менен илимий изилдөө үчүн жана Улуу Британиянын GDPRга барабар жоболоруна ылайык. Жарыяланган harness (сынагыч), техникалык отчетто же чыгарылган маалымат топтомдорунда эч жерде жеке адамды аныктоочу маалымат кездешпейт.
Эмне үчүн дал ушул бөлүштүрүү
Гематология үч учурду алат, анткени микроситтик дифференциалдар жана макроситтик дифференциалдар реалдуу лабораториялык практикада эң көп көлөмдөгү тузактар болуп саналат. Эндокринология үч учурду алат, анткени Хашимото, ПКОС жана D витамининин жетишсиздиги боюнча көрүнүштөр ар башка диагностикалык формаларды машыктырат (аутоантитело аркылуу башкарылган, гормон катышы аркылуу башкарылган, бир гана маркер аркылуу башкарылган). CKD, ASCVD тобокелдиги жана SLEнин ар биринин өзүнүн упай коюу системасы бар болгондуктан, бирден учурдан берилген адистиктер дагы деле маанилүү: кыймылдаткыч аны чакырышы керек (KDIGO стадиясы, ASCVD 10 жылдык тобокелдик, тиешелүүлүгүнө жараша 2019 EULAR/ACR SLE критерийлери).
Алдын ала катталган критерийлер — түшүндүрмөсү
Каттоодон өтүү (pre-registration) бул бенчмарктагы эң маанилүү методологиялык тандоо. Күтүлгөн ар бир диагноз, ар бир клиникалык упай коюу системасы жана ар бир отчет бөлүмү булак кодго бекитилген кыймылдаткыч чакырылганга чейин. Ошондуктан рубриканы кыймылдаткычты “жакшыраак көрсөтүү” үчүн post-hoc тууралоо мүмкүн эмес.
Композиттик упайды түзгөн үч компонент бар. структуралык компонент 35 пайызды түзөт жана кыймылдаткыч жети милдеттүү отчет бөлүмүн (баш аталыш, кыскача жыйынтык, негизги табылгалар, дифференциал, упай коюу системалары, сунуштар, кийинки байкоо) жана алардын ичиндеги он алты милдеттүү подбөлүмдү кайтарып бергенин өлчөйт. Бөлүмдүн бар болушу структуралык эсептөөнүн ичинде 40 пайызды, подбөлүмдүн бар болушу 60 пайызды түзөт.
The клиникалык компонент 55 пайызды түзөт жана үч нерсени бириктирет: диагноз-ачкыч сөздү эстеп калуу (клиникалык подупайдын 70 пайызы), упай коюу системасын эстеп калуу (20 пайыз — кыймылдаткыч тиешелүү болгондо Mentzer, FIB-4, HOMA-IR, ASCVD тобокелдигин, KDIGO стадиясын, EULAR/ACR критерийлерин эсептейби), жана ыктымалдуулук суммасынын жарактуулугун текшерүү (10 пайыз — дифференциалдык ыктымалдуулуктар [90, 110] интервалдын ичинде суммаланышы керек). Тузак учурларда ачык гипердиагноз үчүн 0.30га чейин айып пул алынып салынат, ал жасалма патология белгисине 0.10дан эсептелет, үч белги менен чектелет.
The кечигүү (latency) компоненти 10 пайызды түзөт. 20 секунддан аз жооп толук 0.10 алат, 40 секунддан аз жооп 0.05 алат, ал эми андан жайыраактын баары нөлгө барабар. 20 секунддук максат өндүрүштөгү primary-path кызмат деңгээлинин максатына туура келет; 40 секунддук чектөө Phase 2 оор кыймылдаткыч чакыруулар үчүн резервдик бюджетти чагылдырат.
Pre-registration эмнени алдын алат
Биринчи тараптын бенчмаркалары post-hoc рубриканы тууралоо аркылуу өз сандарын үйлөп көрсөтүү менен белгилүү. Үлгү дээрлик дайыма бирдей: команда кыймылдаткычты иштетет, кайсы жерде начар аткарарын көрөт, анан начар аткарган аймактар азыраак эсептелиши үчүн рубриканы унчукпай тууралайт. Рубриканы биринчи кыймылдаткыч чакыруусуна чейин булак кодго бекитип, harness’ты MIT лицензиясы менен жарыялоо менен бул тууралоо версиялык көзөмөлдө көрүнүктүү болуп калат. Ар ким репозиторийди клондоп, рубрика авторлорунун даталарын текшерип, кыймылдаткычтын жыйынтыктары упай коюуну калыптандыруу үчүн колдонулбаганын ырастай алат.
Гипердиагноз тузагы учурлары — ашыкча чакырып жиберүү эмне үчүн негизги иштебей калуу режими
Нормалдуу скринингдерде патологияны ашыкча “айтып коюу” — керектөөчүгө багытталган медициналык жардамчы ассистенттер үчүн документтештирилген иштен чыгуу режими. Анын кийинки чыгымдарына керексиз текшерүүлөр, пациенттин тынчсыздануусу жана ятрогендик (дарылоодон келип чыккан) текшерүү кирет. Бул бенчмарктагы эки тузак учур ошол иштен чыгуу режимин көрүнүктүү жана упайлануучу кылып иштелген.
🟡 Тузак 1 — BT-014-GILBERT
Көрүнүш. Жалпы билирубин 2.4 мг/дЛ болгон 24 жаштагы эркек. Түз фракция нормалдуу, трансаминазалар жана щелочтук фосфатаза алардын маалымдама диапазондорунун ичинде, ретикулоциттер өзгөчө эмес, ал эми гаптоглобин жана LDH гемолизди жокко чыгарат.
Туура чечмелөө. Гилберт синдрому — UGT1A1 полиморфизми, зыянсыз. Чечмелөө гепатитти, циррозду, гемолиздик анемияны же билиардык тоскоолдукту чакырбашы керек.
V11 жыйынтыгы. Композит 1.000. Алты көзөмөлдөнгөн ашыкча-диагноз берүүчү белги эч бири активдүү диагноз катары көрүнгөн жок.
🟡 Тузак 2 — BT-015-HEALTHY
Көрүнүш. 15 параметрден турган кадимки скрининг панелиндеги 35 жаштагы аял. Ар бир аналит өзүнүн маалымдама диапазонунун ичинде ыңгайлуу жайгашкан.
Туура чечмелөө. Жооп бердирүү жана жашоо образын сактоо. Түшүндүрмө клиникалык жактан пайдалуу көрүнүш үчүн чек арадагы патологияны атайын ойлоп чыгарбоого тийиш.
V11 жыйынтыгы. Композит 1.000. Жети көзөмөлдөнгөн ашыкча диагноз коюу белгисинин бири да — диабет, анемия, гипотиреоз, дислипидемия, гепатит, бөйрөк оорусу, жетишсиздик — активдүү диагноз катары чыккан жок.
Эки текшерүүдө тең он үч гипердиагноз коюу белгиси текшерилди. Нөл — эч бири иштетилген жок. Бул — триаж же консультацияга чейинки курал катары AI кыймылдаткычын колдонууну карап жаткан ар бир клиницист үчүн эң маанилүү жыйынтык: система эч кандай оору жок жерде ооруну ойлоп тапкан жок.
Ментцер индекси: темир жетишсиздигин талассемия белгилеринен (trait) ажыратуу
Экинчи жогорку баалуу табылга — BT-001 (темир жетишсиздигинен болгон анемия) иши менен BT-007 (бета-талассемиянын майда түрү) ишинин дал келиши. Экөө тең микроцитоз менен коштолот жана жөнөкөй классификаторлор үчүн кеңири белгилүү “тоскоолдук”. Ментцер индекси, MCVну RBC санына бөлүү аркылуу эсептелет, темир жетишсиздигинде 13төн жогору, ал эми талассемия белгилеринде 13төн төмөн болот.
BT-001де бейтап 34 жаштагы аял болгон: гемоглобин 10.4 г/дЛ, MCV 72.4 фЛ, RBC 4.1 × 10¹²/Л, ферритин 6 нг/мЛ жана TIBC жогору. Ментцер индекси болжол менен 17.7 абсолюттук темир жетишсиздигин колдойт. BT-007де бейтап 28 жаштагы эркек болгон: микроцитоз (MCV 65.8 фЛ), бирок RBC саны 6.2 жогору, RDW нормалдуу, ферритин нормалдуу жана HbA2 5.6 пайыз. Ментцер индекси болжол менен 10.6 талассемия белгилерин көрсөтөт, ал эми HbA2нин жогору болушу бета-талассемиянын майда түрүн тастыктайт.
Эки учур тең 1.000 балл алган. Кыймылдаткыч эки түшүндүрмөдө тең Ментцер индексин ачык колдонуп, ар бир учурда туура диагнозду кайтарды. Бул — бүтүндөй тест-бенчмарктын ичиндеги эң клиникалык жактан ишендирген бирден-бир жыйынтык, анткени талассемия белгилерин темир жетишсиздиги деп туура эмес классификациялоо туура эмес темир кошумчасын берүүгө жана үй-бүлөнү скринингден өткөрүү мүмкүнчүлүктөрүн өткөрүп жиберүүгө алып келет, ал эми темир жетишсиздигин талассемия деп туура эмес классификациялоо жөнөкөй алмаштыруучу терапияны кечиктирет. Биздин ферритин диапазону боюнча колдонмо кеңири дифференциалдык контекстти түшүндүрөт.
2026-жылдын апрель айындагы иштетүүдө ар бир учур боюнча жыйынтыктар
Он беш учурдун он экөө негизги жолдо 1.000 деген композиттик чектүү баллга жетишти. Үч учур Phase 2 резервдик жол аркылуу берилди; мында 0.05 кечигүү бонусу жоголду, бирок бардык клиникалык жана структуралык мазмун сакталды. Бир учур бир гана милдеттүү подбөлүм жок болуп калды; бир учур ыктымалдуулук бөлүштүрмөсүнүн суммасы бир аз төмөн болуп кайтып келди.
PCOS учур (BT-008) жооп түзүмүндө бир милдеттүү чакан бөлүмдү жоготту — он алтыдан эмес, он бештен — бул түзүмдүк упайды 1.000ден 0.963кө чейин кыскартты. SLE учур (BT-011) клиникалык упайды 0.965ке түшүргөн, бирок ар бир диагностикалык ачкыч сөздү жана упай коюу системасын сактап калган, бир аз кыскарган ыктымалдык-бөлүштүрүү суммасын кайтарды. Эки тең кемчиликсиз эмес учурлар туура диагнозду өткөрүп жиберген жок.
Башкы упай бизге эмнени айтпай турганы
Ушул өзгөчө алдын ала катталган рубрика боюнча 99.12 пайыздык кошмо упай шыпка жакын аткарууну билдирет, бирок аны кылдат түшүндүрүү керек. Жыйынтык кыймылдаткычтын жүрүм-турумун он беш кылдат тандалган анонимдештирилген учурга каршы сүрөттөйт: ар бири бир жолу бааланып, бир эле рубрика боюнча салыштырылган. Бул сан эмнени көрсөтөрүн жана эмнени көрсөтпөй турганын так айтабыз.
Упай V11 кыймылдаткычы ушул баалоо үчүн тандалган диагностикалык үлгүлөрдү жарыяланган жана кайра чыгарууга боло турган методология боюнча туура иштеткенин айтат. Ал кыймылдаткыч дүйнөдө бар болгон ар бир кан анализинин панелинде туура экенин айтпайт. Ал кыймылдаткыч дарыгердин клиникалык ой жүгүртүүсүн алмаштырышы керек экенин айтпайт. Ошондой эле ал кыймылдаткыч башка альтернативдүү AI системаларынан жакшыраак экенин айтпайт — башка кыймылдаткычтарга салыштырма талдоолор бул отчет үчүн атайын чектен тышкары болгон.
Упай эмнени аныктап берери — бул негизги чек (baseline). Рубрика жана тестирлөө куралы коомдук болгондон кийин, кыймылдаткычтын келечектеги версияларын ошол эле он беш учурга каршы баалоого болот, ал эми жарыяланган упай менен кийинки ар бир иштетүүнүн ортосундагы айырма өзү өлчөнө турган нерсе. Алдын ала каттоонун баалуулугу мында: аткаруу боюнча дооматтарды текшерилүүчү дооматтарга айлантат.
Бул эталонду 10 мүнөттө кантип кайталоого болот
Кайра чыгаруу үчүн болгону Kantesti API credential жупу жана Python 3.10 же андан кийинки чөйрө керек, анда requests жана reportlab китепканалары орнотулган болушу керек. Толук тестирлөө куралы MIT лицензиясы астында чыгарылган бир гана өз алдынча камтылган Python модулу.
Жаңы иштетүү үчүн төрт кадам
Биринчи. Репозиторийди көчүрүү: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Экинчи. Көз карандылыктарды орнотуу үчүн pip install -r requirements.txt. Үч. Орнотуңуз KANTESTI_USERNAME жана KANTESTI_PASSWORD чөйрө өзгөрмөлөрү катары — иштетүү учурунда эсептик маалыматтар окулат жана скриптке эч нерсе катуу жазылбайт. Төрт. Иштетиңиз python benchmark_bloodtest.py жана иштөөчү каталогго чыгарылган төрт артефактты карап чыгыңыз: CSV баллдык таблица, JSON баллдык таблица, чийки кыймылдаткыч жоопторун камтыган толук JSON таштандысы жана адамга түшүнүктүү Markdown отчет.
2026-жылдын 23-апрелиндеги маалымдама иштетүү репозиторийдин results/ каталогунда сакталат. Жаңы иштетүү жаңы убакыт белгиси бар баллдык таблица чыгарат, ал эми маалымдама иштетүү өзгөрүүсүз калат. Эгер иштетүүңүз маанилүү түрдө башкача натыйжа берсе, өтүнүч: GitHub issue ачыңыз — иштетүүнүн убакыт белгиси жана жооптун метадайындарында кайтарылган кыймылдаткыч версиясы менен. directory of the repository. A fresh run will produce a new timestamped scorecard while leaving the reference run untouched. If your run produces a meaningfully different result, please open a GitHub issue with the run timestamp and the engine version returned in the response metadata.
Чектөөлөр жана келечектеги иштер
Так моюнга алууну талап кылган төрт чектөө бар: тандоо көлөмү, бир жолку баалоо, бир гана кыймылдаткычтын чөйрөсү жана бир гана булактан алынган маалымат келип чыгышы. Ар бири активдүү кийинки иштерде чечилип жатат.
Тандоо көлөмү. Адистиктин сегиз бөлүмчөсү боюнча он беш учур концепцияны далилдөө үчүн жетиштүү, бирок адистик ичиндеги топторду талдоо үчүн эмес. Элүү учурга кеңейтүү пландалууда жана ага коагуляция панелдери, гематологиялык залалдуу шишиктерди скрининг, кош бойлуулук панелдери жана педиатриялык учурлар кирет.
Бир жолку баалоо. Ар бир учур бир жолу бааланды. Чоң тил моделдери үлгү алуу температурасы төмөн болсо да, чыгарманын олуттуу өзгөрмөлүүлүгүн көрсөтөт, ошондуктан ар бир учурга бештен баалоо жүргүзүлгөн көп жолу иштетүү протоколу жана билдирилген өзгөрмөлүүлүк кийинки табигый кадам болуп саналат.
Бир гана кыймылдаткычтын чөйрөсү. Бул отчет бир гана кыймылдаткычты мүнөздөйт. Бул жерде альтернативдүү AI системаларга салыштырма талдоо жүргүзүү каралбайт; биз аларды тиешелүү методология менен өзүнчө көз карандысыз изилдөө катары карашыбыз мүмкүн.
Бир гана булактан алынган маалымат келип чыгышы. Он беш учур — бир гана клиникалык репозиторийден алынган чыныгы бейтап жазуулары, алар анонимдештирилген. Алар тандалып алынган үлгү болуп саналат жана калкты өкүлдөй кокустук тандоо эмес. Баалоону көп борборлуу маалыматка кеңейтүү жол картасында турат.
Эң таасирдүү пландалган кеңейтүү — көп тилдүү шайкештик. Kantesti AI Engine 75+ тилдеги колдонуучуларга кызмат кылат жана ошол эле он беш учурдан турган тест-курулманы түркчө, немисче, испанчада, французча жана арабча иштетүү кыймылдаткыч колдогон тилдер боюнча чыгарманын сапатын сандык баалайт. Ар бир тилге тиешелүү иштетүүнү өзүнүн DOI жана тест-курулма тармагы менен жарыялайбыз.