Nega bu benchmark mavjud va u nimani sinaydi
AI yordamida qon tahlili natijalarini qanday o‘qish kerak tobora iste’molchi va klinik ish jarayonlarida qo‘llanmoqda, biroq laboratoriya tibbiyotiga mos, qayta tiklanadigan baholash asoslari kam uchraydi. Bu kontekstda eng muhim savollar umumiy tibbiy savol-javob benchmarklarida yoritiladigan savollar emas: o‘rtacha korpuskulyar hajm (MCV) bir xil bo‘lganda engine temir yetishmovchiligini talassemiya belgilaridan ajrata oladimi, Gilbert sindromini gepatit sifatida ortiqcha tashxislaydimi va to‘liq normal skrining panelida patologiyani “yaratadimi”?
Bitta qon tahlili paneli odatda bir nechta raqobatdosh talqinlarni qo‘llab-quvvatlash uchun yetarli signalga ega bo‘ladi va talqin qiluvchi klinisyenning vazifasi ularni bir-biriga solishtirib baholashdan iborat, darslikdagi tayyor javobni qidirib topish emas. Darslikdagi holatlarda yaxshi ishlaydigan “dvigatel” eng muhim bo‘lgan holatlarda baribir muvaffaqiyatsiz bo‘lishi mumkin: differensial-diagnostika tuzoqlari, alohida ko‘rilganda xavotirli ko‘rinadigan, ammo zararsiz variantlar va ishonchli yordamchilarni patologiya “yasashga” undaydigan to‘liq normal panellar.
Ushbu benchmark aynan o‘sha muvaffaqiyatsizlik turlariga asoslangan. O‘n beshta holatning har biri muayyan diagnostik xususiyat uchun tanlangan: o‘xshash mean corpuscular volume (o‘rtacha eritrotsit hajmi)ga ega bo‘lgan beta-talassemiya belgisi bilan ajratib turilishi kerak bo‘lgan temir yetishmovchiligi bilan bog‘liq mikrositoz; faqat alohida ko‘tarilgan bilvosita giperbilirubinemiya bilan namoyon bo‘ladigan Gilbert sindromi; va har bir analit o‘zining referens diapazonida joylashgan o‘n besh parametrli skrining paneli. Rubrika har bir holatni o‘z shartlari bo‘yicha o‘qiydigan dvigatellarni rag‘batlantiradi va bunday tashxis o‘rinli bo‘lmagan joyda ishonchli tashxisga “yopishib oladigan” dvigatellarni jazolaydi.
Tomas Klein, MD sifatida men holatlar panelini tanladim, chunki laboratoriya tibbiyoti bo‘yicha yordamchilar eng ko‘p aynan shu naqshlarni noto‘g‘ri talqin qilishadi. Qimmatga tushadigan muvaffaqiyatsizlik turi "kam uchraydigan kasallikni o"tkazib yuborish” emas — bu uni bo‘lmagan bemorlarda odatiy patologiyani “to‘qib chiqarish”. Bizning Tibbiy tasdiqlash hub kengroq asosni tasvirlaydi; bu sahifa uning V11 dvigatelida qo‘llangan natijasini bayon qiladi.
Eng so‘nggi referens ish — V11 (2026-yil aprel)
Kantesti AI Engine V11’ning 2026-yil aprel oyidagi referens ishga tushirish (reference run) natijasida kompozit ball olindi: 99.12% oldindan ro‘yxatdan o‘tkazilgan o‘n besh holatli rubrika bo‘yicha. Giper-diagnostika tuzoqlariga tushgan ikkala holat ham maksimal darajada ball oldi. Mentzer indeksi temir yetishmovchiligi va talassemiya differensiali bo‘yicha to‘g‘ri qo‘llangan.
Kompozit formula uchta komponentni birlashtiradi: strukturaviy moslik yettita majburiy hisobot bo‘limi va o‘n oltita majburiy kichik bo‘lim bilan, klinik aniqlik kalit so‘zlarni eslab qolish (keyword recall) + ball tizimini eslab qolish (scoring-system recall) + ehtimollik-taqsimotning haqiqiyligini tekshirish orqali o‘lchanadi va javob kechikishi 20 soniyalik asosiy xizmat darajasi (service-level) maqsadiga nisbatan. Aniq ajratma quyidagi rubrika formulada ko‘rsatilgan.
Boshliq (headroom)ning qolgan 0,88 foiz punktga teng qismi deyarli butunlay kechikish (latency) yo‘qotishiga ajraladi — har biri minus 0,05 bo‘lgan uchta 2-bosqich (Phase 2) zaxira (fallback) chaqiruvi 0,88 punktlik yetishmovchilikning taxminan 0,60 qismini tashkil etdi — klinik mazmunga emas. Dvigatel o‘n beshta holatning hech birida to‘g‘ri tashxisni o‘tkazib yubormadi; u qayerdadir yetishgan bo‘lsa, u buni chaqiruvlarning ozchilik qismida 20 soniyalik asosiy (primary-path) maqsaddan biroz ko‘proq vaqt olgani bilan qildi.
Yetti tibbiy mutaxassislik bo‘yicha o‘n beshta holat
Holatlar paneli yettita mutaxassislikni qamrab oladi — gematologiya, endokrinologiya, metabolik tibbiyot, gepatologiya, nefrologiya, kardiologiya, revmatologiya — shuningdek, ikkita alohida giper-diagnostika tuzoq (hyperdiagnosis trap) holati. Har bir holat yozma ravishda olingan xabardor rozilik asosida Kantesti klinik ma’lumotlar omboridan olingan anonimlashtirilgan real bemor yozuvini ifodalaydi.
De-identifikatsiya Safe Harbor yondashuvi bo‘yicha amalga oshirildi: barcha bevosita identifikatorlar olib tashlandi yoki almashtirildi va har bir yozuv BT-NNN-LABEL formatida benchmark-ichki holat kodi bilan belgilandi. Qayta ishlash GDPR 9-moddasi 2-qismi (j) bandiga ilmiy tadqiqotlar uchun tegishli himoya choralarini qo‘llagan holda va Buyuk Britaniyaning GDPRga teng qoidalariga muvofiq bajarildi. Nashr etilgan “harness”, texnik hisobot yoki chiqarilgan ma’lumotlar to‘plamlarining hech birida shaxsni aniqlashga xizmat qiladigan ma’lumotlar uchramaydi.
Nega aynan shu taqsimot
Gematologiya uchta holatni oladi, chunki mikrositar differensiallar va makrositar differensiallar real laboratoriya amaliyotida eng ko‘p uchraydigan “tuzoq”lar hisoblanadi. Endokrinologiya ham uchta holatni oladi, chunki Xashimoto, PCOS va D vitamin yetishmasligi ko‘rinishlari turli diagnostik shakllarni mashq qiladi (avtoantitanga asoslangan, gormonlar nisbati asosida, bitta markerga asoslangan). Yagona holat ixtisosliklari hamon muhim, chunki har birida (CKD, ASCVD xavfi va SLE) dvigatel chaqirishi kerak bo‘lgan o‘z baholash tizimi bor (mos ravishda KDIGO bosqichlash, ASCVD 10 yillik xavfi, 2019 EULAR/ACR SLE mezonlari).
Oldindan ro‘yxatdan o‘tkazilgan rubrika, izohi
Ro‘yxatdan o‘tish (pre-registration) ushbu benchmarkdagi eng muhim metodologik tanlovdir. Kutilgan har bir tashxis, har bir klinik baholash tizimi va har bir hisobot bo‘limi manba kodga biriktirilgan dvigatel chaqirilishidan oldin. Shuning uchun dvigatelni “yaltiratish” uchun rubrikani post-hoc sozlashning iloji yo‘q.
Kompozit ballni tashkil etuvchi uchta komponent mavjud. strukturaviy komponent 35 foizni tashkil etadi va dvigatel yettita majburiy hisobot bo‘limini (sarlavha, qisqacha mazmun, asosiy topilmalar, differensial, baholash tizimlari, tavsiyalar, kuzatuv) hamda ularning ichidagi o‘n oltita majburiy kichik bo‘limni qaytargan-qaytarmaganini o‘lchaydi. Bo‘lim mavjudligi strukturaviy hisob-kitobda 40 foiz, kichik bo‘lim mavjudligi esa 60 foizni tashkil etadi.
The klinik komponent 55 foizni tashkil etadi va uch narsani birlashtiradi: tashxis-kalit so‘zlarni eslab qolish (klinik kichik ballning 70 foizi), baholash tizimini eslab qolish (20 foiz — dvigatel tegishli bo‘lsa Mentzer, FIB-4, HOMA-IR, ASCVD xavfi, KDIGO bosqichlash, EULAR/ACR mezonlarini hisoblaydimi), hamda ehtimollar yig‘indisi bo‘yicha haqiqiylik tekshiruvi (10 foiz — differensial ehtimollar [90, 110] oralig‘ida yig‘ilishi kerak). “Tuzoq” holatlarida aniq giper-diagnostika uchun 0.30 gacha bo‘lgan jarima ayiriladi, u soxta patologiya bayroqlari uchun 0.10 tadan hisoblanadi va uchta bayroq bilan cheklanadi.
The kechikish (latency) komponenti 10 foizni tashkil etadi. 20 soniyadan kam javob to‘liq 0.10 ball oladi, 40 soniyadan kam javob 0.05 ball oladi, undan sekinroq bo‘lsa nol ball. 20 soniyalik maqsad ishlab chiqarishdagi primary-path xizmat darajasidagi maqsadni aks ettiradi; 40 soniyalik yuqori chegara esa og‘ir dvigatel chaqiruvlari uchun Phase 2 fallback byudjetini aks ettiradi.
Pre-registration nimaning oldini oladi
Birinchi tomon benchmarklari post-hoc rubrika sozlash orqali o‘z raqamlarini shishirish bilan mashhur. Odatda naqsh deyarli bir xil: jamoa dvigatelni ishga tushiradi, qayerda yomonroq ishlashini ko‘radi, so‘ng underperform qilgan sohalar kamroq hisoblanishi uchun rubrikani jimgina sozlaydi. Rubrikani birinchi dvigatel chaqirig‘idan oldin manba kodga biriktirib, harnessni MIT litsenziya ostida e’lon qilish orqali bu sozlash versiyalarni boshqarishda ko‘rinadigan bo‘ladi. Istalgan kishi repozitoriyani klon qilishi, rubrika mualliflarining sanalarini tekshirishi va dvigatel natijalari baholashni shakllantirish uchun ishlatilmaganini tasdiqlashi mumkin.
Giperdiagnostika tuzog‘i holatlari — haddan tashqari chaqirish (over-calling) haqiqiy nosozlik rejimi nega
Normal skrininglarda patologiyani haddan tashqari “zo‘r berib” chaqirish iste’molchiga yo‘naltirilgan tibbiy assistentlarda hujjatlashtirilgan nosozlik rejimidir. Uning keyingi xarajatlariga keraksiz tekshiruv, bemor xavotiri va iatrogen tekshiruv kiradi. Ushbu benchmarkdagi ikkita “tuzoq” holati bu nosozlik rejimini ko‘rinadigan va baholanadigan qilish uchun mo‘ljallangan.
🟡 Tuzoq 1 — BT-014-GILBERT
Ko‘rinish. Umumiy bilirubini 2.4 mg/dL bo‘lgan 24 yoshli erkak. To‘g‘ridan-to‘g‘ri fraksiya normal, transaminazalar va ishqoriy fosfataza ularning mos yozishmalar diapazonida, retikulotsitlar e’tiborga molik emas va gaptoglobin hamda LDH gemolizni istisno qiladi.
To‘g‘ri talqin. Gilbert sindromi — benign UGT1A1 polimorfizmi. Talqin gepatit, sirroz, gemolitik anemiya yoki biliar obstruksiyani chaqirmasligi kerak.
V11 natija. Kompozit 1.000. Olti ta kuzatilgan ortiqcha tashxis qo‘yish bayrog‘ining hech biri faol tashxis sifatida paydo bo‘lmadi.
🟡 Tuzoq 2 — BT-015-HEALTHY
Ko‘rinish. 15 ta parametrli odatiy skrining paneli bo‘lgan 35 yoshli ayol. Har bir analit o‘zining mos yozishmalar diapazonida bemalol joylashgan.
To‘g‘ri talqin. Ishontirish va turmush tarzini saqlash. Talqin klinik jihatdan foydali ko‘rinishi uchun chegaraviy patologiyani “to‘qib chiqarishi” kerak emas.
V11 natija. 1.000 kompozit ko‘rsatkich. Kuzatilgan yettita ortiqcha tashxis (over-diagnosis) ogohlantirishlaridan hech biri — diabet, anemiya, gipotiroidizm, dislipidemiya, gepatit, buyrak kasalligi, yetishmovchilik — faol tashxis sifatida paydo bo‘lmadi.
Ikkala “trap” bo‘yicha o‘n uchta kuzatilgan gipertashxis (hyperdiagnosis) ogohlantirishlari tekshirildi. Hech biri ishga tushmadi. Bu, AI dvigatelidan triaj yoki konsultatsiyagacha (pre-consultation) vosita sifatida foydalanishni ko‘rib chiqayotgan har qanday klinisyen uchun eng muhim natijadir: tizim mavjud bo‘lmagan joyda kasallikni o‘ylab topmadi.
Mentzer indeksi: temir yetishmovchiligini talassemiya belgilaridan ajratish
Ikkinchi yuqori qiymatli topilma BT-001 (temir tanqisligi anemiyasi) holatining BT-007 (beta-talassemiya minor) holati bilan juftlanishiga taalluqlidir. Ikkalasi ham mikrositoz bilan namoyon bo‘ladi va bu sodda klassifikatorlar uchun yaxshi ma’lum bo‘lgan “to‘siq” hisoblanadi. Mentzer indeksi, MCV ni RBC soniga bo‘lib hisoblanadi, temir tanqisligida 13 dan yuqori, talassemiya belgilarida esa 13 dan past bo‘ladi.
BT-001 da bemor 34 yoshli ayol bo‘lib, gemoglobin 10.4 g/dL, MCV 72.4 fL, RBC 4.1 × 10¹²/L, ferritin 6 ng/mL va TIBC ko‘tarilgan. Taxminan 17.7 bo‘lgan Mentzer indeksi mutlaq temir tanqisligini qo‘llab-quvvatlaydi. BT-007 da bemor 28 yoshli erkak bo‘lib, mikrositoz (MCV 65.8 fL) bor, ammo RBC soni 6.2 yuqori, RDW normal, ferritin normal va HbA2 5.6 foiz. Taxminan 10.6 bo‘lgan Mentzer indeksi talassemiya belgilarini ko‘rsatadi va ko‘tarilgan HbA2 beta-talassemiya minorni tasdiqlaydi.
Ikkala holat ham 1.000 ball oldi. Dvigatel ikkala talqinda ham Mentzer indeksini aniq qo‘lladi va har safar to‘g‘ri tashxisni qaytardi. Bu butun benchmark bo‘yicha eng klinik jihatdan ishonchli (reassuring) natija, chunki talassemiya belgilarini temir tanqisligi deb noto‘g‘ri tasniflash noto‘g‘ri temir qo‘shimchasini berishga va oilaviy skrining imkoniyatlari o‘tkazib yuborilishiga olib keladi, temir tanqisligini esa talassemiya deb noto‘g‘ri tasniflash esa oddiy o‘rnini bosuvchi davolashni kechiktiradi. Bizning ferritin diapazoni bo‘yicha yo‘riqnomamiz kengroq differensial kontekstni tushuntiradi.
2026-yil aprel oyidagi ishga tushirish natijalari bo‘yicha har bir holat kesimida natijalar
O‘n beshta holatdan o‘ntasi birlamchi yo‘lda 1.000 bo‘lgan maksimal kompozit ballga erishdi. Uchta holat Phase 2 fallback orqali xizmat ko‘rsatildi; bunda 0.05 kechikish (latency) bonusi yo‘qoldi, lekin barcha klinik va strukturaviy mazmun saqlandi. Bitta holatda bitta majburiy bo‘lim yetishmadi; bittasi esa ehtimollar taqsimoti yig‘indisi biroz kamaygan holda qaytdi.
PCOS holati (BT-008) javob tuzilmasidagi majburiy bitta bo‘limchani yo‘qotdi — o‘n oltitadan o‘n besh bo‘lib, o‘n oltitadan o‘n oltita emas — bu esa strukturaviy ballni 1.000 dan 0.963 gacha pasaytirdi. SLE holati (BT-011) klinik ballni 0.965 gacha tushirgan, ammo har bir diagnostik kalit so‘z va ballash tizimini saqlab qolgan, biroz kamaygan ehtimollar-taqsimoti yig‘indisini qaytardi. Hech bir sub-ideal holat to‘g‘ri tashxisni o‘tkazib yubormadi.
Sarlavhadagi ball bizga nimani aytmaydi
Ushbu muayyan oldindan ro‘yxatdan o‘tkazilgan mezon bo‘yicha 99.12 foizlik kompozit ball deyarli “shift” darajasidagi natijani anglatadi, lekin uni ehtiyotkorlik bilan talqin qilish kerak. Natija dvigatelning bitta mezon bo‘yicha, har biri bir martadan baholangan, o‘n beshta ehtiyotkorlik bilan tanlangan anonimlashtirilgan holatga nisbatan qanday ishlaganini tasvirlaydi. Biz raqam nimani ko‘rsatishi va nimani ko‘rsatmasligini aniq aytamiz.
Ball shuni ko‘rsatadiki, V11 dvigateli ushbu baholash uchun tanlangan diagnostik naqshlarni e’lon qilingan va takrorlanadigan metodologiya asosida to‘g‘ri bajargan. Bu dvigatel dunyoda mavjud bo‘lgan har qanday qon tahlili panelida to‘g‘ri ekanini aytmaydi. Bu dvigatel klinisyen fikrini almashtirishi kerakligini ham aytmaydi. Va bu dvigatel boshqa AI tizimlaridan ustunligini ham aytmaydi — boshqa dvigatellarga nisbatan qiyosiy tahlillar ushbu hisobot doirasidan ataylab tashqarida qoldirilgan.
Ball nimani isbotlaydiki — bu asosiy (bazaviy) ko‘rsatkich. Mezon va “harness” (sinov muhiti) ommaga ochiq bo‘lgani uchun, dvigatelning kelgusi versiyalari aynan shu o‘n beshta holatga nisbatan baholanishi mumkin, va e’lon qilingan ball bilan keyingi har qanday ishga tushirish natijasi o‘rtasidagi farqning o‘zi ham o‘lchanadi. Oldindan ro‘yxatdan o‘tkazishning qiymati shunda: u ishlash haqidagi da’volarni sinab ko‘rish mumkin bo‘lgan da’volarga aylantiradi.
10 daqiqada ushbu benchmarkni qanday qayta yaratish mumkin
Takrorlash uchun faqat Kantesti API credential jufti va Python 3.10 yoki undan keyingi muhit kerak, unda requests va reportlab kutubxonalari o‘rnatilgan bo‘lishi kerak. To‘liq “harness” MIT litsenziyasi ostida chiqarilgan bitta, o‘z ichiga olgan Python modulidir.
Yangi ishga tushirish uchun to‘rt qadam
Birinchi. Repozitoriyani klon qiling: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Ikkinchi. Bog‘liqliklarni o‘rnating: pip install -r requirements.txt. Uch. Belgilang KANTESTI_USERNAME va KANTESTI_PASSWORD muhit o‘zgaruvchilari sifatida — autentifikatsiya ma’lumotlari ish vaqtida o‘qiladi va skript ichiga hech narsa qattiq kodlanmaydi. To‘rt. Ishga tushiring python benchmark_bloodtest.py va ishchi katalogga chiqarilgan to‘rtta artefaktni ko‘rib chiqing: CSV ball jadvali, JSON ball jadvali, dvigatelning raw javoblarini ham o‘z ichiga olgan to‘liq JSON dump va inson o‘qishi uchun qulay Markdown hisoboti.
2026-yil 23-apreldagi mos yozuv (reference) ishga tushirish natijasi repository’ning results/ katalogida saqlangan. Yangi ishga tushirish yangi vaqt tamg‘ali (timestamped) ball jadvalini yaratadi, mos yozuv ishga tushirish esa o‘zgarmaydi. Agar sizning ishga tushirishingiz sezilarli darajada boshqacha natija bersa, iltimos, GitHub’da issue oching: ishga tushirish vaqt tamg‘asi va javob metadata’sida qaytarilgan dvigatel versiyasi bilan.
Cheklovlar va kelgusi ishlar
To‘rtta cheklov aniq e’tirof etilishga loyiq: tanlama hajmi, bir martalik baholash, bitta dvigatel doirasi va bitta manbadan olingan ma’lumotlar kelib chiqishi. Har biri faol davom etayotgan keyingi ishlar doirasida hal qilinmoqda.
Tanlama hajmi. Sakkizta ixtisoslik bo‘limi bo‘yicha o‘n beshta holat konsepsiyani isbotlash uchun yetarli, ammo ixtisoslik ichida kichik guruhlar tahlili uchun emas. Ellikta holatgacha kengaytirish rejalashtirilgan va u koagulyatsiya panellari, gematologik malign kasalliklar skriningi, homiladorlik panellari hamda pediatrik holatlarni o‘z ichiga oladi.
Bir martalik baholash. Har bir holat faqat bir marta baholandi. Katta til modellari hatto past sampling haroratida ham sezilarli darajada chiqish variatsiyasini namoyon qiladi, shuning uchun har bir holat uchun beshta baholash bilan ko‘p martalik (multi-run) protokol va qayd etilgan variatsiya keyingi tabiiy qadam hisoblanadi.
Bitta dvigatel doirasi. Ushbu hisobot bitta dvigatelni tavsiflaydi. Bu yerda muqobil AI tizimlar bilan taqqoslash tahlillari ko‘zda tutilmagan; biz ularni tegishli metodologiya bilan alohida mustaqil tadqiqot sifatida davom ettirishimiz mumkin.
Bitta manbadan olingan ma’lumotlar kelib chiqishi. O‘n beshta holat bitta klinik repozitoriydan olingan anonimlashtirilgan real bemor yozuvlaridir. Ular tanlab olingan (curated) namuna bo‘lib, populyatsiya uchun vakillik qiladigan tasodifiy tanlov emas. Baholashni ko‘p markazli (multi-centre) ma’lumotlarga kengaytirish yo‘l xaritasida.
Eng muhim rejalashtirilgan kengaytma — ko‘p tillilik bo‘yicha tenglik (parity). Kantesti AI Engine 75+ tilda foydalanuvchilarga xizmat qiladi va xuddi shu o‘n beshta holatli test-harnessni turkcha, nemischa, ispancha, fransuzcha va arabcha tillarda ishga tushirish dvigatel qo‘llab-quvvatlaydigan tillar bo‘yicha chiqish sifatini miqdoriy baholaydi. Har bir til bo‘yicha alohida ishga tushirishni o‘z DOI’si va harness branch’i bilan e’lon qilamiz.