Bu kıyas ölçütünün var olma nedeni ve neyi test ettiği
Yapay zeka destekli kan tahlili yorumlama, tüketici ve klinik iş akışlarında giderek daha fazla kullanılıyor; ancak laboratuvar tıbbına özel, tekrarlanabilir değerlendirme çerçeveleri hâlâ nadir. Bu bağlamda en önemli olan sorular, genel tıbbi soru-cevap kıyaslamalarında ele alınan sorular değildir: Ortalama eritrosit hacmi (MCV) aynı olduğunda bir motor demir eksikliğini talasemi taşıyıcılığından ayırabilir mi, Gilbert sendromunu hepatit olarak fazla mı teşhis eder ve tamamen normal bir tarama panelinde patoloji “üretir” mi?
Tek bir kan testi paneli, genellikle birden fazla farklı yorum için yeterli sinyal içerir ve yorum yapan klinisyenin görevi, bu yorumları birbirleriyle tartmak; bir ders kitabı cevabını geri getirmek değildir. Kitap örneklerinde iyi performans gösteren bir motor, en çok önem taşıyan vakalarda yine de başarısız olabilir: ayırıcı tanı tuzakları, tek başına bakıldığında alarm verici görünen zararsız varyantlar ve asıl olarak tamamen normal panellerin, kendinden emin yardımcıları patoloji üretmeye teşvik etmesi gibi.
Bu kıyaslama, tam olarak bu başarısızlık türleri üzerine inşa edildi. On beş vakanın her biri belirli bir tanısal özellik için seçildi: aynı ortalama korpüsküler hacme (MCV) sahip beta-talasemi taşıyıcılığından ayırt edilmesi gereken demir eksikliğiyle ilişkili mikrositoz; yalnızca izole indirekt hiperbilirubinemi bulunan bir Gilbert sendromu tablosu; ve her analitin kendi referans aralığı içinde yer aldığı on beş parametreli bir tarama paneli. Değerlendirme ölçütü, her vakayı kendi koşulları içinde okuyan motorları ödüllendirir; böyle bir tanı gerekmiyorken kendinden emin bir tanıya ulaşan motorları ise cezalandırır.
Dr. Thomas Klein olarak, vaka panelini seçtim; çünkü laboratuvar tıbbı asistanlarının en sık yanlış yaptığı desenler bunlar. Pahalı başarısızlık modu "nadir bir hastalığı kaçırmak" değildir; onu olmayan hastalarda rutin patoloji uydurmaktır. Bizim Tıbbi Doğrulama hub daha geniş çerçeveyi anlatır; bu sayfa, V11 motoru üzerindeki uygulanan sonucu açıklar.
En güncel referans çalıştırması — V11 (Nisan 2026)
Kantesti Yapay Zeka Motor V11’in Nisan 2026 referans çalışması, 99.12% önceden kaydedilmiş on beş vakalık değerlendirme ölçütünde bileşik bir skor üretti. Hiper-tanı tuzağı olan iki vaka tavan skor aldı. Mentzer indeksi, demir eksikliği ile talasemi ayırıcı tanısı bağlamında doğru şekilde uygulandı.
Bileşik formül üç bileşeni birleştirir: yapısal uygunluk yedi zorunlu rapor bölümü ve on altı zorunlu alt bölüm ile, klinik doğruluk anahtar kelime geri çağırma + puanlama sistemi geri çağırma + olasılık dağılımı geçerlilik kontrolü olarak ölçülür ve yanıt gecikmesi 20 saniyelik birincil hizmet seviyesi hedefi karşısında. Tam ayrıştırma aşağıdaki değerlendirme ölçütü formülünde gösterilmiştir.
Kalan %0,88’lik başlık payının neredeyse tamamı gecikme kaybına ayrışıyor; yani her biri yaklaşık %0,60’lık bir katkı sağlayan, her biri bileşik başına -0,05 olan üç adet Faz 2 geri dönüş çağrısı, %0,88’lik açıkta klinik içerikten ziyade gecikme kaybı oluşturdu. Motor, on beş vakanın hiçbirinde doğru tanıyı kaçırmadı; eksik kaldığı yerlerde ise, çağrıların küçük bir azınlığında 20 saniyelik birincil yol hedefinin biraz üzerinde süre aldı.
Yedi tıbbi uzmanlık alanına yayılan on beş olgu
Vaka paneli yedi uzmanlık alanını kapsar: hematoloji, endokrinoloji, metabolik tıp, hepatoloji, nefroloji, kardiyoloji, romatoloji — ayrıca iki adet özel hiperdiyagnoz tuzağı vakası. Her vaka, yazılı bilgilendirilmiş onam kapsamında Kantesti klinik veri havuzundan alınmış anonimleştirilmiş gerçek bir hasta kaydıdır.
Kimlikten arındırma, Safe Harbor yaklaşımıyla gerçekleştirildi: tüm doğrudan tanımlayıcılar kaldırıldı veya değiştirildi ve her kayda BT-NNN-LABEL biçiminde bir kıyas-içi vaka kodu atandı. İşleme,
GDPR Madde 9(2)(j) uygun güvenlik önlemleriyle bilimsel araştırma için ve eşdeğer Birleşik Krallık GDPR hükümleri uyarınca yürütüldü. Yayınlanan düzenek (harness), teknik rapor veya paylaşılan veri setlerinin hiçbir yerinde kişiyi tanımlayan bilgi bulunmaz.
Bu özel dağılımın nedeni
Hematoloji, gerçek dünyadaki laboratuvar uygulamasında en yüksek hacimli tuzaklar olan mikrositik ayırıcı tanı ve makrositik ayırıcı tanılar nedeniyle üç vaka alır. Endokrinoloji, Hashimoto, PCOS ve D vitamini eksikliği tablolarının farklı tanısal şekiller (otoantikor kaynaklı, hormon oranı kaynaklı, tek belirteç kaynaklı) ortaya koyması nedeniyle üç vaka alır. Tek vaka uzmanlıkları hâlâ anlamlıdır; çünkü CKD, ASCVD riski ve SLE’nin her birinin, motorun çağırması gereken kendine özgü bir puanlama sistemi vardır (sırasıyla KDIGO evrelemesi, ASCVD 10 yıllık riski, 2019 EULAR/ACR SLE kriterleri).
Önceden kaydedilmiş değerlendirme ölçütleri — açıklaması
Ön kayıt, bu kıyaslamadaki en önemli metodolojik tercihtir. Beklenen her tanı, her klinik puanlama sistemi ve her rapor bölümü, motor çağrılmadan önce kaynak koda taahhüt edilmiştir motor çağrılmadan önce. Bu nedenle, motoru pohpohlamak için rubriğe sonradan (post-hoc) ayar yapmak mümkün değildir.
Bileşik puanı oluşturan üç bileşen vardır. yapısal bileşen katkı sağlar ve motorun yedi zorunlu rapor bölümünü (başlık, özet, temel bulgular, ayırıcı tanı, puanlama sistemleri, öneriler, takip) ve bunların içindeki on altı zorunlu alt bölümü döndürüp döndürmediğini ölçer. Bölüm varlığı yapısal hesaplamada ağırlığa, alt bölüm varlığı ise ağırlığa sahiptir.
The klinik bileşen katkı sağlar ve üç şeyi birleştirir: tanı-kelime hatırlama (klinik alt puanın ’i), puanlama sistemi hatırlama ( — motorun gerektiğinde Mentzer, FIB-4, HOMA-IR, ASCVD riski, KDIGO evrelemesi, EULAR/ACR kriterlerini hesaplayıp hesaplamadığı), ve olasılık-toplamı geçerlilik kontrolü ( — ayırıcı tanı olasılıkları [90, 110] aralığı içinde toplamlanmalıdır). Tuzak vakalarda, uydurulmuş patoloji bayrağı başına 0.10 olacak şekilde hesaplanan ve en fazla üç bayrağa kadar sınırlandırılan, en fazla 0.30’a kadar açık bir hiperdiyagnoz cezası düşülür.
The gecikme (latency) bileşeni katkı sağlar. 20 saniyenin altındaki yanıt tam 0.10 alır, 40 saniyenin altındaki yanıt 0.05 alır ve daha yavaş her şey sıfır alır. 20 saniyelik hedef, üretim birincil-path servis seviye hedefini; 40 saniyelik tavan ise ağır motor çağrıları için Faz 2 yedek bütçesini yansıtır.
Ön kayıt neyi engeller
Birinci taraf kıyaslamalar, sonradan (post-hoc) rubrik ayarıyla kendi sayılarını şişirme konusunda meşhurdur. Desen neredeyse her zaman aynıdır: ekip motoru çalıştırır, nerede yetersiz kaldığını görür, sonra yetersiz kalan alanların daha az sayılması için rubriği sessizce ayarlar. Rubriği ilk motor çağrısından önce kaynak koda taahhüt edip harness’i MIT lisansı altında yayımladığınızda, bu ayar sürüm kontrolünde görünür hale gelir. Herkes depoyu klonlayabilir, rubrik yazar tarihlerine bakabilir ve motor sonuçlarının puanlamayı şekillendirmek için kullanılmadığını doğrulayabilir.
Hiper-tanı tuzağı vakaları — aşırı çağırmanın gerçek başarısızlık modu olması
Normal taramalarda patolojiyi agresif biçimde fazla çağırmak, tüketiciye yönelik tıbbi yardımcılar için belgelenmiş bir başarısızlık modudur. Bunun aşağı akış maliyetleri; gereksiz inceleme, hasta kaygısı ve iatrojenik değerlendirmeyi içerir. Bu kıyaslamadaki iki tuzak vaka, bu başarısızlık modunu görünür ve puanlanabilir kılmak üzere tasarlanmıştır.
🟡 Tuzak 1 — BT-014-GILBERT
Sunum. Toplam bilirubini 2.4 mg/dL olan 24 yaşında erkek. Direkt fraksiyon normaldir; transaminazlar ve alkalen fosfataz referans aralıklarının içindedir; retikülositler olağan dışı değildir ve haptoglobin ile LDH hemolizi dışlar.
Doğru yorum. Gilbert sendromu — zararsız bir UGT1A1 polimorfizmi. Yorum hepatit, siroz, hemolitik anemi veya biliyer obstrüksiyonu çağırmamalıdır.
V11 sonucu. Bileşik 1.000. İzlenen altı aşırı-tanı bayrağının hiçbiri aktif tanı olarak görünmedi.
🟡 Tuzak 2 — BT-015-SAĞLIKLI
Sunum. On beş parametreli rutin tarama paneline sahip 35 yaşında kadın. Her analit referans aralığının içinde rahatça yer alır.
Doğru yorum. Güvence ve yaşam tarzı sürdürümü. Yorumlama, klinik açıdan faydalıymış gibi görünmesi için sınırda patoloji uydurmamalıdır.
V11 sonucu. Bileşik 1.000. Yedi izlenen aşırı tanı uyarısından hiçbiri — diyabet, anemi, hipotiroidi, dislipidemi, hepatit, böbrek hastalığı, eksiklik — aktif tanı olarak ortaya çıkmadı.
Her iki tuzakta da on üç izlenen hiperdiyagnoz uyarısı kontrol edildi. Hiçbiri tetiklenmedi. Bu, bir klinisyenin bir yapay zeka motorunu triage (önceliklendirme) veya konsültasyon öncesi araç olarak kullanmayı düşünmesi açısından en çok önem taşıyan sonuçtur: sistem, var olmayan yerde hastalık icat etmedi.
Mentzer indeksi: demir eksikliğini talasemi taşıyıcılığından ayırma
İkinci yüksek değerli bulgu, olgu BT-001’in (demir eksikliği anemisi) olgu BT-007 ile (beta-talasemi minör) eşleştirilmesidir. Her ikisi de mikrositoz ile seyreder ve saf sınıflandırıcılar için iyi bilinen bir takılma noktasıdır. MCV’nin RBC sayısına bölünmesiyle hesaplanan Mentzer indeksi, demir eksikliğinde 13’ün üzerindedir; talasemi taşı durumunda ise 13’ün altına düşer.
BT-001’de hasta 34 yaşında bir kadındı; hemoglobin 10.4 g/dL, MCV 72.4 fL, RBC 4.1 × 10¹²/L, ferritin 6 ng/mL ve TIBC yüksekliği vardı. Yaklaşık 17.7’lik Mentzer indeksi mutlak demir eksikliğini destekler. BT-007’de hasta 28 yaşında bir erkekti; mikrositoz (MCV 65.8 fL) vardı ancak RBC sayısı 6.2 ile yüksekti, RDW normaldi, ferritin normaldi ve HbA2 %5.6 idi. Yaklaşık 10.6’lık Mentzer indeksi talasemi taşı durumunu gösterir ve yükselmiş HbA2 beta-talasemi minörü doğrular.
Her iki olgu da 1.000 puan aldı. Motor, her iki yorumda da Mentzer indeksini açıkça kullandı ve her seferinde doğru tanıyı döndürdü. Bu, tüm benchmark’ta klinik açıdan en çok güven veren tek sonuçtur, çünkü talasemi taşı durumunu demir eksikliği olarak yanlış sınıflandırmak uygunsuz demir takviyesi yapılmasına ve aile taraması fırsatlarının kaçırılmasına yol açar; demir eksikliğini talasemi olarak yanlış sınıflandırmak ise basit replasman tedavisini geciktirir. Bizim ferritin aralığı rehberimiz daha geniş ayırıcı tanı bağlamını açıklar.
Nisan 2026 çalıştırmasından vaka bazlı sonuçlar
On beş vakanın on ikisi, birincil pat üzerinde birincil bileşik puan olan 1.000 tavanına ulaştı. Üç vaka Faz 2 geri dönüşü üzerinden sunuldu; klinik ve yapısal tüm içerik korunurken 0.05 gecikme (latency) bonusu kaybedildi. Bir vakada tek bir zorunlu alt bölüm eksikti; bir vaka ise marjinal olarak azaltılmış bir olasılık dağılımı toplamı döndürdü.
PCOS vakası (BT-008), yanıt yapısında tek bir zorunlu alt bölümü kaybetti — on altıdan on altı yerine on beşten on altı — bu da yapısal puanı 1,000’den 0,963’e düşürdü. SLE vakası (BT-011), klinik puanı 0,965’e düşüren ancak her tanısal anahtar kelimeyi ve puanlama sistemini koruyan marjinal olarak azaltılmış bir olasılık-dağılımı toplamı döndürdü. İki kusurlu olmayan vakadan hiçbiri doğru tanıyı kaçırmadı.
Başlık skorunun bize söylemediği şey
Bu özel önceden kayıtlı ölçüte göre 99,12 yüzde birleşik bir puan, tavan seviyeye yakın performansı temsil eder; ancak dikkatli bir çerçevelemeyi hak eder. Sonuç, motorun, her biri bir kez değerlendirilmiş, dikkatle seçilmiş on beş anonim vaka karşısındaki davranışını tek bir ölçütle anlatır. Sayının neyi ve neyi kanıtlamadığını açıkça belirtiyoruz.
Puan, V11 motorunun bu değerlendirme için seçilen tanısal örüntüleri yayımlanmış ve tekrarlanabilir bir yöntemle doğru şekilde ele aldığını söyler. Motorun, doğada var olan her kan testi panelinde doğru olduğu anlamına gelmez. Motorun klinisyen muhakemesinin yerini alması gerektiğini de söylemez. Ayrıca motorun alternatif yapay zeka sistemlerinden daha iyi performans gösterdiğini de söylemez — diğer motorlarla karşılaştırmalı analizler bu raporun kapsamı dışında özellikle bırakılmıştır.
Puanın ortaya koyduğu şey bir temel değerdir. Ölçüt ve düzenek herkese açık olduğundan, motorun gelecekteki sürümleri aynı on beş vaka üzerinden değerlendirilebilir ve yayımlanan puan ile sonraki herhangi bir çalıştırma arasındaki farkın kendisi de ölçülebilir. Ön kayıtlamanın değeri budur: performans iddialarını test edilebilir iddialara dönüştürür.
Bu kıyaslamayı 10 dakikada nasıl yeniden üretirsiniz
Yeniden üretim için yalnızca Kantesti bir API kimlik bilgisi çifti ve Python 3.10 veya daha sonraki bir ortam gerekir; requests Ve reportlab kütüphaneleri yüklü olmalıdır. Tam düzenek, MIT lisansı altında yayımlanmış tek parça, kendi kendine yeterli bir Python modülüdür.
Taze bir çalıştırma için dört adım
Bir. Depoyu klonlayın: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. İki. requirements.txt dosyasını kullanarak bağımlılıkları yükleyin pip install -r requirements.txt. Üç. Şunu ayarlayın KANTESTI_USERNAME Ve KANTESTI_PASSWORD ortam değişkenleri olarak — kimlik bilgileri çalışma zamanında okunur ve betikte hiçbir şey sabit kodlanmaz. Dört. Şunu çalıştırın python benchmark_bloodtest.py ve çalışma dizinine yayılan dört çıktıyı inceleyin: bir CSV skor kartı, bir JSON skor kartı, ham motor yanıtlarını da içeren tam bir JSON dökümü ve insan tarafından okunabilir bir Markdown raporu.
23 Nisan 2026 tarihli referans çalışması, şurada saklanır: results/ deponun dizini. Yeni bir çalışma, referans çalışmayı bozmadan yeni bir zaman damgalı skor kartı üretecektir. Çalışmanız anlamlı ölçüde farklı bir sonuç üretirse, lütfen çalışmanın zaman damgası ve yanıt üst verilerinde dönen motor sürümüyle birlikte bir GitHub sorunu açın.
Sınırlılıklar ve gelecek çalışmalar
Dört sınırlılık açıkça kabul edilmelidir: örneklem büyüklüğü, tek seferlik değerlendirme, tek motor kapsamı ve tek kaynak veri kökeni. Her biri, devam eden takip çalışmalarıyla ele alınmaktadır.
Örneklem büyüklüğü. Sekiz uzmanlık grubuna yayılan on beş olgu, bir kavram kanıtı için yeterlidir; ancak uzmanlık içi alt grup analizi için yeterli değildir. Elli olguya genişletme planlanmıştır ve pıhtılaşma panelleri, hematolojik malignite taraması, gebelik panelleri ve pediatrik başvuruları içerecektir.
Tek seferlik değerlendirme. Her olgu yalnızca bir kez değerlendirildi. Büyük dil modelleri, düşük örnekleme sıcaklığında bile önemsiz olmayan çıktı değişkenliği sergiler; bu nedenle olgu başına beş değerlendirmeyle çoklu çalıştırma protokolü ve bildirilen varyans doğal bir sonraki adımdır.
Tek motor kapsamı. Bu rapor tek bir motoru tanımlar. Burada alternatif yapay zeka sistemlerine karşı karşılaştırmalı analizler kapsam dışıdır; uygun yöntemle bunları ayrı bir bağımsız çalışma olarak sürdürebiliriz.
Tek kaynak veri kökeni. On beş olgu, tek bir klinik depodan alınan anonimleştirilmiş gerçek hasta kayıtlarıdır. Bunlar seçilmiş bir örneği temsil eder ve popülasyon temsili rastgele bir çekim değildir. Değerlendirmeyi çok merkezli verilere genişletmek yol haritasındadır.
Planlanan en etkili genişletme çok dilli eşdeğerliktir. Kantesti Yapay Zeka Motoru, 75+ dilde kullanıcılara hizmet verir ve aynı on beş olguluk test düzeneğini Türkçe, Almanca, İspanyolca, Fransızca ve Arapça ile çalıştırmak, motorun desteklediği diller genelinde çıktı kalitesini nicel olarak ölçecektir. Her dil için yapılan çalışmayı, kendi DOI’si ve test düzeneği dalıyla birlikte yayımlayacağız.