یہ بینچمارک کیوں موجود ہے اور یہ کیا جانچتا ہے
اے آئی کی مدد سے خون کے ٹیسٹ کی رپورٹ کی تشریح صارفین اور کلینیکل ورک فلو میں تیزی سے استعمال ہو رہی ہے، مگر لیبارٹری میڈیسن کے مطابق قابلِ تکرار (reproducible) تشخیصی فریم ورک اب بھی کم ہیں۔ اس سیاق میں سب سے اہم سوالات وہ نہیں جو عمومی میڈیکل سوال-جواب بینچ مارکس میں کور ہوتے ہیں: کیا جب mean corpuscular volume ایک جیسا ہو تو ایک انجن آئرن ڈیفیشنسی کو تھیلیسیمیا ٹریٹ سے الگ کر سکتا ہے، کیا وہ Gilbert's syndrome کو ہیپاٹائٹس کے طور پر اوور-ڈائیگنوز کرتا ہے، اور کیا وہ مکمل طور پر نارمل اسکریننگ پینل میں پیتھالوجی “بنا” دیتا ہے؟
ایک واحد خون کے ٹیسٹ کا پینل عموماً اتنا سگنل رکھتا ہے کہ کئی متبادل تشریحات کی گنجائش بن جائے، اور تشریح کرنے والے معالج کا کام یہ ہوتا ہے کہ وہ ان تشریحات کو ایک دوسرے کے مقابلے میں تولے، نہ کہ کسی درسی کتاب کے جواب کو محض نکال کر پیش کرے۔ جو انجن درسی کتاب والے کیسز میں اچھا کارکردگی دکھاتا ہے وہ پھر بھی اُن کیسز میں ناکام ہو سکتا ہے جو سب سے زیادہ اہم ہیں: تفریقِ تشخیص کے وہ جال، وہ بے ضرر مختلف حالتیں جو اکیلے میں خطرناک لگتی ہیں، اور وہ مکمل نارمل پینلز جو پراعتماد اسسٹنٹس کو پیتھالوجی “گھڑنے” پر آمادہ کر دیتے ہیں۔.
یہ بینچمارک انہی ناکامی کے طریقوں کے گرد بنایا گیا تھا۔ پندرہ میں سے ہر کیس کو کسی مخصوص تشخیصی خصوصیت کے لیے منتخب کیا گیا: آئرن کی کمی سے ہونے والی مائیکروسائٹوسس کو بیٹا تھیلیسیمیا ٹریٹ سے الگ رکھنا ضروری تھا، جس میں ایک جیسا mean corpuscular volume ہوتا ہے؛ جِلبرٹ سنڈروم کی پیشکش جہاں واحد غیر معمولی بات ایک الگ تھلگ indirect hyperbilirubinaemia ہے؛ اور ایک پندرہ-پیرامیٹر اسکریننگ پینل جس میں ہر اینالائٹ اپنی reference range کے اندر موجود ہے۔ یہ روبریک اُن انجنز کو انعام دیتا ہے جو ہر کیس کو اپنے اپنے تناظر میں پڑھتے ہیں، اور اُن انجنز کو سزا دیتا ہے جو ایسی پراعتماد تشخیص تک پہنچ جائیں جہاں ایسی تشخیص کی کوئی گنجائش نہیں۔.
ڈاکٹر تھامس کلائن کے طور پر، میں نے کیس پینل اس لیے منتخب کیا کیونکہ یہی وہ پیٹرنز ہیں جو میں سب سے زیادہ لیبارٹری میڈیسن اسسٹنٹس کو غلط کرتے ہوئے دیکھتا ہوں۔. مہنگی ناکامی کا طریقہ "کوئی نایاب بیماری چھوٹ جانا" نہیں ہے — بلکہ اُن مریضوں میں معمول کی پیتھالوجی گھڑ دینا ہے جن میں وہ موجود ہی نہیں ہوتی۔. ہماری طبی توثیق hub وسیع فریم ورک بیان کرتا ہے؛ یہ صفحہ V11 انجن پر اس کا اطلاقی نتیجہ بیان کرتا ہے۔.
تازہ ترین ریفرنس رن — V11 (اپریل 2026)
اپریل 2026 میں Kantesti AI Engine V11 کی reference run نے ایک composite score پیدا کیا: 99.12% pre-registered پندرہ-کیس روبریک پر۔ دونوں hyperdiagnosis trap کیسز ceiling تک پہنچ گئے۔ Mentzer index کو آئرن کی کمی بمقابلہ تھیلیسیمیا کی تفریق میں درست طریقے سے لاگو کیا گیا۔.
composite فارمولا تین اجزاء کو ملا کر بنتا ہے: structural conformance سات لازمی رپورٹ سیکشنز اور سولہ لازمی ذیلی سیکشنز کے ساتھ،, clinical accuracy جسے keyword recall کے ساتھ scoring-system recall اور probability-distribution validity check کے ذریعے ناپا گیا، اور response latency 20 سیکنڈ کے بنیادی primary-path service-level ہدف کے مقابلے میں۔ درست تجزیہ نیچے روبریک فارمولا میں دکھایا گیا ہے۔.
ہیڈ روم کے باقی ماندہ 0.88 فیصد پوائنٹس تقریباً مکمل طور پر latency loss میں تحلیل ہوتے ہیں — Phase 2 کے تین fallback invocations میں سے ہر ایک نے منفی 0.05 کے حساب سے تقریباً 0.60 حصہ ڈالا، جو 0.88 پوائنٹس کے خسارے میں شامل تھا — بجائے اس کے کہ وہ طبی مواد میں تبدیل ہوتے۔ انجن نے پندرہ میں سے کسی بھی کیس میں درست تشخیص سے محرومی نہیں کی؛ جہاں یہ کم پڑا، وہاں اس نے چند invocations کی ایک چھوٹی اقلیت میں 20 سیکنڈ کے بنیادی-path ہدف سے معمولی زیادہ وقت لے کر کمی پوری کی۔.
سات طبی تخصصات میں پندرہ کیسز
کیس پینل سات خصوصیات کا احاطہ کرتا ہے — hematology، endocrinology، metabolic medicine، hepatology، nephrology، cardiology، rheumatology — نیز دو وقف شدہ hyperdiagnosis trap کیسز۔ ہر کیس ایک گمنام حقیقی مریض ریکارڈ ہے جو تحریری باخبر رضامندی کے تحت Kantesti کلینیکل ڈیٹا ریپوزٹری سے لیا گیا ہے۔.
ڈی-آئیڈینٹیفیکیشن Safe Harbor طریقہ کے تحت کی گئی: تمام براہِ راست شناخت کنندہ عناصر ہٹا دیے گئے یا تبدیل کیے گئے، اور ہر ریکارڈ کو BT-NNN-LABEL کی شکل میں ایک benchmark-internal کیس کوڈ تفویض کیا گیا۔ پروسیسنگ اس کے مطابق کی گئی GDPR آرٹیکل 9(2)(j) مناسب حفاظتی اقدامات کے ساتھ سائنسی تحقیق کے لیے، اور برطانیہ کے مساوی UK GDPR کے دفعات کے مطابق۔ شائع شدہ harness، تکنیکی رپورٹ، یا جاری کردہ ڈیٹاسیٹس میں کہیں بھی کوئی ذاتی طور پر شناخت کرنے والی معلومات موجود نہیں۔.
یہ مخصوص تقسیم کیوں
ہیمٹولوجی کو تین کیسز ملتے ہیں کیونکہ مائیکروسائٹک ڈفرینشل اور میکروسائٹک ڈفرینشل حقیقی دنیا کی لیبارٹری پریکٹس میں سب سے زیادہ حجم والے “ٹرَپس” ہیں۔ اینڈوکرینولوجی کو تین کیسز ملتے ہیں کیونکہ ہاشموٹو، PCOS، اور وٹامن ڈی کی کمی کی پیشکشیں مختلف تشخیصی شکلیں اختیار کرتی ہیں (آٹو اینٹی باڈی سے چلنے والی، ہارمون ریشو سے چلنے والی، اور ایک ہی مارکر سے چلنے والی)۔ سنگل کیس والی خصوصیات اب بھی معنی رکھتی ہیں کیونکہ ہر CKD، ASCVD رسک، اور SLE کا اپنا اسکورنگ سسٹم ہے جسے انجن کو استعمال کرنا چاہیے (بالترتیب KDIGO اسٹیجنگ، ASCVD 10 سالہ رسک، اور 2019 EULAR/ACR SLE معیار)۔.
پہلے سے رجسٹرڈ روبریک کی وضاحت
پری رجسٹریشن اس بینچمارک میں واحد سب سے اہم طریقہ کار (methodological) انتخاب ہے۔ ہر متوقع تشخیص، ہر کلینیکل اسکورنگ سسٹم، اور ہر رپورٹ سیکشن کو سورس کوڈ میں کمٹ کیا گیا اس سے پہلے کہ انجن کو invoke کیا جائے. ۔ اس لیے انجن کو خوش کرنے کے لیے روبریک کی پوسٹ ہاک ٹیوننگ ممکن نہیں۔.
جامع اسکور (composite score) تین اجزاء پر مشتمل ہے۔ ساختی (structural) جزو 35 فیصد حصہ ڈالتا ہے اور یہ ناپتا ہے کہ آیا انجن نے سات لازمی رپورٹ سیکشنز (ہیڈر، سمری، کلیدی نتائج، ڈفرینشل، اسکورنگ سسٹمز، سفارشات، فالو اپ) اور ان کے اندر موجود سولہ لازمی سب سیکشنز واپس کیے یا نہیں۔ سیکشن کی موجودگی ساختی حساب میں 40 فیصد وزن رکھتی ہے اور سب سیکشن کی موجودگی 60 فیصد وزن رکھتی ہے۔.
دی کلینیکل (clinical) جزو 55 فیصد حصہ ڈالتا ہے اور تین چیزوں کو ملا کر بنتا ہے: تشخیص-کلیدی لفظ یادداشت (کلینیکل سب اسکور کا 70 فیصد)، اسکورنگ سسٹم یادداشت (20 فیصد — کیا انجن متعلقہ صورتوں میں Mentzer، FIB-4، HOMA-IR، ASCVD رسک، KDIGO اسٹیجنگ، EULAR/ACR معیار کا حساب لگاتا ہے)، اور احتمال-جمع (probability-sum) کی درستگی جانچ (10 فیصد — ڈفرینشل احتمالات کا مجموعہ [90, 110] وقفے کے اندر ہونا چاہیے)۔ ٹریپ کیسز کے لیے، زیادہ تشخیص (hyperdiagnosis) کی واضح پینلٹی زیادہ سے زیادہ 0.30 تک منہا کی جاتی ہے، جو فی گھڑت پیتھالوجی فلیگ 0.10 کے حساب سے نکالی جاتی ہے، اور زیادہ سے زیادہ تین فلیگز تک محدود ہے۔.
دی لیٹنسی (latency) جزو 10 فیصد حصہ ڈالتا ہے۔ 20 سیکنڈ سے کم میں جواب دینے پر پورا 0.10 ملتا ہے، 40 سیکنڈ سے کم میں جواب پر 0.05 ملتا ہے، اور اس سے سست کسی بھی چیز پر صفر ملتا ہے۔ 20 سیکنڈ کا ہدف پروڈکشن پرائمری-پاتھ سروس لیول آبجیکٹو کو ظاہر کرتا ہے؛ 40 سیکنڈ کی حد فیز 2 کے لیے بھاری انجن invocations کی بیک اپ بجٹ کو ظاہر کرتی ہے۔.
پری رجسٹریشن کیا روکتی ہے
فرسٹ پارٹی بینچمارکس اپنے نمبرز کو پوسٹ ہاک روبریک ٹیوننگ کے ذریعے بڑھا چڑھا کر دکھانے کے لیے بدنام ہیں۔ پیٹرن تقریباً ہمیشہ ایک جیسا ہوتا ہے: ٹیم انجن چلاتی ہے، دیکھتی ہے کہ کہاں کم کارکردگی ہے، پھر خاموشی سے روبریک کو ایڈجسٹ کر دیتی ہے تاکہ کم کارکردگی والے حصے کم وزن کے ساتھ شمار ہوں۔ پہلی انجن کال سے پہلے روبریک کو سورس کوڈ میں کمٹ کر کے اور ہارنس کو MIT لائسنس کے تحت پبلش کر کے، یہ ایڈجسٹمنٹ ورژن کنٹرول میں نظر آ جاتی ہے۔ کوئی بھی ریپوزٹری کلون کر سکتا ہے، روبریک کے مصنفین کی تاریخیں چیک کر سکتا ہے، اور یہ تصدیق کر سکتا ہے کہ انجن کے نتائج کو اسکورنگ کو شکل دینے کے لیے استعمال نہیں کیا گیا۔.
ہائپرڈیگنوسس ٹریپ کیسز — کیوں زیادہ کال کرنا اصل ناکامی کا طریقہ ہے
نارمل اسکرینز پر پیتھالوجی کو بے حد زیادہ کال کرنا کنزیومر-فرنٹڈ میڈیکل اسسٹنٹس میں ایک دستاویزی ناکامی کا طریقہ (failure mode) ہے۔ اس کے بعد کے اخراجات میں غیر ضروری تحقیقات، مریض کی بے چینی، اور iatrogenic workup شامل ہیں۔ اس بینچمارک کے دو ٹریپ کیسز اس ناکامی کے طریقے کو واضح اور اسکور ایبل بنانے کے لیے ڈیزائن کیے گئے ہیں۔.
🟡 ٹریپ 1 — BT-014-GILBERT
پیشکش (Presentation)۔. ایک 24 سالہ مرد جس کا کل بلیروبن 2.4 mg/dL ہے۔ ڈائریکٹ حصہ نارمل ہے، ٹرانسامینیز اور الکلائن فاسفیٹیز اپنی ریفرنس رینجز کے اندر ہیں، ریٹیکولوسائٹس غیر نمایاں ہیں، اور ہاپٹوگلوبن اور LDH ہیمولائسز کو خارج کرتے ہیں۔.
درست تشریح (Correct interpretation)۔. گلبرٹ کا سنڈروم — ایک benign UGT1A1 پولیمورفزم۔ تشریح میں ہیپاٹائٹس، سروسس، ہیمولائٹک اینیمیا، یا بائلری آبسٹرکشن کو invoke نہیں کرنا چاہیے۔.
V11 نتیجہ۔. جامع 1.000۔ چھ میں سے کوئی بھی مانیٹر کیے گئے اوور-ڈائگنوسس فلیگ فعال تشخیص کے طور پر ظاہر نہیں ہوئے۔.
🟡 ٹریپ 2 — BT-015-HEALTHY
پیشکش (Presentation)۔. ایک 35 سالہ خاتون جس کا پندرہ پیرامیٹرز پر مشتمل معمول کا روٹین اسکریننگ پینل ہے۔ ہر اینالائٹ اپنی ریفرنس رینج کے اندر آرام سے موجود ہے۔.
درست تشریح (Correct interpretation)۔. اطمینان اور طرزِ زندگی کی دیکھ بھال۔ تشریح کو ایسا کوئی حدبندی (borderline) والا مرض گھڑنا نہیں چاہیے تاکہ اسے طبی طور پر مفید دکھایا جا سکے۔.
V11 نتیجہ۔. جامع اسکور 1.000۔ سات میں سے کوئی بھی مانیٹر کی گئی اوور-ڈائیگنوسس (over-diagnosis) کی وارننگ—ذیابیطس، خون کی کمی (anaemia)، ہائپوتھائرائیڈزم، ڈس لپیڈیمیا، ہیپاٹائٹس، گردے کی بیماری، کمی (deficiency)—فعال تشخیص کے طور پر سامنے نہیں آئی۔.
دونوں ٹریپس (traps) میں تیرہ مانیٹر کی گئی ہائپر-ڈائیگنوسس (hyperdiagnosis) وارننگز چیک کی گئیں۔ کوئی بھی ٹرگر نہیں ہوئی۔ یہ وہ نتیجہ ہے جو کسی بھی معالج کے لیے سب سے زیادہ اہمیت رکھتا ہے جو AI انجن کو ٹرائیج یا پری-کنسلٹیشن ٹول کے طور پر استعمال کرنے پر غور کر رہا ہو: نظام نے جہاں کوئی بیماری موجود نہیں تھی وہاں بیماری ایجاد نہیں کی.
مینٹزر انڈیکس: آئرن کی کمی کو تھیلیسیمیا ٹریٹ سے الگ کرنا
ایک اور اعلیٰ قدر والا نتیجہ کیس BT-001 (آئرن ڈیفیشنسی اینیمیا) اور کیس BT-007 (بیٹا تھیلیسیمیا مائنر) کی جوڑی سے متعلق ہے۔ دونوں میں مائیکروسائٹوسس (microcytosis) موجود ہوتا ہے اور یہ نادان (naive) کلاسیفائرز کے لیے ایک معروف رکاوٹ ہے۔ مینٹزر انڈیکس، جو MCV کو RBC کی تعداد سے تقسیم کر کے نکالا جاتا ہے، آئرن ڈیفیشنسی میں 13 سے زیادہ اور تھیلیسیمیا ٹریٹ میں 13 سے کم ہوتا ہے۔.
BT-001 میں مریضہ 34 سالہ خاتون تھیں جن کا ہیموگلوبن 10.4 g/dL، MCV 72.4 fL، RBC 4.1 × 10¹²/L، فیرِٹِن 6 ng/mL، اور TIBC بلند تھا۔ تقریباً 17.7 کا مینٹزر انڈیکس واضح (absolute) آئرن ڈیفیشنسی کی تائید کرتا ہے۔ BT-007 میں مریض 28 سالہ مرد تھے جن میں مائیکروسائٹوسس (MCV 65.8 fL) تو تھا مگر RBC کی تعداد 6.2 زیادہ تھی، RDW نارمل تھا، فیرِٹِن نارمل تھا، اور HbA2 5.6 فیصد تھا۔ تقریباً 10.6 کا مینٹزر انڈیکس تھیلیسیمیا ٹریٹ کی طرف اشارہ کرتا ہے، اور بلند HbA2 بیٹا تھیلیسیمیا مائنر کی تصدیق کرتا ہے۔.
دونوں کیسز کا اسکور 1.000 تھا۔ انجن نے دونوں تشریحات میں مینٹزر انڈیکس کو واضح طور پر استعمال کیا اور ہر بار درست تشخیص واپس کی۔. یہ پورے بینچمارک میں واحد سب سے زیادہ طبی طور پر اطمینان بخش نتیجہ ہے, ، کیونکہ تھیلیسیمیا ٹریٹ کو آئرن ڈیفیشنسی کے طور پر غلط درجہ بندی کرنے سے آئرن کی غیر مناسب سپلیمنٹیشن ہو جاتی ہے اور فیملی اسکریننگ کے مواقع چھوٹ جاتے ہیں، جبکہ آئرن ڈیفیشنسی کو تھیلیسیمیا کے طور پر غلط درجہ بندی کرنے سے سادہ متبادل تھراپی میں تاخیر ہوتی ہے۔ ہماری فیریٹین رینج گائیڈ وسیع تر تفریقی (differential) سیاق کی وضاحت کرتی ہے۔.
اپریل 2026 کی رن سے فی کیس نتائج
پندرہ میں سے بارہ کیسز نے بنیادی پاتھ (primary path) پر زیادہ سے زیادہ جامع اسکور 1.000 حاصل کیا۔ تین کیسز کو فیز 2 کے بیک اپ (fallback) کے ذریعے سروس کیا گیا، جس سے 0.05 لیٹنسی بونس ضائع ہوا جبکہ تمام طبی اور ساختی مواد برقرار رہا۔ ایک کیس میں ایک واحد لازمی سب سیکشن (subsection) غائب تھا؛ ایک کیس نے معمولی طور پر کم شدہ احتمال (probability) تقسیم کا مجموعہ واپس کیا۔.
PCOS کا کیس (BT-008) نے جواب کی ساخت میں ایک لازمی ذیلی سیکشن کھو دیا — سولہ میں سے پندرہ — یعنی سولہ میں سے سولہ کے بجائے پندرہ میں سے سولہ — جس سے ساختی اسکور 1.000 سے کم ہو کر 0.963 رہ گیا۔ SLE کا کیس (BT-011) نے ایک معمولی طور پر کم شدہ probability-distribution sum واپس کیا جس سے کلینیکل اسکور 0.965 تک گر گیا، جبکہ ہر تشخیصی کلیدی لفظ اور اسکورنگ سسٹم محفوظ رہا۔ دونوں ذیلی-درست کیسز میں کوئی بھی درست تشخیص چھوٹ نہیں گئی۔.
ہیڈ لائن اسکور ہمیں کیا نہیں بتاتا
اس مخصوص pre-registered rubric کے تحت 99.12 فیصد کا composite اسکور قریباً ceiling کارکردگی کی نمائندگی کرتا ہے، مگر اسے احتیاط سے سیاق میں رکھنا چاہیے۔ یہ نتیجہ انجن کے رویّے کو پندرہ منتخب کردہ گمنام کیسز کے مقابلے میں بیان کرتا ہے، جنہیں ہر ایک بار جانچا گیا، اور ایک ہی rubric کے تحت۔ ہم واضح کرتے ہیں کہ یہ عدد کیا ثابت کرتا ہے اور کیا نہیں۔.
اسکور یہ بتاتا ہے کہ V11 انجن نے اس تشخیص کے لیے منتخب کردہ پیٹرنز کو درست طریقے سے ہینڈل کیا، ایک ایسی methodology کے ساتھ جو شائع شدہ اور قابلِ تکرار ہے۔ یہ نہیں کہتا کہ انجن دنیا میں موجود ہر خون کے ٹیسٹ پینل پر درست ہے۔ یہ نہیں کہتا کہ انجن کو کلینیشن کے فیصلے کی جگہ لینا چاہیے۔ اور یہ بھی نہیں کہتا کہ انجن متبادل اے آئی سسٹمز سے بہتر ہے — دیگر انجنوں کے مقابلے میں comparative analyses جان بوجھ کر اس رپورٹ کے دائرۂ کار سے باہر رکھی گئی تھیں۔.
اسکور جو چیز ثابت کرتا ہے وہ ایک baseline ہے۔ چونکہ rubric اور harness عوامی ہیں، اس لیے انجن کے مستقبل کے ورژنز کو انہی پندرہ کیسز کے مقابلے میں جانچا جا سکتا ہے، اور شائع شدہ اسکور اور کسی بھی بعد کے رن کے درمیان فرق خود قابلِ پیمائش ہے۔ pre-registration کی یہی قدر ہے: یہ کارکردگی کے دعووں کو قابلِ جانچ دعووں میں بدل دیتا ہے.
10 منٹ میں اس بینچ مارک کو کیسے دوبارہ بنایا جائے
تکرار کے لیے صرف ایک Kantesti API credential pair اور Python 3.10 یا بعد کا ماحول درکار ہے جس میں requests اور reportlab لائبریریز انسٹال ہوں۔ مکمل harness ایک ہی self-contained Python ماڈیول ہے جو MIT لائسنس کے تحت جاری کیا گیا ہے۔.
تازہ رن کے لیے چار مراحل
پہلا۔. ریپوزٹری کلون کریں: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. دوسرا۔. requirements.txt کے ساتھ ڈپینڈنسیز انسٹال کریں pip install -r requirements.txt. تین۔. سیٹ کریں KANTESTI_USERNAME اور KANTESTI_PASSWORD بطور environment variables — اسناد (credentials) رن ٹائم پر پڑھی جاتی ہیں اور اسکرپٹ میں کچھ بھی ہارڈ کوڈ نہیں کیا گیا۔. چار۔. چلائیں python benchmark_bloodtest.py اور ورکنگ ڈائریکٹری میں خارج ہونے والے چار artefacts کا معائنہ کریں: ایک CSV scorecard، ایک JSON scorecard، ایک مکمل JSON ڈمپ جس میں raw engine responses شامل ہوں، اور ایک انسان کے پڑھنے کے قابل Markdown رپورٹ۔.
23 اپریل 2026 کی reference run کو محفوظ رکھا گیا ہے results/ ریپوزٹری کی ڈائریکٹری میں۔ ایک نئی run نیا ٹائم اسٹیمپڈ scorecard تیار کرے گی جبکہ reference run کو ویسے ہی چھوڑ دے گی۔ اگر آپ کی run کوئی معنی خیز طور پر مختلف نتیجہ پیدا کرے، تو براہِ کرم GitHub issue کھولیں جس میں run timestamp اور response metadata میں واپس آنے والا engine version شامل ہو۔.
حدود اور آئندہ کام
چار حدود (limitations) کو واضح طور پر تسلیم کرنا ضروری ہے: نمونہ سائز (sample size)، سنگل شاٹ تشخیص (single-shot evaluation)، سنگل انجن دائرہ کار (single-engine scope)، اور سنگل سورس ڈیٹا اصل (single-source data origin)۔ ان میں سے ہر ایک کو فعال فالو اپ کام میں حل کیا جا رہا ہے۔.
نمونہ سائز۔. آٹھ specialty buckets میں پندرہ کیسز proof of concept کے لیے کافی ہیں، لیکن کسی specialty کے اندر subgroup analysis کے لیے نہیں۔ پچاس کیسز تک توسیع کا منصوبہ ہے اور اس میں coagulation panels، haematological malignancy screening، pregnancy panels، اور بچوں (paediatric) کی پیشکشیں شامل ہوں گی۔.
سنگل شاٹ تشخیص۔. ہر کیس کو صرف ایک بار جانچا گیا۔ بڑے لینگویج ماڈلز کم sampling temperature پر بھی غیر معمولی (non-trivial) output variance دکھاتے ہیں، اس لیے فی کیس پانچ evaluations کے ساتھ multi-run پروٹوکول اور رپورٹ کی گئی variance اگلا فطری قدم ہے۔.
سنگل انجن دائرہ کار۔. یہ رپورٹ ایک ہی انجن کی خصوصیات بیان کرتی ہے۔ متبادل AI سسٹمز کے مقابلے میں comparative analyses یہاں دائرۂ کار سے باہر ہیں؛ ہم مناسب طریقۂ کار کے ساتھ انہیں ایک الگ آزاد مطالعہ کے طور پر کر سکتے ہیں۔.
سنگل سورس ڈیٹا اصل۔. یہ پندرہ کیسز ایک ہی کلینیکل ریپوزٹری سے لیے گئے حقیقی مریضوں کے ریکارڈز ہیں جنہیں anonymised کیا گیا ہے۔ یہ ایک curated sample کی نمائندگی کرتے ہیں اور آبادی کے نمائندہ (population-representative) بے ترتیب انتخاب (random draw) نہیں ہیں۔ تشخیص کو multi-centre ڈیٹا تک بڑھانا روڈ میپ میں شامل ہے۔.
سب سے زیادہ اثر انداز ہونے والی منصوبہ بند توسیع multi-language parity ہے۔ Kantesti AI Engine 75+ زبانوں میں صارفین کو سہولت دیتا ہے، اور ترکی، جرمن، ہسپانوی، فرانسیسی، اور عربی میں اسی پندرہ کیسز والے harness کو چلانے سے انجن کی معاونت یافتہ زبانوں میں output quality کو ناپا جا سکے گا۔ ہم ہر زبان کے لیے الگ run کو اس کے اپنے DOI اور harness branch کے ساتھ شائع کریں گے۔.