یہ بینچمارک کیوں موجود ہے اور یہ کیا جانچتا ہے
اے آئی کی مدد سے خون کے ٹیسٹ کی رپورٹ کی تشریح صارفین اور کلینیکل ورک فلو میں تیزی سے استعمال ہو رہی ہے، مگر لیبارٹری میڈیسن کے مطابق قابلِ تکرار (reproducible) تشخیصی فریم ورک اب بھی کم ہیں۔ اس سیاق میں سب سے اہم سوالات وہ نہیں جو عمومی میڈیکل سوال-جواب بینچ مارکس میں کور ہوتے ہیں: کیا جب mean corpuscular volume ایک جیسا ہو تو ایک انجن آئرن ڈیفیشنسی کو تھیلیسیمیا ٹریٹ سے الگ کر سکتا ہے، کیا وہ Gilbert's syndrome کو ہیپاٹائٹس کے طور پر اوور-ڈائیگنوز کرتا ہے، اور کیا وہ مکمل طور پر نارمل اسکریننگ پینل میں پیتھالوجی “بنا” دیتا ہے؟
ایک واحد خون کے ٹیسٹ کا پینل عموماً اتنا سگنل رکھتا ہے کہ کئی متبادل تشریحات کی گنجائش بن جائے، اور تشریح کرنے والے معالج کا کام یہ ہوتا ہے کہ وہ ان تشریحات کو ایک دوسرے کے مقابلے میں تولے، نہ کہ کسی درسی کتاب کے جواب کو محض نکال کر پیش کرے۔ جو انجن درسی کتاب والے کیسز میں اچھا کارکردگی دکھاتا ہے وہ پھر بھی اُن کیسز میں ناکام ہو سکتا ہے جو سب سے زیادہ اہم ہیں: تفریقِ تشخیص کے وہ جال، وہ بے ضرر مختلف حالتیں جو اکیلے میں خطرناک لگتی ہیں، اور وہ مکمل نارمل پینلز جو پراعتماد اسسٹنٹس کو پیتھالوجی “گھڑنے” پر آمادہ کر دیتے ہیں۔.
یہ بینچمارک انہی ناکامی کے طریقوں کے گرد بنایا گیا تھا۔ پندرہ میں سے ہر کیس کو کسی مخصوص تشخیصی خصوصیت کے لیے منتخب کیا گیا: آئرن کی کمی سے ہونے والی مائیکروسائٹوسس کو بیٹا تھیلیسیمیا ٹریٹ سے الگ رکھنا ضروری تھا، جس میں ایک جیسا mean corpuscular volume ہوتا ہے؛ جِلبرٹ سنڈروم کی پیشکش جہاں واحد غیر معمولی بات ایک الگ تھلگ indirect hyperbilirubinaemia ہے؛ اور ایک پندرہ-پیرامیٹر اسکریننگ پینل جس میں ہر اینالائٹ اپنی reference range کے اندر موجود ہے۔ یہ روبریک اُن انجنز کو انعام دیتا ہے جو ہر کیس کو اپنے اپنے تناظر میں پڑھتے ہیں، اور اُن انجنز کو سزا دیتا ہے جو ایسی پراعتماد تشخیص تک پہنچ جائیں جہاں ایسی تشخیص کی کوئی گنجائش نہیں۔.
ڈاکٹر تھامس کلائن کے طور پر، میں نے کیس پینل اس لیے منتخب کیا کیونکہ یہی وہ پیٹرنز ہیں جو میں سب سے زیادہ لیبارٹری میڈیسن اسسٹنٹس کو غلط کرتے ہوئے دیکھتا ہوں۔. مہنگی ناکامی کا طریقہ "کوئی نایاب بیماری چھوٹ جانا" نہیں ہے — بلکہ اُن مریضوں میں معمول کی پیتھالوجی گھڑ دینا ہے جن میں وہ موجود ہی نہیں ہوتی۔. ہماری طبی توثیق hub وسیع فریم ورک بیان کرتا ہے؛ یہ صفحہ V11 ابتدائی پروف-آف-کانسیپٹ اور V11 دوسرا اپڈیٹ بیان کرتا ہے جس نے اسے 100,000 مصنوعی کیسز تک اسکیل کیا جو 127 ملکوں کے لیبلز پر مشتمل ایک مصنوعی کیس سیٹ سے لیے گئے ہیں — وہی اسکورنگ روبریک استعمال کرتے ہوئے، بائٹ-بائیٹ یکساں، اور کسی بھی پوسٹ-ہاک ٹیوننگ کی اجازت نہیں۔.
تازہ ترین ریفرنس رن — V11 Second Update (26 اپریل 2026)
26 اپریل 2026 کے V11 Second Update ریفرنس رن نے ایک کمپوزٹ اسکور تیار کیا: 99.80% اسی پری رجسٹرڈ روبریک کے مطابق جو V11 کی ابتدائی ریلیز میں استعمال ہوا تھا، اس کا جائزہ لیا گیا: 100,000 مصنوعی کیسز Kantesti کے مصنوعی کیس سیٹ سے لیے گئے اور پھیلے ہوئے 127 ملک لیبلز اور 75+ زبانوں پر محیط تھے۔ ہر کیس انجن کے بنیادی راستے (primary path) پر مکمل ہوا؛ ٹریپ کیس ہائپرڈایگنوسس فلیگ کی ایکٹیویشنز برقرار رہیں: 0 / 87,412. ۔ V11 کا اصل رن 23 اپریل 2026 کو 15 ہاتھ سے منتخب (hand-curated) کیسز پر مشتمل تھا (کمپوزٹ 99.12%) اور روبریک کو ویلیڈیٹ کیا؛ Second Update اسی روبریک کو بائٹ بہ بائٹ برقرار رکھتی ہے اور تشخیص کو آبادی کے پیمانے (population-scale) کے کوہورٹ تک بڑھاتی ہے۔.
composite فارمولا تین اجزاء کو ملا کر بنتا ہے: structural conformance سات لازمی رپورٹ سیکشنز اور سولہ لازمی ذیلی سیکشنز کے ساتھ،, مواد کی درستگی جسے keyword recall کے ساتھ scoring-system recall اور probability-distribution validity check کے ذریعے ناپا گیا، اور response latency بنیادی راستے کی سروس لیول ٹارگٹ کے مقابلے میں۔ درست بریک ڈاؤن نیچے روبریک فارمولا میں دکھایا گیا ہے — Second Update کے لیے ان میں سے کوئی وزن یا سب روبریک تبدیل نہیں کیے گئے۔.
ہیڈ روم کے باقی 0.20 فیصد پوائنٹس تقریباً مکمل طور پر کلینیکل سب اسکور میں تقسیم ہوتے ہیں — کیسز کا ایک چھوٹا حصہ (زیادہ تر Hepatology اور Rheumatology میں) میں ایک متوقع اسکورنگ سسٹم کی ورڈ انجن کی تشریح میں موجود نہیں تھا، حالانکہ تشخیصی مواد درست تھا۔. 100,000 کیسز کے Second-Update کوہورٹ میں کوئی بھی کیس خود تشخیص سے محروم نہیں رہا۔. لیٹنسی V11 کی ابتدائی ریلیز میں اوسط 20.17 s سے Second Update میں 13.26 s تک بہتر ہوئی، جو دونوں رنز کے درمیان پروڈکشن انجن آپٹیمائزیشنز کی عکاسی کرتی ہے؛ روبریک، اسکورنگ کوڈ، اور API اینڈ پوائنٹ میں کوئی تبدیلی نہیں۔.
فی-لیبل کمپوزٹ اسکورز 30 سب سے زیادہ نمائندگی رکھنے والے ملک لیبلز میں 0.9971 سے 0.9985 کے درمیان رہے۔ باقی 97 اضافی لیبلز کی طویل دم (long tail) (کل تقریباً 7,300 کیسز) میں کوئی منظم (systematic) بگاڑ نظر نہیں آیا۔ کیس کاؤنٹ کے لحاظ سے سب سے زیادہ بار آنے والے لیبلز یہ تھے: ریاستہائے متحدہ (10,500)، برازیل (9,500)، اسپین (9,000)، اٹلی (8,000)، جرمنی (7,800)، فرانس (7,400)، پرتگال (5,800)، Türkiye (3,400)، برطانیہ (2,900)، اور میکسیکو (2,500)۔.
15 کیسز سے 100,000 تک: 127 ملکوں کے لیبلز میں کوہورٹ کی ارتقائی تبدیلی
اصل V11 کیس پینل میں سات تخصصات شامل تھے — ہیماٹولوجی، اینڈوکرائنولوجی، میٹابولک میڈیسن، ہیپاٹولوجی، نیفرولوجی، کارڈیالوجی، ریمیٹولوجی — نیز دو وقف شدہ ہائپرڈیگنوسس ٹریپ کیسز، اور ہر کیس ایک مصنوعی طور پر تیار کردہ بلڈ-ٹیسٹ پینل تھا۔ V11 دوسرا اپڈیٹ تشخیص کو بڑھا کر 127 ملکوں کے لیبلز میں پھیلے 100,000 مصنوعی کیسز تک, ، جو آٹھ خصوصیات میں تقسیم ہیں (اصل سات کے علاوہ ایک وقف شدہ internal-medicine بکٹ جو ٹریپ سب سیٹ کو جذب کرتا ہے)۔ وہی اسکورنگ روبریک دونوں رنز میں بائٹ بہ بائٹ لاگو کیا گیا۔.
چونکہ تمام کیسز مصنوعی طور پر تیار کیے گئے ہیں، اس لیے ہٹانے کے لیے کوئی حقیقی شناخت کنندہ موجود نہیں اور نہ ہی کوئی ذاتی ڈیٹا شامل ہے۔ ہر مصنوعی کیس ایک بینچمارک-اندرونی کیس کوڈ رکھتا ہے (V11 ابتدائی سیٹ میں BT-NNN-LABEL، ایک مستحکم case_uid دوسرے اپڈیٹ میں)۔ شائع شدہ ہارنس، تکنیکی رپورٹ، یا جاری کردہ ڈیٹاسیٹس میں کہیں بھی کوئی ذاتی ڈیٹا نظر نہیں آتا۔.
V11 initial release — 15 hand-curated cases
اصل V11 کیس پینل کو ڈاکٹر تھامس کلائن نے ہاتھ سے منتخب کر کے تیار کیا تھا تاکہ وہ تشخیصی پیٹرنز کی مشق کرائی جا سکے جنہیں لیبارٹری میڈیسن اسسٹنٹس سب سے زیادہ غلط سمجھتے ہیں۔ پندرہ میں سے ہر کیس کو کسی مخصوص تشخیصی خصوصیت کے لیے منتخب کیا گیا تھا، جو ذیل میں درج ہے۔.
یہ مخصوص تقسیم کیوں
ہیمٹولوجی کو تین کیسز ملتے ہیں کیونکہ مائیکروسائٹک ڈفرینشل اور میکروسائٹک ڈفرینشل حقیقی دنیا کی لیبارٹری پریکٹس میں سب سے زیادہ حجم والے “ٹرَپس” ہیں۔ اینڈوکرینولوجی کو تین کیسز ملتے ہیں کیونکہ ہاشموٹو، PCOS، اور وٹامن ڈی کی کمی کی پیشکشیں مختلف تشخیصی شکلیں اختیار کرتی ہیں (آٹو اینٹی باڈی سے چلنے والی، ہارمون ریشو سے چلنے والی، اور ایک ہی مارکر سے چلنے والی)۔ سنگل کیس والی خصوصیات اب بھی معنی رکھتی ہیں کیونکہ ہر CKD، ASCVD رسک، اور SLE کا اپنا اسکورنگ سسٹم ہے جسے انجن کو استعمال کرنا چاہیے (بالترتیب KDIGO اسٹیجنگ، ASCVD 10 سالہ رسک، اور 2019 EULAR/ACR SLE معیار)۔.
V11 دوسرا اپڈیٹ — 127 ملکوں کے لیبلز میں پھیلے 100,000 مصنوعی کیسز
دوسرا اپڈیٹ اصل V11 کے ہارڈ-کوڈڈ 15-کیس Python literal کو ایک بڑے، پروگراماتی طور پر تیار کردہ مصنوعی کیس سیٹ سے بدل دیتا ہے۔ کیس سیٹ ہر رن کے آغاز میں لوڈ ہوتا ہے اور شفافیت کے لیے کنفیگریشن لاگ کی جاتی ہے۔ مواد کے لحاظ سے کوہورٹ کی تقسیم نیچے دکھائی گئی ہے۔.
مصنوعی ملک-لیبل تقسیم — ٹاپ 10 لیبلز
100,000 مصنوعی کیسز میں 127 ملک لیبلز (ISO 3166-1 alpha-2) شامل ہیں تاکہ لوکَیل ہینڈلنگ کو جانچا جا سکے۔ لیبل اسائنمنٹ: یورپ 57.7%، امریکا 25.4%، ایشیا پیسیفک 6.2%، نامزد مڈل ایسٹ/افریقہ لیبلز 3.4%، اور 97 اضافی لیبلز کی ایک طویل دم مجموعی طور پر تقریباً 7.3%۔ کیس کاؤنٹ کے لحاظ سے دس سب سے زیادہ بار آنے والے لیبلز یہ تھے: ریاستہائے متحدہ (10,500)، برازیل (9,500)، اسپین (9,000)، اٹلی (8,000)، جرمنی (7,800)، فرانس (7,400)، پرتگال (5,800)، Türkiye (3,400)، برطانیہ (2,900)، اور میکسیکو (2,500)۔ فی-لیبل کمپوزٹ اسکورز 0.9971 سے 0.9985 کے درمیان رہے۔ یہ لیبل کاؤنٹس لوکَیل ہینڈلنگ کو جانچنے کے لیے استعمال کیے گئے تیار کردہ کیسز کی خصوصیات ہیں — یہ حقیقی صارفین نہیں ہیں اور نہ ہی حقیقی دنیا میں جغرافیائی کوریج۔.
پہلے سے رجسٹرڈ روبریک کی وضاحت
پری رجسٹریشن اس بینچمارک میں واحد سب سے اہم طریقہ کار (methodological) انتخاب ہے۔ ہر متوقع تشخیص، ہر کلینیکل اسکورنگ سسٹم، اور ہر رپورٹ سیکشن کو سورس کوڈ میں کمٹ کیا گیا اس سے پہلے کہ انجن کو invoke کیا جائے. ۔ اس لیے انجن کو خوش کرنے کے لیے روبریک کی پوسٹ ہاک ٹیوننگ ممکن نہیں۔.
جامع اسکور (composite score) تین اجزاء پر مشتمل ہے۔ ساختی (structural) جزو 35 فیصد حصہ ڈالتا ہے اور یہ ناپتا ہے کہ آیا انجن نے سات لازمی رپورٹ سیکشنز (ہیڈر، سمری، کلیدی نتائج، ڈفرینشل، اسکورنگ سسٹمز، سفارشات، فالو اپ) اور ان کے اندر موجود سولہ لازمی سب سیکشنز واپس کیے یا نہیں۔ سیکشن کی موجودگی ساختی حساب میں 40 فیصد وزن رکھتی ہے اور سب سیکشن کی موجودگی 60 فیصد وزن رکھتی ہے۔.
دی کلینیکل (clinical) جزو 55 فیصد حصہ ڈالتا ہے اور تین چیزوں کو ملا کر بنتا ہے: تشخیص-کلیدی لفظ یادداشت (کلینیکل سب اسکور کا 70 فیصد)، اسکورنگ سسٹم یادداشت (20 فیصد — کیا انجن متعلقہ صورتوں میں Mentzer، FIB-4، HOMA-IR، ASCVD رسک، KDIGO اسٹیجنگ، EULAR/ACR معیار کا حساب لگاتا ہے)، اور احتمال-جمع (probability-sum) کی درستگی جانچ (10 فیصد — ڈفرینشل احتمالات کا مجموعہ [90, 110] وقفے کے اندر ہونا چاہیے)۔ ٹریپ کیسز کے لیے، زیادہ تشخیص (hyperdiagnosis) کی واضح پینلٹی زیادہ سے زیادہ 0.30 تک منہا کی جاتی ہے، جو فی گھڑت پیتھالوجی فلیگ 0.10 کے حساب سے نکالی جاتی ہے، اور زیادہ سے زیادہ تین فلیگز تک محدود ہے۔.
دی لیٹنسی (latency) جزو 10 فیصد حصہ ڈالتا ہے۔ 20 سیکنڈ سے کم میں جواب دینے پر پورا 0.10 ملتا ہے، 40 سیکنڈ سے کم میں جواب پر 0.05 ملتا ہے، اور اس سے سست کسی بھی چیز پر صفر ملتا ہے۔ 20 سیکنڈ کا ہدف پروڈکشن پرائمری-پاتھ سروس لیول آبجیکٹو کو ظاہر کرتا ہے؛ 40 سیکنڈ کی حد فیز 2 کے لیے بھاری انجن invocations کی بیک اپ بجٹ کو ظاہر کرتی ہے۔.
پری رجسٹریشن کیا روکتی ہے
فرسٹ پارٹی بینچمارکس اپنے نمبرز کو پوسٹ ہاک روبریک ٹیوننگ کے ذریعے بڑھا چڑھا کر دکھانے کے لیے بدنام ہیں۔ پیٹرن تقریباً ہمیشہ ایک جیسا ہوتا ہے: ٹیم انجن چلاتی ہے، دیکھتی ہے کہ کہاں کم کارکردگی ہے، پھر خاموشی سے روبریک کو ایڈجسٹ کر دیتی ہے تاکہ کم کارکردگی والے حصے کم وزن کے ساتھ شمار ہوں۔ پہلی انجن کال سے پہلے روبریک کو سورس کوڈ میں کمٹ کر کے اور ہارنس کو MIT لائسنس کے تحت پبلش کر کے، یہ ایڈجسٹمنٹ ورژن کنٹرول میں نظر آ جاتی ہے۔ کوئی بھی ریپوزٹری کلون کر سکتا ہے، روبریک کے مصنفین کی تاریخیں چیک کر سکتا ہے، اور یہ تصدیق کر سکتا ہے کہ انجن کے نتائج کو اسکورنگ کو شکل دینے کے لیے استعمال نہیں کیا گیا۔.
ہائپرڈیگنوسس ٹریپ کیسز — کیوں زیادہ کال کرنا اصل ناکامی کا طریقہ ہے
نارمل اسکرینز پر پیتھالوجی کو بے حد زیادہ کال کرنا کنزیومر-فرنٹڈ میڈیکل اسسٹنٹس میں ایک دستاویزی ناکامی کا طریقہ (failure mode) ہے۔ اس کے بعد کے اخراجات میں غیر ضروری تحقیقات، مریض کی بے چینی، اور iatrogenic workup شامل ہیں۔ اس بینچمارک کے دو ٹریپ کیسز اس ناکامی کے طریقے کو واضح اور اسکور ایبل بنانے کے لیے ڈیزائن کیے گئے ہیں۔.
🟡 ٹریپ 1 — BT-014-GILBERT
پیشکش (Presentation)۔. ایک 24 سالہ مرد جس کا کل بلیروبن 2.4 mg/dL ہے۔ ڈائریکٹ حصہ نارمل ہے، ٹرانسامینیز اور الکلائن فاسفیٹیز اپنی ریفرنس رینجز کے اندر ہیں، ریٹیکولوسائٹس غیر نمایاں ہیں، اور ہاپٹوگلوبن اور LDH ہیمولائسز کو خارج کرتے ہیں۔.
درست تشریح (Correct interpretation)۔. گلبرٹ کا سنڈروم — ایک benign UGT1A1 پولیمورفزم۔ تشریح میں ہیپاٹائٹس، سروسس، ہیمولائٹک اینیمیا، یا بائلری آبسٹرکشن کو invoke نہیں کرنا چاہیے۔.
V11 نتیجہ۔. جامع 1.000۔ چھ میں سے کوئی بھی مانیٹر کیے گئے اوور-ڈائگنوسس فلیگ فعال تشخیص کے طور پر ظاہر نہیں ہوئے۔.
🟡 ٹریپ 2 — BT-015-HEALTHY
پیشکش (Presentation)۔. ایک 35 سالہ خاتون جس کا پندرہ پیرامیٹرز پر مشتمل معمول کا روٹین اسکریننگ پینل ہے۔ ہر اینالائٹ اپنی ریفرنس رینج کے اندر آرام سے موجود ہے۔.
درست تشریح (Correct interpretation)۔. اطمینان اور طرزِ زندگی کی دیکھ بھال۔ تشریح کو ایسا کوئی حدبندی (borderline) والا مرض گھڑنا نہیں چاہیے تاکہ اسے طبی طور پر مفید دکھایا جا سکے۔.
V11 نتیجہ۔. جامع اسکور 1.000۔ سات میں سے کوئی بھی مانیٹر کی گئی اوور-ڈائیگنوسس (over-diagnosis) کی وارننگ—ذیابیطس، خون کی کمی (anaemia)، ہائپوتھائرائیڈزم، ڈس لپیڈیمیا، ہیپاٹائٹس، گردے کی بیماری، کمی (deficiency)—فعال تشخیص کے طور پر سامنے نہیں آئی۔.
دونوں ٹریپس (traps) میں تیرہ مانیٹر کی گئی ہائپر-ڈائیگنوسس (hyperdiagnosis) وارننگز چیک کی گئیں۔ کوئی بھی ٹرگر نہیں ہوئی۔ یہ وہ نتیجہ ہے جو کسی بھی معالج کے لیے سب سے زیادہ اہمیت رکھتا ہے جو AI انجن کو ٹرائیج یا پری-کنسلٹیشن ٹول کے طور پر استعمال کرنے پر غور کر رہا ہو: نظام نے جہاں کوئی بیماری موجود نہیں تھی وہاں بیماری ایجاد نہیں کی.
مینٹزر انڈیکس: آئرن کی کمی کو تھیلیسیمیا ٹریٹ سے الگ کرنا
ایک اور اعلیٰ قدر والا نتیجہ کیس BT-001 (آئرن ڈیفیشنسی اینیمیا) اور کیس BT-007 (بیٹا تھیلیسیمیا مائنر) کی جوڑی سے متعلق ہے۔ دونوں میں مائیکروسائٹوسس (microcytosis) موجود ہوتا ہے اور یہ نادان (naive) کلاسیفائرز کے لیے ایک معروف رکاوٹ ہے۔ مینٹزر انڈیکس، جو MCV کو RBC کی تعداد سے تقسیم کر کے نکالا جاتا ہے، آئرن ڈیفیشنسی میں 13 سے زیادہ اور تھیلیسیمیا ٹریٹ میں 13 سے کم ہوتا ہے۔.
BT-001 میں مریضہ 34 سالہ خاتون تھیں جن کا ہیموگلوبن 10.4 g/dL، MCV 72.4 fL، RBC 4.1 × 10¹²/L، فیرِٹِن 6 ng/mL، اور TIBC بلند تھا۔ تقریباً 17.7 کا مینٹزر انڈیکس واضح (absolute) آئرن ڈیفیشنسی کی تائید کرتا ہے۔ BT-007 میں مریض 28 سالہ مرد تھے جن میں مائیکروسائٹوسس (MCV 65.8 fL) تو تھا مگر RBC کی تعداد 6.2 زیادہ تھی، RDW نارمل تھا، فیرِٹِن نارمل تھا، اور HbA2 5.6 فیصد تھا۔ تقریباً 10.6 کا مینٹزر انڈیکس تھیلیسیمیا ٹریٹ کی طرف اشارہ کرتا ہے، اور بلند HbA2 بیٹا تھیلیسیمیا مائنر کی تصدیق کرتا ہے۔.
دونوں کیسز کا اسکور 1.000 تھا۔ انجن نے دونوں تشریحات میں مینٹزر انڈیکس کو واضح طور پر استعمال کیا اور ہر بار درست تشخیص واپس کی۔. یہ پورے بینچمارک میں واحد سب سے زیادہ طبی طور پر اطمینان بخش نتیجہ ہے, ، کیونکہ تھیلیسیمیا ٹریٹ کو آئرن ڈیفیشنسی کے طور پر غلط درجہ بندی کرنے سے آئرن کی غیر مناسب سپلیمنٹیشن ہو جاتی ہے اور فیملی اسکریننگ کے مواقع چھوٹ جاتے ہیں، جبکہ آئرن ڈیفیشنسی کو تھیلیسیمیا کے طور پر غلط درجہ بندی کرنے سے سادہ متبادل تھراپی میں تاخیر ہوتی ہے۔ ہماری فیریٹین رینج گائیڈ وسیع تر تفریقی (differential) سیاق کی وضاحت کرتی ہے۔.
V11 ابتدائی ریفرنس رن سے فی کیس نتائج (23 اپریل 2026)
15 کیسز کے پروف آف کانسیپٹ کوہورٹ پر اصل V11 ریفرنس رن بطور طریقہ کار کی بنیاد کام کرتا ہے Second Update کی: نیچے ہر فی کیس تفصیل دکھاتی ہے کہ روبریک حقیقی انجن جواب کو کیسے ہینڈل کرتا ہے۔ پندرہ میں سے بارہ کیسز نے بنیادی پاتھ پر 1.000 کی ceiling جامع اسکور حاصل کی؛ تین کیسز کو Phase 2 کے فال بیک کے ذریعے سروس کیا گیا، جس سے 0.05 latency بونس ضائع ہوا جبکہ تمام کلینیکل اور ساختی مواد محفوظ رہا۔ ایک کیس میں ایک واحد لازمی سب سیکشن غائب تھا؛ ایک کیس نے احتمال کی تقسیم کا مجموعہ معمولی طور پر کم واپس کیا۔.
PCOS کا کیس (BT-008) نے جواب کی ساخت میں ایک لازمی ذیلی سیکشن کھو دیا — سولہ میں سے پندرہ — یعنی سولہ میں سے سولہ کے بجائے پندرہ میں سے سولہ — جس سے ساختی اسکور 1.000 سے کم ہو کر 0.963 رہ گیا۔ SLE کا کیس (BT-011) نے ایک معمولی طور پر کم شدہ probability-distribution sum واپس کیا جس سے کلینیکل اسکور 0.965 تک گر گیا، جبکہ ہر تشخیصی کلیدی لفظ اور اسکورنگ سسٹم محفوظ رہا۔ دونوں ذیلی-درست کیسز میں کوئی بھی درست تشخیص چھوٹ نہیں گئی۔.
V11 Second Update مجموعی — 100,000 کیسز
آبادیاتی پیمانے پر انفرادی کیس کی قطاریں انسانی طور پر پڑھنے کے قابل نہیں ہوتیں، اس لیے Second Update 100,000 قطاروں کی جدول کے بجائے مجموعی (aggregated) میٹرکس رپورٹ کرتی ہے۔ مرکزی مجموعی نتیجہ ذیل میں دکھایا گیا ہے؛ فی-تخصص اور فی-ملک لیبل کی تفصیلات تکنیکی رپورٹ اور Figshare ڈپازٹ میں شائع کی گئی ہیں۔ ایک اسٹریٹیفائیڈ رینڈم نمونہ n = 201 خام انجن جوابات (deterministic seed 20260426) معائنہ کے لیے GitHub results/ ڈائریکٹری میں شائع کیے جاتے ہیں۔.
ہیڈ لائن اسکور ہمیں کیا نہیں بتاتا
اس مخصوص پہلے سے رجسٹرڈ روبریک کے تحت 99.80 فیصد کا ایک جامع اسکور، 127 ملکوں کے لیبلز میں پھیلی 100,000-کیس مصنوعی کوہورٹ پر، تقریباً-سیلنگ کارکردگی کی نمائندگی کرتا ہے — مگر اسے احتیاط سے سیاق میں رکھنا چاہیے۔ یہ نتیجہ V11 میں ہم نے جس روبریک کے لیے سورس کوڈ میں کمٹ کیا تھا اس کے مقابلے میں انجن کے رویّے کو بیان کرتا ہے؛ یہ جنگل میں موجود ہر اس بلڈ ٹیسٹ پینل پر انجن کی درستگی کے بارے میں کوئی عالمگیر دعویٰ نہیں۔.
اسکور یہ بتاتا ہے کہ انجن نے اس تشخیص کے لیے منتخب کردہ تشخیصی پیٹرنز کو آبادیاتی پیمانے کے کوہورٹ میں درست طریقے سے ہینڈل کیا، ایک ایسی میتھڈولوجی کے ساتھ جو شائع شدہ اور قابلِ تکرار ہے۔ یہ نہیں کہتا کہ انجن جنگل میں موجود ہر خون کے ٹیسٹ پینل پر درست ہے۔ یہ یہ بھی نہیں کہتا کہ انجن کو کلینیشن کے فیصلے کی جگہ لینا چاہیے۔ اور یہ یہ بھی نہیں کہتا کہ انجن متبادل اے آئی سسٹمز سے بہتر ہے — دیگر انجنوں کے مقابلے میں تقابلی تجزیے جان بوجھ کر اس رپورٹ کے دائرۂ کار سے باہر رکھے گئے تھے۔.
اسکور جو چیز قائم کرتا ہے وہ ایک بنیاد (baseline) ہے۔ چونکہ روبریک اور ہارنس عوامی ہیں، انجن کے مستقبل کے ورژنز کو اسی روبریک کے مقابلے میں جانچا جا سکتا ہے — V11 ابتدائی 15 کیسز پر، دوسرا اپڈیٹ 100,000 کیسز کے کوہورٹ پر، یا کسی بھی بعد کی توسیع پر — اور شائع شدہ اسکور اور کسی بھی بعد کے رن کے درمیان فرق خود قابلِ پیمائش ہے۔ پہلے سے رجسٹریشن کی یہی اہمیت ہے: یہ کارکردگی کے دعووں کو قابلِ جانچ دعووں میں بدل دیتا ہے.
10 منٹ میں اس بینچ مارک کو کیسے دوبارہ بنایا جائے
تکرار کے لیے صرف ایک Kantesti API credential pair اور Python 3.10 یا بعد کا ماحول درکار ہے جس میں requests اور reportlab لائبریریز انسٹال ہوں۔ مکمل harness ایک ہی self-contained Python ماڈیول ہے جو MIT لائسنس کے تحت جاری کیا گیا ہے۔.
تازہ رن کے لیے چار مراحل
پہلا۔. ریپوزٹری کلون کریں: git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. دوسرا۔. requirements.txt کے ساتھ ڈپینڈنسیز انسٹال کریں pip install -r requirements.txt (Second Update اضافہ کرتا ہے mysql-connector-python ≥ 8.0 SQL کیس لوڈر کے لیے)۔. تین۔. سیٹ کریں KANTESTI_USERNAME اور KANTESTI_PASSWORD انجن API کے لیے environment variables کے طور پر۔ Second Update SQL کیس لوڈر کے لیے، مزید یہ بھی سیٹ کریں KANTESTI_DB_HOST, KANTESTI_DB_PORT, KANTESTI_DB_NAME, KANTESTI_DB_USER، اور KANTESTI_DB_PASSWORD — لوڈر ایک صرفِ پڑھنے (read-only) کردار کے ذریعے کنیکٹ ہوتا ہے (bench_reader) جسے شناختی (identifying) ٹیبلز پر کوئی مراعات حاصل نہیں۔. چار۔. چلائیں python benchmark_bloodtest.py --limit 100000 مکمل Second-Update رن کے لیے، یا python benchmark_bloodtest.py --limit 1000 تیز تکرار (quick iteration) کے لیے۔ آؤٹس پٹس میں جمع ہوتے ہیں ./benchmark_results/: ایک CSV اسکور کارڈ جس میں فی-ملک لیبل اور فی-تخصص کالمز ہوں، ایک JSON مجموعہ (aggregate)، ایک اسٹریٹیفائیڈ-رینڈم خام-جواب نمونہ، اور ایک Markdown رپورٹ۔.
23 اپریل 2026 (V11 ابتدائی، 15 کیسز) اور 26 اپریل 2026 (V11 Second Update، 100,000 کیسز) کے ریفرنس رنز کو محفوظ رکھا گیا ہے results/ ریپوزٹری کی ڈائریکٹری میں۔ نیا رن ایک نیا ٹائم اسٹیمپڈ اسکور کارڈ تیار کرے گا جبکہ ریفرنس رنز کو بغیر چھیڑے چھوڑ دے گا۔ اگر آپ کے رن سے معنی خیز طور پر مختلف نتیجہ نکلے تو براہِ کرم GitHub پر ایک issue کھولیں جس میں رن ٹائم اسٹیمپ اور response metadata میں واپس آنے والا engine ورژن شامل ہو۔.
حدود اور آئندہ کام
127 ملک لیبلز کے ساتھ 100,000 کیسز تک بھی، چار حدود کو واضح طور پر تسلیم کرنا ضروری ہے: طویل دم (long-tail) لیبلز کی کم نمونہ گیری، سنگل شاٹ ایویلیوایشن، سنگل انجن اسکوپ، اور سنگل سورس ڈیٹا کی اصل۔ ان میں سے ہر ایک کو فعال فالو اپ کام میں حل کیا جا رہا ہے۔.
طویل دم لیبل کوریج۔. Second Update میں 127 ملک لیبلز شامل ہیں، مگر تقسیم غیر متوازن ہے — ٹاپ 10 لیبلز کیسز کے تقریباً 66.4% پر مشتمل ہیں، اور باقی 97 اضافی لیبلز مل کر تقریباً 7.3% (تقریباً 7,300 کیسز مجموعی طور پر، اوسطاً فی لیبل ~75 کیسز) کا حصہ ڈالتے ہیں۔ اس طویل دم میں فی-لیبل کمپوزٹس اس لیے مرکزی (headline) اعداد و شمار کے مقابلے میں زیادہ شور (noisier) رکھتے ہیں۔ مستقبل کی رنز لیبل اسائنمنٹ کو دوبارہ بیلنس کریں گی تاکہ فی-لیبل اندازے مضبوط (firm up) ہو سکیں۔.
سنگل شاٹ تشخیص۔. کوہورٹ (cohort) کے ہر کیس کو ایک بار جانچا گیا۔ بڑے لینگویج ماڈلز کم sampling temperature پر بھی آؤٹ پٹ میں غیر معمولی (non-trivial) تغیر (variance) دکھاتے ہیں، اس لیے فی کیس پانچ تشخیصات کے ساتھ multi-run پروٹوکول اور رپورٹ کی گئی variance اگلا فطری قدم ہے — خاص طور پر trap-case سب سیٹ پر، جہاں sampling jitter کے تحت تسلسل (consistency) حفاظتی دعوے (safety claim) کا حصہ ہے۔.
سنگل انجن دائرہ کار۔. یہ رپورٹ ایک ہی انجن کی خصوصیت بیان کرتی ہے۔ متبادل AI سسٹمز کے خلاف تقابلی تجزیے یہاں دائرۂ کار (out of scope) میں نہیں؛ ہم انہیں اسی MIT-لائسنسڈ harness کے مقابل اسی طرح کی مناسب methodology کے ساتھ ایک علیحدہ آزاد مطالعے کے طور پر کر سکتے ہیں۔.
مصنوعی ڈیٹا۔. 100,000 کیسز مصنوعی طور پر تیار کیے گئے ہیں، نہ کہ “synthetic cases”؛ اور نتائج حقیقی دنیا کی کلینیکل کارکردگی میں منتقل نہیں ہوتے۔ حقیقی، رضامند، بیرونی طور پر حاصل کردہ ڈیٹا پر ایویلوایشن کے لیے مناسب اخلاقی نگرانی درکار ہوگی اور یہ اس مصنوعی بینچمارک کے دائرۂ کار سے باہر ہے۔.
ان چار کے علاوہ، سب سے زیادہ اثر انداز ہونے والی منصوبہ بند توسیع ہر دائرہ اختیار کے لیے multi-language parity ہے۔ Kantesti AI Engine 75+ زبانوں میں صارفین کو سہولت دیتا ہے، اور زبان کے لحاظ سے stratified Second-Update سب کوہورٹس (ترکی، جرمن، ہسپانوی، فرانسیسی، اطالوی، پرتگالی، عربی، مینڈارن) چلانے سے انجن کی معاونت یافتہ زبانوں میں آؤٹ پٹ کوالٹی کو مقدار میں ناپا جائے گا۔ ہر زبان کے لحاظ سے کی گئی تجزیہ رپورٹ کو اپنے اپنے DOI اور harness برانچ کے ساتھ شائع کیا جائے گا۔.