Pse ekziston ky benchmark dhe çfarë teston
interpretimi i analizave të gjakut me AI po përdoret gjithnjë e më shumë në procese pune për konsumatorë dhe në mjedise klinike, megjithatë kornizat e vlerësimit të riprodhueshme të përshtatura për mjekësinë laboratorike mbeten të rralla. Pyetjet që kanë më shumë rëndësi në këtë kontekst nuk janë ato të mbuluara nga standardet e përgjithshme të pyetje-përgjigjes mjekësore: a mundet një motor të dallojë mungesën e hekurit nga tipari i talasemisë kur vëllimi mesatar korpuskular është identik, a e diagnostikon gabimisht sindromën e Gilbert-it si hepatit, dhe a prodhon patologji në një panel kontrolli plotësisht normal?
Një panel i vetëm i analizave të gjakut zakonisht përmban sinjal të mjaftueshëm për të mbështetur disa interpretime konkurruese, dhe puna e mjekut që interpreton është t’i peshojë ato interpretime kundrejt njëra-tjetrës, jo të rikuperojë një përgjigje si në tekst shkollor. Një motor që ia del mirë në rastet “nga teksti” mund të dështojë ende në ato raste që kanë më shumë rëndësi: kurthet e diagnozës diferenciale, variantet beninje që duken alarmante kur merren veçmas, dhe panelet plotësisht normale që i tundin asistentët e sigurt të prodhojnë patologji të fabrikuar.
Ky benchmark u ndërtua pikërisht rreth këtyre mënyrave dështimi. Secili prej pesëmbëdhjetë rasteve u zgjodh për një veçori të caktuar diagnostike: një mikrocitozë nga mungesa e hekurit që duhet të mbahet e veçuar nga një tipar i beta-talassemisë me vëllim mesatar të eritrociteve identik, një paraqitje e sindromës së Gilbert-it ku e vetmja anomali është një hiperbilirubinemi e izoluar indirekte, dhe një panel shqyrtimi me pesëmbëdhjetë parametra ku çdo analit qëndron brenda intervalit të tij të referencës. Rubrika shpërblen motorët që e lexojnë çdo rast sipas kushteve të veta dhe penalizon motorët që arrijnë në një diagnozë të sigurt kur një diagnozë e tillë nuk justifikohet.
Si Thomas Klein, MD, e zgjodha panelin e rasteve sepse këto janë modelet që i shoh se asistentët e mjekësisë laboratorike i ngatërrojnë më shpesh. Mënyra e shtrenjtë e dështimit nuk është "të humbasësh një sëmundje të rrallë" — është të fabrikohet patologji rutinë te pacientët që nuk e kanë atë. Tonë Validimi Mjekësor hub përshkruan kornizën më të gjerë; kjo faqe përshkruan provën fillestare të V11 dhe Përditësimin e Dytë V11 që e shkallëzoi atë në 100,000 raste sintetike të nxjerra nga një grup rastesh sintetik që përfshin 127 etiketa vendesh — duke përdorur të njëjtën rubrikë vlerësimi, identike në bajt, pa lejuar akordim post-hoc.
Ekzekutimi i fundit i referencës — V11 Përditësimi i Dytë (26 prill 2026)
Ekzekutimi i referencës së V11 Përditësimit të Dytë më 26 prill 2026 prodhoi një rezultat të përbërë prej 99.80% në të njëjtën rubrikë të pararegistruar të përdorur në publikimin fillestar të V11, vlerësuar në 100,000 raste sintetike të nxjerra nga grupi i rasteve sintetike të Kantesti dhe që shtrihen në 127 etiketa vendesh dhe gjuhët 75+. Çdo rast u përfundua në shtegun kryesor të motorit; aktivizimet e flamurit të hiperdetektimit të rasteve-trap mbetën në 0 / 87,412. Ekzekutimi origjinal i V11 më 23 prill 2026 mbuloi 15 raste të kuruara manualisht (rezultat i përbërë 99.12%) dhe verifikoi rubrikën; Përditësimi i Dytë e mban atë rubrikë identike në nivel bajtesh dhe e shtrin vlerësimin në një grup në shkallë popullsie.
Formula e përbërë kombinon tre komponentë: përputhshmëria strukturore me shtatë seksionet e detyrueshme të raportimit dhe gjashtëmbëdhjetë nënseksionet e detyrueshme, saktësia e përmbajtjes e matur si rikujtim i fjalëkyçeve plus rikujtim i sistemit të pikëzimit plus një kontroll i vlefshmërisë së shpërndarjes së probabilitetit, dhe vonesa e përgjigjes kundrejt objektivit të shërbimit në shtegun kryesor. Dekompozimi i saktë tregohet në formulën e rubrikës më poshtë — asnjë nga këto pesha apo nën-rubrika nuk u ndryshua për Përditësimin e Dytë.
Pikat e mbetura të hapësirës (headroom) prej 0.20 përqindësh dekompozohen pothuajse tërësisht në nën-rezultatin klinik — një pjesë e vogël e rasteve (kryesisht në Hepatologji dhe Reumatologji) kishin një fjalë kyçe të pritur të sistemit të vlerësimit që mungonte në interpretimin e motorit, pavarësisht se përmbajtja diagnostike ishte e saktë. Asnjë rast në grupin e Përditësimit të Dytë me 100,000 raste nuk e humbi vetë diagnozën. Latenca u përmirësua nga një mesatare prej 20.17 s në publikimin fillestar të V11 në 13.26 s në Përditësimin e Dytë, duke reflektuar optimizimet e motorit të prodhimit midis dy ekzekutimeve; rubrika, kodi i vlerësimit dhe endpoint-i i API-së janë të pandryshuara.
Rezultatet e përbëra për etiketë varionin nga 0.9971 deri në 0.9985 në 30 etiketat më të përfaqësuara të vendeve. Fundi i gjatë i 97 etiketave shtesë (≈7,300 raste të kombinuara) nuk tregoi degradim sistematik. Etiketat më të shpeshta sipas numrit të rasteve ishin Shtetet e Bashkuara (10,500), Brazili (9,500), Spanja (9,000), Italia (8,000), Gjermania (7,800), Franca (7,400), Portugalia (5,800), Türkiye (3,400), Mbretëria e Bashkuar (2,900) dhe Meksika (2,500).
Nga 15 raste në 100,000: evolucion i kohoortit në 127 etiketa vendesh
Paneli origjinal i rasteve V11 mbulonte shtatë specialitete — hematologji, endokrinologji, mjekësi metabolike, hepatologji, nefrologji, kardiologji, reumatologji — plus dy raste të dedikuara “hyperdiagnosis trap”, ku secili rast ishte një panel analizash gjaku i gjeneruar në mënyrë sintetike. Përditësimi i Dytë V11 e shtrin vlerësimin në 100,000 raste sintetike në 127 etiketa vendesh, të shpërndara në tetë specialitete (shtatë origjinale plus një kategori e dedikuar e mjekësisë së brendshme që përthith nën-grupin trap). E njëjta rubrikë vlerësimi aplikohet identike në nivel bajtesh në të dy ekzekutimet.
Meqë të gjitha rastet janë të gjeneruara në mënyrë sintetike, nuk ka identifikues realë për t’u hequr dhe nuk përfshihen të dhëna personale. Çdo rast sintetik mban një kod të brendshëm të rastit për benchmark (BT-NNN-LABEL në grupin fillestar të V11, një case_uid në Përditësimin e Dytë). Asnjë e dhënë personale nuk shfaqet askund në mjetin e publikuar, raportin teknik ose në grupet e të dhënave të lëshuara.
publikimin fillestar të V11 — 15 raste të kuruara manualisht
Paneli origjinal i rastit V11 u përzgjodh me dorë nga Dr. Thomas Klein për të ushtruar modelet diagnostike që asistentët e mjekësisë laboratorike i ngatërrojnë më shpesh. Secili nga pesëmbëdhjetë rastet u zgjodh për një veçori të caktuar diagnostike, e renditur më poshtë.
Pse kjo shpërndarje e veçantë
Hematologjia merr tre raste, sepse diferencialet mikrocitike dhe diferencat makrocitike janë kurthet me volumin më të lartë në praktikën reale të laboratorit. Endokrinologjia merr tre, sepse paraqitjet e Hashimoto-s, PCOS dhe mungesës së vitaminës D ushtrojnë forma të ndryshme diagnostikuese (të drejtuara nga autoantitrupat, të drejtuara nga raportet hormonale, të drejtuara nga një marker i vetëm). Specialitetet me një rast janë ende domethënëse, sepse secila prej CKD, rrezikut ASCVD dhe SLE ka sistemin e vet të pikëzimit që motori duhet ta thërrasë (stazhimi KDIGO, rreziku 10-vjeçar ASCVD, kriteret 2019 EULAR/ACR për SLE, përkatësisht).
Përditësimi i Dytë V11 — 100,000 raste sintetike në 127 etiketa vendesh
Përditësimi i Dytë zëvendëson literal-in origjinal të ngurtë 15-rastesh të Python-it të V11 me një grup më të madh, të gjeneruar në mënyrë programatike, të rasteve sintetike. Grupi i rasteve ngarkohet në fillim të çdo ekzekutimi dhe konfigurimi regjistrohet për transparencë. Shpërndarja e kohoortit sipas fushës së përmbajtjes tregohet më poshtë.
Shpërndarja sintetike e etiketave të vendeve — top 10 etiketa
100,000 rastet sintetike mbajnë 127 etiketa vendesh (ISO 3166-1 alpha-2) për të ushtruar trajtimin e lokalitetit. Caktimi i etiketës: Evropa 57.7%, Amerikët 25.4%, Azia-Paqësori 6.2%, etiketa të emërtuara për Lindjen e Mesme/Afrikën 3.4% dhe një bisht i gjatë prej 97 etiketash shtesë afërsisht 7.3% të kombinuara. Dhjetë etiketat më të shpeshta sipas numrit të rasteve janë Shtetet e Bashkuara (10,500), Brazili (9,500), Spanja (9,000), Italia (8,000), Gjermania (7,800), Franca (7,400), Portugalia (5,800), Türkiye (3,400), Mbretëria e Bashkuar (2,900) dhe Meksika (2,500). Rezultatet e përbëra për etiketë varionin nga 0.9971 deri në 0.9985. Këto numërime etiketash janë veti të rasteve të gjeneruara të përdorura për të ushtruar trajtimin e lokalitetit — ato nuk janë përdorues realë dhe as mbulim gjeografik real në botën reale.
Rubrika e regjistruar paraprakisht, e shpjeguar
Regjistrimi paraprak është zgjedhja metodologjike e vetme më e rëndësishme në këtë benchmark. Çdo diagnozë e pritur, çdo sistem klinik pikëzimi dhe çdo seksion raporti u angazhuan në kodin burim përpara se të thirrej motori. Prandaj, akordimi post-hoc i rubrikës për ta bërë motorin të duket më mirë është i pamundur.
Tre komponentë përbëjnë rezultatin e përbërë. Komponenti strukturor kontribuon me 35 për qind dhe mat nëse motori ktheu shtatë seksionet e detyrueshme të raportit (titulli, përmbledhja, gjetjet kryesore, diferencimi, sistemet e pikëzimit, rekomandimet, ndjekja) dhe gjashtëmbëdhjetë nënseksionet e detyrueshme brenda tyre. Prania e seksionit peshon 40 për qind dhe prania e nënseksionit peshon 60 për qind brenda llogaritjes strukturore.
I/E/Të/Të komponenti klinik kontribuon me 55 për qind dhe kombinon tre gjëra: rikujtimi i diagnozës sipas fjalëkyçit (70 për qind e nën-pikës klinike), rikujtimi i sistemit të pikëzimit (20 për qind — a llogarit motori Mentzer, FIB-4, HOMA-IR, rrezikun ASCVD, stazhimin KDIGO, kriteret EULAR/ACR kur është relevante), dhe një kontroll i vlefshmërisë së shumës së probabiliteteve (10 për qind — probabilitetet e diferencës duhet të mblidhen brenda intervalit [90, 110]). Për rastet kurth, zbritet një penalitet i qartë për hiperdetajim deri në 0.30, i llogaritur si 0.10 për çdo flamur patologjie të fabrikuar, i kufizuar në tre flamuj.
I/E/Të/Të komponenti i vonesës kontribuon me 10 për qind. Një përgjigje nën 20 sekonda fiton 0.10 të plotë, një përgjigje nën 40 sekonda fiton 0.05, dhe çdo gjë më e ngadaltë fiton zero. Objektivi 20-sekondësh pasqyron objektivin kryesor të nivelit të shërbimit të prodhimit; kufiri 40-sekondësh pasqyron buxhetin e rikthimit të Fazës 2 për thirrje të rënda të motorit.
Çfarë parandalon regjistrimi paraprak
Benchmark-et e palës së parë janë të njohura për fryrjen e numrave të tyre përmes akordimit post-hoc të rubrikës. Modeli është pothuajse gjithmonë i njëjtë: ekipi e ekzekuton motorin, sheh ku nënperformon, pastaj rregullon në heshtje rubrikën që zonat që nënperformojnë të llogariten më pak. Duke e angazhuar rubrikën në kodin burim përpara thirrjes së parë të motorit dhe duke publikuar pajisjen nën licencën MIT, ky rregullim bëhet i dukshëm në kontrollin e versioneve. Çdokush mund ta klonojë depozitën, të kontrollojë datat e autorit të rubrikës dhe të verifikojë që rezultatet e motorit nuk u përdorën për të formësuar pikëzimin.
Rastet “kurth i hiperdiagnostikimit” — pse thirrja e tepërt është mënyra reale e dështimit
Thirrja agresive e patologjisë në ekrane normale është një mënyrë dështimi e dokumentuar e asistentëve mjekësorë për konsumatorë. Kostot e saj pasuese përfshijnë hetime të panevojshme, ankth te pacienti dhe punë mjekësore të shkaktuar nga ndërhyrja (iatrogjene). Dy rastet kurth në këtë benchmark janë projektuar për ta bërë këtë mënyrë dështimi të dukshme dhe të matshme.
🟡 Kurthi 1 — BT-014-GILBERT
Paraqitja. Një mashkull 24-vjeçar me bilirubinë totale 2.4 mg/dL. Fraksioni direkt është normal, transaminazat dhe fosfataza alkaline qëndrojnë brenda intervaleve të tyre të referencës, retikulocitet janë pa veçori, dhe haptoglobina dhe LDH përjashtojnë hemolizën.
Interpretimi i saktë. Sindroma e Gilbert-it — një polimorfizëm beninj i UGT1A1. Interpretimi nuk duhet të thërrasë hepatit, cirrozë, anemi hemolitike ose obstruksion biliar.
Rezultati V11. Kompoziti 1.000. Asnjë nga gjashtë flamujt e monitoruar për mbi-diagnostikim nuk u shfaq si diagnozë aktive.
🟡 Kurthi 2 — BT-015-HEALTHY
Paraqitja. Një panel rutinë skriningu me pesëmbëdhjetë parametra. Çdo analit qëndron rehat brenda intervalit të tij të referencës.
Interpretimi i saktë. Sigurim dhe ruajtje e stilit të jetesës. Interpretimi nuk duhet të krijojë patologji kufitare vetëm që të duket klinikisht i dobishëm.
Rezultati V11. Përbërësi 1.000. Asnjë nga shtatë flamujt e monitoruar për mbi-diagnostikim — diabeti, anemia, hipotiroidizmi, dislipidemia, hepatiti, sëmundja e veshkave, mungesa — nuk u shfaq si diagnozë aktive.
Në të dyja “trap”-et, u kontrolluan trembëdhjetë flamuj të monitoruar për hiperdetektim. Asnjë nuk u aktivizua. Ky është rezultati që ka më shumë rëndësi për çdo klinicist që po mendon të përdorë një motor AI si mjet triage ose para-konsultimi: sistemi nuk shpiku sëmundje aty ku nuk ekzistonte.
Indeksi Mentzer: ndarja e mungesës së hekurit nga tipari i talasemisë
Një gjetje e dytë me vlerë të lartë lidhet me çiftëzimin e rastit BT-001 (anemi nga mungesa e hekurit) me rastin BT-007 (talasemi beta e vogël). Të dyja paraqiten me mikrocitozë dhe janë një pengesë e njohur për klasifikuesit naivë. Indeksi Mentzer, i llogaritur si MCV pjesëtuar me numrin e RBC, tejkalon 13 te mungesa e hekurit dhe bie nën 13 te tipari i talasemisë.
Në BT-001, pacientja ishte një grua 34-vjeçare me hemoglobinë 10.4 g/dL, MCV 72.4 fL, RBC 4.1 × 10¹²/L, ferritinë 6 ng/mL dhe TIBC të rritur. Indeksi Mentzer prej afërsisht 17.7 mbështet mungesën absolute të hekurit. Në BT-007, pacienti ishte një burrë 28-vjeç me mikrocitozë (MCV 65.8 fL), por me një numër të lartë RBC prej 6.2, RDW normal, ferritinë normale dhe HbA2 prej 5.6 për qind. Indeksi Mentzer prej afërsisht 10.6 tregon për tiparin e talasemisë, dhe HbA2 e rritur konfirmon talaseminë beta të vogël.
Të dy rastet shënuan 1.000. Motori e përdori në mënyrë eksplicite indeksin Mentzer në të dy interpretimet dhe dha diagnozën e saktë në secilin rast. Ky është rezultati i vetëm më qetësues klinikisht në të gjithë benchmark-un, sepse keqklasifikimi i tiparit të talasemisë si mungesë hekuri çon në suplementim të papërshtatshëm me hekur dhe në humbje të mundësive për shqyrtim të historisë familjare, ndërsa keqklasifikimi i mungesës së hekurit si talasemi e vonon terapinë e thjeshtë zëvendësuese. Tonë për intervalin e ferritinës shpjegon kontekstin më të gjerë të diferencimit.
Rezultatet për rast nga ekzekutimi fillestar referencë i V11 (23 prill 2026)
Ekzekutimi origjinal referencë i V11 në koortën provë-koncept me 15 raste shërben si themeli metodologjik i Second Update: çdo detaj për rastin më poshtë tregon se si rubrika trajton një përgjigje reale të motorit. Dymbëdhjetë nga pesëmbëdhjetë rastet arritën rezultatin maksimal të përbërë prej 1.000 në rrugën kryesore; tre raste u shërbyen përmes rikthimit të Phase 2, duke humbur bonusin e latencës 0.05 ndërkohë që ruajtën të gjithë përmbajtjen klinike dhe strukturore. Një rast mungonte një nënseksion i vetëm i detyrueshëm; një tjetër ktheu një shumë të shpërndarjes së probabilitetit paksa të reduktuar.
Rasti i PCOS (BT-008) humbi një nënseksion të detyrueshëm në strukturën e përgjigjes — pesëmbëdhjetë nga gjashtëmbëdhjetë në vend të gjashtëmbëdhjetë nga gjashtëmbëdhjetë — gjë që uli pikën strukturore nga 1.000 në 0.963. Rasti i SLE (BT-011) ktheu një shumë të lehtë të reduktuar të shpërndarjes së probabilitetit që e uli pikën klinike në 0.965, duke ruajtur çdo fjalë kyçe diagnostike dhe sistem pikëzimi. Asnjë nga dy rastet nën-optimale nuk humbi një diagnozë të saktë.
Agregati V11 Second Update — 100,000 raste
Në shkallë popullsie, rreshtat individualë të rasteve nuk janë të lexueshëm nga njeriu, prandaj Përditësimi i Dytë raporton metrika të agreguara, jo një tabelë me 100,000 rreshta. Agregati kryesor tregohet më poshtë; zbërthimet sipas specialitetit dhe sipas etiketës së vendit publikohen në raportin teknik dhe në depozitimin Figshare. Një mostër e rastësishme e shtresëzuar e n = 201 përgjigjeve të papërpunuara të motorit (farë deterministe 20260426) publikohet në direktorinë GitHub results/ për inspektim.
Çfarë nuk na tregon rezultati kryesor
Një rezultat i përbërë prej 99.80 për qind sipas kësaj rubrike të veçantë të pararegistruar, në një kohoort sintetik me 100,000 raste që përfshin 127 etiketa vendesh, përfaqëson performancë afër tavanit — por meriton një kornizim të kujdesshëm. Rezultati përshkruan sjelljen e motorit kundrejt rubrikës që ne angazhuam në kodin burimor në V11; nuk është një pretendim universal për saktësinë e motorit në çdo panel analizash gjaku që ekziston në terren.
Rezultati thotë se motori i trajtoi saktë modelet diagnostike të përzgjedhura për këtë vlerësim, në një grup në shkallë popullsie, sipas një metodologjie që është publikuar dhe e riprodhueshme. Ai nuk thotë se motori është i saktë në çdo panel analizash gjaku që ekziston në botën reale. Ai nuk thotë se motori duhet të zëvendësojë gjykimin klinik. Dhe nuk thotë se motori tejkalon sisteme të tjera të AI — analizat krahasuese kundrejt motorëve të tjerë ishin qëllimisht jashtë fushës së këtij raporti.
Ajo që rezultati vërteton është një bazë reference. Me rubrikën dhe “harness”-in të publikuar, versionet e ardhshme të motorit mund të vlerësohen kundrejt të njëjtës rubrikë — të aplikuar te 15 rastet fillestare të V11, te grupi i dytë me 100.000 raste, ose te çdo zgjerim pasues — dhe diferenca midis rezultatit të publikuar dhe çdo ekzekutimi pasues është vetë e matshme. Kjo është vlera e pararegistrimit: i shndërron pretendimet e performancës në pretendime të verifikueshme.
Si ta riprodhoni këtë standard brenda 10 minutash
Riprodhimi kërkon vetëm një çift kredencialesh API Kantesti dhe një mjedis Python 3.10 ose më të ri me requests dhe reportlab bibliotekat e instaluara. Mjeti i plotë (harness) është një modul i vetëm Python, vetëpërmbajtur, i lëshuar nën licencën MIT.
Katër hapa për një ekzekutim të ri
Një. Klononi depon (repository): git clone https://github.com/emirhanai/kantesti-blood-test-benchmark.git. Dy. Instaloni varësitë me pip install -r requirements.txt (Përditësimi i Dytë shton mysql-connector-python ≥ 8.0 për ngarkuesin e rasteve SQL). Tre. Vendosni KANTESTI_USERNAME dhe KANTESTI_PASSWORD si variabla mjedisore për API-n e motorit. Për ngarkuesin e rasteve SQL të Përditësimit të Dytë, vendosni gjithashtu KANTESTI_DB_HOST, KANTESTI_DB_PORT, KANTESTI_DB_NAME, KANTESTI_DB_USER, dhe KANTESTI_DB_PASSWORD — ngarkuesi lidhet përmes një roli vetëm për lexim (bench_reader) që nuk ka privilegje për identifikimin e tabelave. Katër. Ekzekutoni python benchmark_bloodtest.py --limit 100000 për ekzekutimin e plotë Second-Update, ose python benchmark_bloodtest.py --limit 1000 për përsëritje të shpejtë. Rezultatet dalin në ./benchmark_results/: një kartelë scorecard CSV me kolona për vend/etiketë dhe për specialitet, një agregat JSON, një kampion i rastësishëm i shtresëzuar i përgjigjeve bruto dhe një raport në Markdown.
Ekzekutimet referencë nga 23 prill 2026 (V11 fillestar, 15 raste) dhe 26 prill 2026 (V11 Second Update, 100,000 raste) ruhen në results/ direktorinë e repozitorit. Një ekzekutim i ri do të prodhojë një scorecard të re me timestamp, duke i lënë ekzekutimet referencë të pandryshuara. Nëse ekzekutimi juaj prodhon një rezultat dukshëm të ndryshëm, ju lutemi hapni një çështje (issue) në GitHub me timestamp-in e ekzekutimit dhe versionin e motorit të kthyer në metadata e përgjigjes.
Kufizimet dhe puna e ardhshme
Edhe me 100,000 raste në 127 etiketa vendesh, katër kufizime meritojnë njohje të qartë: nënmostrimi i etiketave me bisht të gjatë, vlerësim një herë, shtrirje vetëm me një motor dhe origjinë vetëm nga një burim të dhënash. Secili po adresohet në punë pasuese aktive.
Mbulimi i etiketave me bisht të gjatë. Përditësimi i Dytë përfshin 127 etiketa vendesh, por shpërndarja është e pabalancuar — 10 etiketat kryesore përbëjnë ≈66.4% të rasteve, dhe bishti i gjatë i 97 etiketave shtesë së bashku kontribuon ≈7.3% (afërsisht 7,300 raste të kombinuara, ~75 raste për etiketë mesatarisht). Prandaj, kompozitetet për etiketë në këtë bisht të gjatë janë më të zhurmshme sesa sugjerojnë shifrat kryesore. Rishikimet e ardhshme do të ribilancojnë caktimin e etiketave për të forcuar vlerësimet për etiketë.
Vlerësimi një herë (single-shot). Çdo rast në koort u vlerësua vetëm një herë. Modelet e gjuhës së madhe shfaqin variancë jo të parëndësishme të daljes edhe në temperaturë të ulët të kampionimit, prandaj një protokoll me shumë ekzekutime me pesë vlerësime për rast dhe variancë të raportuar është një hap natyror i ardhshëm — veçanërisht në nën-grupin e rasteve “trap”, ku qëndrueshmëria nën luhatje kampionimi është pjesë e pretendimit për siguri.
Shtrirja vetëm e një motori. Ky raport karakterizon një motor. Analizat krahasuese kundrejt sistemeve të tjera AI janë jashtë fushës këtu; ne mund t’i ndjekim ato si një studim i veçantë i pavarur me metodologji të përshtatshme, kundrejt të njëjtit “harness” me licencë MIT.
Të dhëna sintetike. 100,000 rastet gjenerohen në mënyrë sintetike, jo janë raste sintetike, dhe rezultatet nuk transferohen në performancë klinike në botën reale. Vlerësimi mbi të dhëna reale, me pëlqim dhe të siguruara nga burime të jashtme, do të kërkonte mbikëqyrje të përshtatshme etike dhe është jashtë fushës së këtij benchmark-u sintetik.
Përtej këtyre katër, zgjerimi më me ndikim i planifikuar është barazia shumë-gjuhëshe për juridiksion. Motori Kantesti AI u shërben përdoruesve në 75+ gjuhë, dhe ekzekutimi i nën-koorteve Second-Update të stratifikura sipas gjuhës (turqisht, gjermanisht, spanjisht, frëngjisht, italisht, portugalisht, arabisht, mandarinisht) do të masë cilësinë e daljes nëpër gjuhët e mbështetura të motorit. Çdo analizë e stratifikur sipas gjuhës do të publikohet me DOI-n e vet dhe degën e “harness”.