پژوهشگرانی از علی‌بابا و چند دانشگاه آسیایی آزمونی تازه به نام «Co-Design Bench» ساخته‌اند و نتیجه‌اش این است: بهترین مدلِ کدنویسی تنها در ۲۶٫۴٪ کارهای واقعی، کار را کامل و درست تحویل می‌دهد. خبر را The Decoder در ۱۷ آبان ۱۴۰۵ (۸ نوامبر ۲۰۲۶) منتشر کرد و مقاله‌ی اصلی با شماره‌ی 2610.35138 در arXiv هست. در آزمون‌های قدیمی همین مدل‌ها بالای ۹۹٪ می‌گیرند؛ یعنی فاصله‌ی «نمره‌ی آزمون» با «کارِ واقعی» بیش از ۳۵ امتیاز است.
Co-Design Bench چیست؟
این آزمون ۲۷۳ کار دارد که از میان ۳۷٬۴۶۳ درخواستِ بدون‌تکرار و ۲۶٬۳۱۴ جلسه‌ی واقعیِ کدنویسی انتخاب شده‌اند. بیشترشان درخواست‌هایی هستند که کاربر مجبور شده دوباره بگوید یا تغییر را برگرداند. مدل باید یک برنامه‌ی وبِ موجود را ویرایش کند و گاهی عکس، صدا، ویدیو یا سند هم ورودی می‌گیرد. دو بخش دارد:
- ویرایش چندرسانه‌ای: تغییرهای کوچک و موضعی.
- ویرایش مخزن: تغییرهای هماهنگ در کلِ پروژه.
برای هر کار، معیارهای پذیرشِ پنهانی را کارشناسان نوشته‌اند؛ در کل ۲٬۳۳۱ معیار. یک داورِ هوش مصنوعی برنامه را در مرورگر امتحان می‌کند و داورِ دومی نتیجه‌های مثبت را دوباره می‌سنجد تا مطمئن شود برنامه تقلبی یا با عددِ ثابت نوشته نشده است.
نتیجه‌ها
| مورد | عدد |
|---|---|
| تعداد مدل‌های آزمون‌شده | ۱۰ |
| بهترین مدل (GPT-6 Astra): میانگین معیارهای برآورده‌شده | حدود ۷۰٪ |
| همان مدل: کارهای کاملاً درست | ۲۶٫۴٪ |
| بخش چندرسانه‌ای: کارهای کاملاً درست | ۴۱٪ |
| بخش مخزن: کارهای کاملاً درست | کمی کمتر از ۱۸٪ |
بعد از GPT-6 Astra، مدل‌های Claude Opus 5 و Qwen3.8-Max قرار دارند و Grok 4.6 آخر است. مدل کوچکِ Qwen3.8-27B هم بسته به محیطِ اجرا در کارهای بزرگ ۷۵٪ یا ۵۶٪ می‌گیرد.
چند یافته‌ی جالب
- هرچه تغییر ترکیبی‌تر باشد (مثلاً هم چیدمان، هم طراحی، هم رفتار و هم محتوا)، همه‌ی مدل‌ها بدتر می‌شوند؛ سه یا چهار نوع تغییر در یک درخواست برایشان سخت‌تر از یک یا دو نوع است.
- توکن بیشتر کار را درست نمی‌کند: GLM-5.2 در تغییرهای کوچک نزدیک به شش برابرِ GPT-6 Astra توکن مصرف کرده و باز هم نمره‌ی کمتری گرفته.
- «محیط اجرا» (harness) روی نتیجه اثر زیادی دارد و بسته به آن، رتبه‌ی مدل‌ها می‌تواند جابه‌جا شود. این با پژوهشی که پیش‌تر درباره‌ی هزینه‌ی ابزارهای کدنویسی نوشتیم هم‌خوان است: ابزار کدنویسی گران‌تر لزوماً بهتر نیست.
چرا این آزمون مهم است؟
سال‌هاست شرکت‌ها مدل‌هایشان را با آزمون‌های استاندارد مقایسه می‌کنند و عددهای بالا را در تبلیغ می‌گذارند. مشکل این است که وقتی نمره‌ها به سقف می‌رسند، دیگر فرقِ مدل‌ها را نشان نمی‌دهند. Co-Design Bench به‌جای مسئله‌های ساختگی، سراغ همان چیزی رفته که کاربر واقعی می‌خواهد: «این صفحه را عوض کن، این عکس را بگذار، رنگ‌ها را مثل این فایل کن و دکمه کار کند». نتیجه نشان می‌دهد که مدل‌ها اغلب بخشی از خواسته را درست می‌کنند ولی همه‌ی آن را نه؛ و برنامه‌نویس یا کاربر باید باقی را دستی تمام کند. همین «بخشی درست» است که در عمل وقت می‌گیرد.
محدودیت‌های آزمون
هر کار فقط یک درخواستِ ثابت دارد، پس پرسش‌های بعدی و اصلاح در میانه‌ی کار سنجیده نمی‌شود. داورها هم که هوش مصنوعی‌اند، ممکن است اشتباه کنند. بنابراین این عددها را «نشانه‌ی فاصله» بدانید، نه حکم قطعی.
این یعنی چه برای کاربر فارسی‌زبان؟
اگر برای ساخت سایت یا برنامه از ایجنت‌های کدنویسی کمک می‌گیرید، فرض را بر این نگذارید که یک درخواستِ بزرگ و چندبخشی یک‌باره درست انجام می‌شود. بهتر است کار را تکه‌تکه بدهید، هر تکه را در مرورگر امتحان کنید و تغییرها را کوچک نگه دارید. برای آشنایی بیشتر با این ابزارها، راهنمای ایجنت‌های کدنویسی و فهرست هوش مصنوعی رایگان برای کدنویسی را ببینید. برای امتحان مدل‌های چت و کدنویسی مثل GPT، Claude، DeepSeek و Qwen هم می‌توانید از ابزارهای هوش‌نو استفاده کنید.
منبع‌ها
سؤالات متداول
Co-Design Bench را چه کسی ساخته؟
گروهی از پژوهشگرانِ علی‌بابا و چند دانشگاه آسیایی؛ مقاله در ۲۶ اکتبر ۲۰۲۶ در arXiv ثبت شده است.
یعنی مدل‌ها به‌دردنخورند؟
نه. هنوز در کارهای ساده و تکه‌تکه خوب‌اند؛ آزمون نشان می‌دهد در کارهای بزرگ و ترکیبی به بازبینی انسان نیاز دارند.
چرا نمره‌ها با آزمون‌های قدیمی فرق دارد؟
آزمون‌های قدیمی تقریباً اشباع شده‌اند (بالای ۹۹٪)، اما این آزمون از درخواست‌های واقعیِ کاربران ساخته شده و نتیجه را در مرورگر می‌سنجد.
