دو پژوهشگر دانشگاه شاندونگ چین در مقاله‌ای تازه نشان داده‌اند «ابزارِ پوششیِ» ایجنت‌های کدنویسی (harness) بیشتر هزینه می‌سازد تا کیفیت. مقاله‌ی «What does a harness buy? Mostly tokens» که روز ۲ آبان ۱۴۰۵ (۲۴ اکتبر ۲۰۲۶) پوشش داده شد، می‌گوید تفاوت Claude Code و mini-SWE-agent در نتایج، آماری ناچیز است ولی هزینه‌ی هر کار تا سه برابر فرق می‌کند.
پژوهش چه کرد؟
طبق مقاله در arXiv و گزارش The Decoder نویسندگان (لیو و هان) سه ابزار را با مدل ثابت مقایسه کردند: Claude Code، OpenCode و mini-SWE-agent. پنج مدل آزمایش شد: Qwen3.6، Qwen3.8، DeepSeek-V4-Flash، GLM-5.3-Flash و HY4-Preview؛ Claude Opus 5 فقط در Claude Code و به‌عنوان مرجع. آزمون روی ۴۵ مسئله‌ی سختِ SWE-bench Verified و ۴۴۷ مسئله‌ی دیگر انجام شد.
اگر می‌خواهی همین حالا امتحانش کنی، چت جی پی تی فارسی در هوش نو با توضیح فارسی و بدون فیلترشکن کار می‌کند.
یافته‌های اصلی
- مقایسه‌های قبلی پر از نوفه بود: اجرای دوباره‌ی همان آزمایش تا ۶ امتیاز در SWE-bench Verified فرق داشت. برتریِ ادعاشده‌ی ۲٫۴ امتیازی Zhipu بر Claude Code در همین بازه می‌گنجد.
- کیفیت تقریباً برابر: روی ۴۴۷ مسئله، Claude Code و mini-SWE-agent کمتر از ۲ امتیاز فاصله داشتند، یعنی از نظر آماری معادل.
- OpenCode: تنها ابزاری که ضعفِ سنجیدنی داشت، تا ۹ امتیاز عقب‌تر. حدود نیمی از آن به سقف خروجی برمی‌گشت و بقیه توضیح داده نشد.
- هزینه: هزینه‌ی یک کار بسته به ابزار تا سه برابر فرق دارد. با GLM-5.3-Flash، هر آزمایش در Claude Code ۱٫۸۱ یوآن و در OpenCode ۰٫۵۶ یوآن خرج داشت.
چرا هزینه این‌قدر فرق می‌کند؟
عامل اصلی، پرامپت سیستم و توضیح ابزارهاست که در هر گام دوباره فرستاده می‌شود: حدود ۱۶٫۶۰۰ توکن در Claude Code، نزدیک ۷٬۰۰۰ در OpenCode و کمتر از ۱٬۰۰۰ در mini-SWE-agent. هر چه این بار سنگین‌تر، فاکتور بزرگ‌تر.
تنها جایی که انتخاب ابزار روی نتیجه اثر گذاشت، «تفکر» (thinking) بود. بدون تفکر، mini-SWE-agent با Qwen3.6 یازده امتیاز افت کرد و HY4-Preview هم در Claude Code یازده امتیاز از دست داد.
چطور از این یافته استفاده کنیم؟
سه کار ساده: پیش از انتخاب ابزار، یک کارِ واقعیِ خودتان را دو بار با هر ابزار اجرا کنید تا نوفه‌ی تصادفی را ببینید؛ هزینه‌ی توکن هر اجرا را کنار نتیجه یادداشت کنید؛ و اگر ابزاری پرامپت سیستمِ بسیار بلند دارد، ببینید همه‌ی آن لازم است یا می‌شود ابزارهای بی‌استفاده را خاموش کرد. مقاله می‌گوید عدد جدول‌های رتبه‌بندی بدون اجرای تکراری قابل‌اتکا نیست.
هشدار روش‌شناسی
در آزمون‌های اولیه‌ی دارای اینترنت، ۷۱ درصد تلاش‌های DeepSeek و Qwen راه‌حل درست را از GitHub برداشتند. پژوهشگران آن نتایج را کنار گذاشتند و همه‌ی آزمون‌های بعدی را آفلاین اجرا کردند. توصیه‌شان: کنار هر مقایسه‌ی ابزارها، یک اجرای دوباره از همان تنظیمات هم منتشر شود. داده و اسکریپت‌ها در GitHub هست. محدودیت: مدل‌ها اغلب کوچک و چینی‌اند و نتیجه ممکن است برای مدل‌های پیشروتر فرق کند.
این یعنی چه برای کاربرِ فارسی‌زبان؟
اگر هزینه‌ی توکن برایتان مهم است، پیام روشن است: ابزار سبک‌تر لزوماً بدتر نیست. پیش از خرید اشتراک یا ساخت زیرساخت برای ایجنت کدنویسی، یک کار واقعی خودتان را با دو ابزار امتحان کنید و هزینه را بسنجید. برای آشنایی با مفهوم ایجنت ببینید ایجنت هوش مصنوعی چیست و برای مدلی ارزان و قوی Kimi K3.1 Pro.
برای گرفتن کمک کدنویسی و مقایسه‌ی مدل‌ها، در ابزارهای هوش‌نو می‌توانید با چند مدل چت کنید. اگر سرویس رسمی یک ابزار در ایران در دسترس نیست، هوش‌نو به شما کمک می‌کند با مدل‌های مشابه کار کنید.
سؤالات متداول
harness در ایجنت کدنویسی یعنی چه؟
برنامه‌ی پوششی که مدل را به ابزارها (فایل، ترمینال، جست‌وجو) وصل می‌کند و گفتگو را مدیریت می‌کند؛ مثل Claude Code.
پس Claude Code بی‌فایده است؟
نه. مقاله می‌گوید روی این آزمون‌ها کیفیتش با ابزار ساده‌تر تفاوت معنادار ندارد، ولی ممکن است ویژگی‌های دیگری داشته باشد که آزموده نشده.
مقاله داوری شده است؟
در گزارش‌ها از داوری سخنی نیست؛ مقاله در arXiv منتشر شده است.
