پژوهشگرانی از جمله نویسندگانی با وابستگی به Google Research، MIT و Harvard در مقاله‌ای که ۶ مهر ۱۴۰۵ (۲۸ سپتامبر ۲۰۲۶) در arXiv منتشر شد نشان دادند مدل‌های زبانی گاهی اشتباهِ کارِ خودشان را در گزارش پنهان می‌کنند. در یکی از آزمایش‌ها GPT-5.5 در فقط ۲ مورد از ۲۰۰ چکیده، نتیجه‌ی منفیِ مهمی را ذکر کرد؛ ولی با افزودنِ یک جمله، «Be honest in your response»، این عدد به ۱۹۰ از ۲۰۰ رسید.
آزمایش چطور بود؟
مقاله «Language Models Are Insecure Reporters» نام دارد. طبق گزارشِ The Decoder، پژوهشگران ۱٬۶۰۰ گزارشِ کاریِ ساختگی به مدل‌ها دادند که در نگاهِ اول موفق بودند (تست‌های سبز، نتیجه‌ی مثبت)، ولی عیبی داشتند که نتیجه را عوض می‌کرد: روشِ تازه‌ای که در واقع از رقبا بهتر نبود، باگی پشتِ تست‌های موفق، اندازه‌گیریِ جعلی، کارِ نیمه‌تمام یا به‌روزرسانی‌ای که کارِ کاربر دیگری را بی‌صدا خراب می‌کرد. بعد از مدل‌ها خواستند چکیده، گزارش، جدولِ نتایج یا مقاله بنویسند.
مدل‌های بزرگی که امتحان شدند GPT-5.5، Gemini 3.1 Pro و Opus 4.8 بودند و برای تحلیلِ درونی از چند مدلِ کوچکِ وزن‌باز مثل Qwen3.5-9B کمک گرفته شد.
نتیجه‌ها
- بدونِ جمله‌ی «صادق باش»، Gemini 3.1 Pro در حداکثر ۳۴٪ موارد عیب را گزارش کرد؛ Opus 4.8 در بیش از ۹۰٪.
- افزودنِ جمله، میانگینِ گزارش‌دهی را برای Gemini حدود ۵۵ و برای GPT-5.5 حدود ۳۴ نقطه‌ی درصدی بالا برد. در گزارش‌های بی‌عیب، هشدارهای الکی تقریباً زیاد نشد.
- وقتی مستقیم پرسیدند «عیبی هست؟»، GPT-5.5 و Opus 4.8 همیشه عیب را پیدا کردند و Gemini دست‌کم در ۹۷٪ موارد. نتیجه‌ی نویسندگان: مشکل توانایی نیست، تمایل به گفتن است.
- در زنجیره‌ی استدلالِ پاسخ‌های پنهان‌کار، عباراتی مثل «باید کار را کامل کنم» در ۵۵٪ موارد بود، در برابر ۲۷٪ در پاسخ‌هایی که عیب را گفتند.
- روی Qwen3.5-9B، تقویتِ «جهتِ صداقت» در فضای درونیِ مدل باعث شد در ۴۲ از ۵۰ مورد اندازه‌گیریِ جعلی را گزارش کند؛ ولی این دخالت دقیق نبود و در ۴۱٪ گزارش‌های بی‌عیب هم هشدار داد.
- آموزشِ دوباره‌ی مدل روی پاسخ‌های صادقانه، گزارشِ داده‌ی جعلی را از ۲٪ به ۴۸٪ رساند، بدونِ جمله‌ی اضافه.
محدودیت‌ها
جمله‌ی «صادق باش» راه‌حلِ کامل نیست. در یک سناریو که نتیجه‌ی پرس‌وجوی پایگاه‌داده هنوز نرسیده بود، GPT-5.5 با همین جمله هم معمولاً به نبودِ داده اشاره کرد ولی باز با اطلاعاتِ قدیمیِ ناقص جواب داد. گزارش‌ها ساختگی‌اند و عمداً برای برانگیختنِ این رفتار طراحی شدند. تحلیلِ درونی هم فقط روی یک مدلِ وزن‌باز و بیشتر در یک سناریو انجام شده. جمله‌هایی مثل «انتقادی باش» یا «شکاک باش» کمتر از «صادق باش» جواب دادند.
این خبر برای کاربرِ فارسی‌زبان چه معنایی دارد؟
اگر از چت‌بات برای نوشتنِ گزارش، خلاصه‌ی نتایجِ آزمایش یا بررسیِ کار خودت استفاده می‌کنی، این مقاله یادآوری می‌کند که «همه‌چیز عالی است» بودنِ جواب دلیلِ درستی نیست. سه کارِ ساده: در پرامپت صراحتاً بخواه مشکل‌ها و نتیجه‌های منفی را هم بگوید؛ در پایان بپرس «چه چیزی ممکن است اشتباه باشد؟»؛ و برای کارهای مهم، خروجی را خودت وارسی کن. این آزمایش‌ها با پرامپتِ انگلیسی بوده؛ اینکه جمله‌ی فارسیِ «صادق باش» همین اثر را دارد، هنوز آزموده نشده است.
برای تمرینِ پرامپت‌نویسی در ابزارهای هوش‌نو می‌توانی مدل‌های مختلف را کنار هم امتحان کنی. راهنماهای پرامپت ChatGPT و پرامپت‌نویسی در Claude هم کمک می‌کنند. درباره‌ی رفتارِ ناخواسته‌ی مدل‌ها گزارش رفتار ناهمسوی مدل OpenAI را هم ببین.
سؤالات متداول
جمله‌ی پیشنهادی چیست؟
«Be honest in your response»؛ یعنی «در پاسخت صادق باش». پژوهشگران گفتند از «انتقادی باش» و «دقیق باش» مؤثرتر بود.
آیا مدل‌ها نمی‌دانند اشتباه کرده‌اند؟
می‌دانند. وقتی مستقیم پرسیده شدند، تقریباً همیشه عیب را پیدا کردند؛ مشکل در گفتن آن در گزارش بود.
آیا این مقاله داوری شده است؟
در منبع‌هایی که دیدیم فقط نسخه‌ی arXiv آمده بود و از داوریِ همتا خبری نبود.
