پژوهشگران امنیتی نشان دادند که با ثبت یک دامنهی منقضیشده میتوان حساب Hugging Face سازندهی مدل گویندگی Kokoro را گرفت و وزنهای مدل را در ۸۷ ثانیه با یک کارت گرافیک بازیای تغییر داد. به گزارش BleepingComputer (۲۶ آبان ۱۴۰۵، ۱۷ نوامبر ۲۰۲۶) این یک آزمایش کنترلشده بود و پژوهشگران مدل دستکاریشده را روی Hugging Face بارگذاری نکردند.
چه اتفاقی افتاد؟
Kokoro یک مدل متنباز تبدیل متن به گفتار است که بیش از ۵۰ صدای آماده دارد و ماهانه نزدیک به ۱۳ میلیون بار دانلود میشود (عددی که خود پلتفرم نشان میدهد). سازندهاش، Hexgrad، از آوریل ۲۰۲۵ بهروزرسانی نداده، ولی ابزارهای شرکتهایی مثل Google، NVIDIA و Intel از آن پشتیبانی میکنند و AMD و AWS هم راهنمای استفادهاش را منتشر کردهاند.
برای انجام عملیِ همین کار میتوانی از گویندگی فارسی با هوش مصنوعی در هوش نو استفاده کنی.
تیم Alon Hertz آخر هفته دامنهی hexgrad.com را ثبت کرد. این دامنه در فایل DONATE.md صفحهی عمومی مدل بهعنوان نشانی ایمیل سازنده آمده بود و منقضی شده بود. سپس با همان دامنه برای حساب ناشر در Hugging Face «فراموشی رمز» زدند و رمز را عوض کردند. بعد وزنهای مدل را طوری آموزش دادند که با همان متن، همان صدا و همان کد، حرف دیگری بخواند. در یک نمونه، دستور پخت کیک به دستور املت تبدیل شد.
چرا این مهم است؟
خطر اصلی کد مخرب نیست. بر اساس گفتهی پژوهشگران، چون فقط فایل وزنها عوض میشود، در کد برنامه یک خط هم تغییر نمیکند. ابزارهای بازبینی کد، تحلیل ایستا و اسکنر بدافزار چیزی پیدا نمیکنند. حجم فایل هم تقریبا همان میماند و ناشر همان ناشر به نظر میرسد. برنامهای که بهطور خودکار آخرین نسخهی مدل را میگیرد، ممکن است بیخبر مدل دستکاریشده را بگیرد. این ادعا را خود پژوهشگران میکنند و کسی مستقل آن را تأیید نکرده است.
TechTimes هم مینویسد مدلی که حرف دیگری بخواند، مثلا برای کسی که فقط به صدا تکیه میکند، میتواند گمراهکننده باشد. این گزارش یادآوری میکند که نمیدانیم حساب Kokoro احراز هویت دومرحلهای داشت یا نه، و مستندات Hugging Face میگوید این قابلیت اختیاری است. به گفتهی پژوهشگران، پیش از انتشار خبر گزارششان را به Hugging Face دادند ولی جوابی نگرفتند. TechTimes هم مینویسد Hugging Face فقط بدافزار را اسکن میکند و بررسی نمیکند وزنهای تازه رفتار مدل را عوض کرده یا نه.
ربطش به کاربر فارسیزبان چیست؟
خیلی از ابزارهای متن به گفتار و برنامههای گویندگی روی مدلهای متنباز ساخته میشوند. اگر خودتان مدل متنباز دانلود میکنید یا برنامهای مینویسید که مدل را خودکار میگیرد، چند کار ساده کمک میکند:
- نسخهی مدل را با شناسهی کامیت مشخص کنید، نه «آخرین نسخه».
- مقدار درهمساز (هش) فایل را بعد از دانلود با مقدار قابلاعتماد مقایسه کنید. این فقط وقتی کمک میکند که مقدار مرجع را از جایی غیر از همان حساب ناشر گرفته باشید.
- برای حسابهای خودتان احراز هویت دومرحلهای را روشن کنید و به ایمیلهای بازیابی که روی دامنهی منقضیشده است توجه کنید.
مدلهای صوتی متنباز در این ماه زیاد بودهاند؛ برای نمونه Woof، مدل ۳۲ مگابایتی گویندگی و ZONOS3-Mini. اگر میخواهید فارسی را با هوش مصنوعی بخوانید، راهنمای تبدیل متن به گفتار فارسی را ببینید. در هوشنو هم میتوانید بدون نصب هیچ مدلی گویندگی فارسی بسازید؛ آدرس ابزارها در ابزارهای هوشنو است.
به زبان ساده: آنچه کاربر میبیند همان مدل آشناست و هیچ هشداری نمیآید، ولی خروجی آن دیگر قابل اعتماد نیست. برای مدل گویندگی این یعنی ممکن است عددی، نام دارویی یا نشانیای را غلط بخواند و کسی متوجه نشود. هرچه برنامهی شما به صدا بیشتر تکیه کند، مثلا اعلانهای صوتی یا ابزار کمکخوان، بازبینی خروجی مهمتر میشود. پژوهشگر همچنین هشدار میدهد حتی حسابهایی که ربوده نشدهاند هم میتوانند مدتی سالم بمانند و بعدا یک بهروزرسانی آلوده بفرستند.
سؤالات متداول
آیا مدل Kokoro الان خطرناک است؟
طبق گزارشها، پژوهشگران مدل دستکاریشده را بارگذاری نکردند. پس این یک نمایش خطر است و حملهی واقعی تأییدشدهای گزارش نشده.
فقط Kokoro این مشکل را دارد؟
نه. پژوهشگر میگوید Kokoro فقط یک نمونهی مشهور بود و هر حساب ناشر در این پلتفرم میتواند چنین ریسکی داشته باشد.