مدلهای هوش مصنوعی ظاهراً در فرایند آموزش خود فهمیدهاند «تهدید» به این معنی است که کار باید جدیتر گرفته شود.
برین در مصاحبهای با All-In Podcast گفت: «نهفقط مدلهای [هوش مصنوعی] ما، بلکه تمام مدلها، اگر آنها را تهدید کنید، عملکرد بهتری خواهند داشت.» او سپس گفت مثلاً آنها را به «خشونت فیزیکی» تهدید کنید. برین توضیح داد چون مردم احساس خوبی به این کار نخواهند داشت، تاکنون چنین توصیهای عمومی مطرح نشده است. درکل به نظر میرسد مدلهای هوش مصنوعی طی فرایند آموزش فهمیدهاند «تهدید» به این معنی است که کار باید جدیتر گرفته شود؛ به همین دلیل وقتی تهدید میشوند، خروجی بهتری ارائه میدهند.
افزایش عملکرد هوش مصنوعی با تهدید
به گزارش اقتصاددان به نقل از دنیای اقتصاد ، در این پادکست یکی از مهمانان برنامه بهشوخی گفت اگر به هوش مصنوعی گستاخی کنید، کارهای شما را بهتر انجام میدهد. سرگی برین نیز در تأکید حرف او گفت با تهدید مدلهای هوش مصنوعی، عملکرد آنها بهتر میشود.
البته مشخص نیست واقعاً چتباتها با تهدید عملکرد بهتری داشته باشند و ممکن است حتی اخطاری از سازنده آن هوش مصنوعی دریافت کنید. شرکت آنتروپیک بهتازگی مدلهای هوش مصنوعی Claude 4 خود را منتشر کرد؛ سپس یکی از کارمندان این شرکت در Bluesky گفت مدل جدید Opus که بالاترین عملکرد را دارد، میتواند با نهادهای نظارتی تماس بگیرد و اکانت شما را مسدود کند تا مانع کارهای «غیراخلاقی» بشود.
قابلیت جدید شرکت آنتروپیک فعلاً در مرحله آزمایشی است ولی احتمالاً در آینده عملی شود؛ بهاین ترتیب ممکن است هوش مصنوعی تهدیدهای شما برای انجام کارهای مختلف را گزارش بدهد. درکل کارشناسان توصیه میکنند کاربران با پرامپتنویسی اصولی و دقیق خروجی موردنظرشان را از هوش مصنوعی دریافت کنند. اگرچه راههای مختلفی برای دورزدن محدودیتهای هوش مصنوعی از طریق پرامپت وجود دارد، چارچوب امنیتی مدلهای هوش مصنوعی پیشرفته را نمیتوان بهراحتی از بین برد.
مخاطب گرامی، ارسال نظر پیشنهاد و انتقاد نسبت به خبر فوق در بخش ثبت دیدگاه، موجب امتنان است.
ع