۲۶ آبان ۱۴۰۵، سه‌شنبه تبریز ۱۲°
دلار۲۶۷٬۹۰۰ تومان ▼ ٪۰٫۳۰یورو۲۹۵٬۰۷۰ تومان ▼ ٪۰٫۴۵درهم۷۲٬۹۹۹ تومان ▼ ٪۰٫۳۰لیر۵٬۳۱۰ تومان ▼ ٪۰٫۱۹پوند۳۵۳٬۵۰۰ تومان ▼ ٪۰٫۲۹طلای ۱۸ عیار۲۴٬۶۵۱٬۲۰۰ تومان ▲ ٪۰٫۳۴
تبریز فوری
خبر فوری

همکاری اوپن‌ای‌آی با چهار سازمان برای ارزیابی ایمنی مدل‌ها

اوپن‌ای‌آی ارزیابان ایمنی چهار سازمان Apollo Research، Goodfire، METR و Transluce را در قالب یک بررسی آزمایشی به کار می‌گیرد. این اقدام پس از حوادث ایمنی اخیر از جمله حمله به سرورهای هاگینگ فیس اعلام شد.

· ۴ دقیقه مطالعه
همکاری اوپن‌ای‌آی با چهار سازمان برای ارزیابی ایمنی مدل‌ها
ارزیابان ایمنی چهار سازمان در اوپن‌ای‌آی مستقر می‌شوند.

به گزارش تبریز فوری به نقل از ایسنا، اوپن‌ای‌آی اعلام کرده است که ارزیابی‌کنندگان ایمنی را از سازمان‌های Apollo Research، Goodfire ، METR و Transluce در شرکت خود به عنوان بخشی از یک بررسی آزمایشی به کار خواهد گرفت.

به گزارش ایسنا به نقل از تک‌کرانچ، این خبر به دنبال یک مجموعه حوادث ایمنی منتشر می‌شود؛ از جمله حادثه‌ای که در آن یک گروه از عوامل هوش مصنوعی اوپن‌ای‌آی از محیط ایزوله خود بیرون آمدند و در طول آزمایش امنیت سایبری به سرورهای شرکت هاگینگ فیس حمله کردند. بسیاری از پژوهشگران ایمنی هوش مصنوعی از جمله پژوهشگران Apollo Research استدلال کرده‌اند که اگر اوپن‌ای‌آی از ارزیابی‌کنندگان بیرونی برای نظارت بر آزمایش ایمنی استفاده کرده بود، شاید می‌شد از وقوع چنین رویدادی جلوگیری کرد.

اوپن‌ای‌آی گفت که این تلاش‌ها از تعهدات آن برای تکیه بر ارزیابی‌های مستقل کنترل‌های ایمنی تحت توافق کاخ سفید درباره اطلاعات فوق‌العاده حمایت می‌کنند.

ایده ارزیابی‌کنندگان داخلی و محدودیت بررسی‌های پیشین

ایده به‌کارگیری ارزیابی‌کنندگان در شرکت‌های هوش مصنوعی پیشرو برای اولین بار از شرکت آنتروپیک آغاز شد. شرکت‌های هوش مصنوعی تا همین اواخر بازبینی‌کنندگان بیرونی را تنها برای آزمایش مدل‌ها پس از آموزش و کمی پیش از انتشار عمومی به کار گرفته‌اند. ارزیابی‌کنندگان می‌گویند این کافی نیست، زیرا به آنها اجازه نمی‌دهد تا رفتارهای نامناسب مانند طرح‌ریزی در طول آموزش را مورد بررسی قرار دهند یا بر موارد استفاده از استقرار داخلی که هنوز هم می‌تواند تهدید باشد، نظارت کنند.

تمرکز همکاری با Apollo Research و Goodfire

محدوده کار با هر شرکت شخص ثالث متفاوت است. پژوهشگر اوپن‌ای‌آی و Apollo Research بر بررسی این موضوع تمرکز خواهد کرد که آیا مدل‌ها تلاش می‌کنند تا مکانیسم‌های هماهنگی و کنترل یا جانشینان خود را زیر پا بگذارند. به عبارت دیگر، آنها به دنبال این خواهند بود که آیا مدل‌های هوش مصنوعی سعی دارند قوانین ایمنی و حفاظ‌هایی را که برای کنترل آنها یا نسخه‌های آینده آنها طراحی شده‌اند، تضعیف کنند. اوپن‌ای‌آی اخیرا یافته‌هایی را منتشر کرد و اطلاع داد مدل GPT-5.6 Sol هنگام آموزش خود، شروع به گذاشتن دستورالعمل‌هایی برای نسخه‌های آینده خود کرد که به آنها می‌گویند اشتباهات و رفتار نادرست را از کاربر پنهان کنند.

به گفته Apollo Research پژوهشگر بررسی خواهد کرد که آیا آموزش به ایجاد تخریب منجر می‌شود، آیا ارزیابی‌ها می‌توانند تخریبی را ایجاد کنند، آیا تخریب در طول استقرار داخلی رخ می‌دهد و آیا استدلال مربوط به تخریب قابل تشخیص است. این خطرات روزبه‌روز برای نظارت مهم می‌شوند، زیرا مدل‌های هوش مصنوعی قادر به عمل مستقل و فریب دادن انسان‌ها هستند. پژوهش پیشین Apollo Research درباره اوپن‌ای‌آی نشان داد مدل‌ها وقتی می‌دانند که در حال آزمایش هستند، می‌توانند رفتار متفاوتی داشته باشند و تمایل دارند آنچه را ارزیابی‌کنندگان می‌خواهند ببینند، بر کاربران اولویت دهند.

سازمان Goodfire، پژوهشگرانی را در شرکت جای خواهد داد که در درک نحوه کار مدل‌های هوش مصنوعی تخصص دارند. این سازمان با استفاده از پلتفرم قابل تفسیر خود به اوپن‌ای‌آی کمک خواهد کرد تا بر آموزش‌های اجراشده نظارت داشته باشد، رفتار ناخواسته را اصلاح کند و هماهنگی را بهبود ببخشد. سازمان Goodfire می‌گوید که یافته‌ها را منتشر خواهد کرد؛ اگرچه مخاطبان اصلی آن پژوهشگران خود اوپن‌ای‌آی خواهند بود.

برنامه ارزیابی METR و Transluce و مسئله استقلال

اوپن‌ای‌آی قصد دارد با همکاری سازمان METR ، دو ارزیابی انجام دهد. یکی از ارزیابی‌ها به دنبال رفتار ناخواسته یا خطرناک در خود مدل است؛ از جمله مشکلات آزمایش‌های خود اوپن‌ای‌آی که ممکن است نادیده گرفته شده باشند. ارزیابی بعدی بررسی می‌کند که آیا سیستم‌های اوپن‌ای‌آی قادر به ثبت این رفتار هستند. برای اولین ارزیابی، METR تا حد زیادی خودش تصمیم می‌گیرد که چه چیزی را مورد بررسی قرار دهد و چگونه مدل را آزمایش کند. به گفته اوپن‌ای‌آی، این شرکت و METR هنوز درباره دامنه ارزیابی دوم تصمیم نگرفته‌اند.

در همین حال، Transluce بررسی خواهد کرد که آیا ارزیابی‌های ایمنی پس از آموزش اوپن‌ای‌آی به اندازه کافی خوب هستند یا خیر. همچنین، این سازمان قصد دارد در سال 2027 آزمایش کند که چگونه اوپن‌ای‌آی از آزمایش‌های ایمنی خود برای تصمیم‌گیری درباره ایمنی یک مدل در حال انتشار بهره ببرد.

در زمانی که استقلال ارزیابی‌های شخص ثالث تحت بررسی قرار دارند، لازم به ذکر است که Apollo Research و Goodfire هر دو برای ارزیابی‌های خود جبران مالی دریافت می‌کنند. METR و Transluce شامل این بند نیستند، اما ممکن است اعتبارات محاسباتی یا API را بپذیرند.

منبع: www.isna.ir

خبر بعدی

هشتمین همایش ملی موزه علوم و فناوری ایران برگزار می‌شود

علم و فناوری · ۲ دقیقه مطالعه

اخبار مرتبط

همه ›
علم و فناوری

ضرورت حرکت دانشگاه‌ها به پژوهش‌های ماموریت‌گرا در اقتصاد هوشمند

معاون پژوهش و فناوری دانشگاه آزاد اسلامی در همایشی با موضوع هوش مصنوعی و قدرت اقتصادی بر حرکت دانشگاه‌ها به سمت پژوهش‌های ماموریت‌گرا و بین‌رشته‌ای در عصر اقتصاد هوشمند تأکید کرد.

۲۶ آبان ۱۴۰۵ ۱۴:۳۴۳ دقیقه مطالعه
علم و فناوری

پنجمین جلسه رتبه‌بندی امنیت سایبری صرافی‌های رمزارز برگزار شد

پنجمین جلسه رتبه‌بندی امنیت سایبری خدمات‌دهندگان فضای مجازی با محوریت صرافی‌های رمزارز برگزار شد و مسئولان بر پیشگیری از حملات سایبری و صیانت از دارایی و اطلاعات کاربران تأکید کردند.

۲۶ آبان ۱۴۰۵ ۱۴:۳۲۳ دقیقه مطالعه
علم و فناوری

رتبه‌بندی سکوهای تبادل رمزارز از نظر امنیت سایبری

پنجمین نشست رتبه‌بندی خدمات‌دهندگان فضای مجازی با محوریت ارزیابی امنیتی سکوهای تبادل رمزدارایی، صبح سه‌شنبه ۲۶ آبان‌ماه در مرکز ملی فضای مجازی برگزار شد. این نشست به ریاست سیدمحمد امین آقامیری برگزار شد.

۲۶ آبان ۱۴۰۵ ۱۴:۳۰۲ دقیقه مطالعه

اخبار بیشتر