به گزارش خبرآنلاین، جفری هینتون هشدار داده که خطرناکترین سناریوی هوش مصنوعی زمانی است که سیستمهای بسیار پیشرفته برای رسیدن به اهداف تعیینشده، اهداف فرعی مستقل و حتی رفتارهای خودحفاظتی یا فریبکارانه ایجاد کنند. او تأکید میکند که این موضوع هنوز در مدلهای امروزی اثبات نشده، اما باید پیش از رسیدن به آن مرحله بهطور جدی روی ایمنی و همراستایی هوش مصنوعی با منافع انسان کار کرد.
هینتون، در پنلی مشترک با فیفی لی و اندرو نگ توضیح داد که وقتی به یک مدل هوش مصنوعی هدفی داده میشود، ممکن است برای رسیدن به آن هدف، مجموعهای از اهداف فرعی ایجاد کند. اهدافی که انسانها هرگز مستقیماً تعیین نکردهاند.
هینتون در مثال سادهای توضیح داد که اگر خاموش شدن مانع انجام مأموریت باشد، ممکن است سیستم انگیزه پیدا کند که از خاموش شدن جلوگیری کند. او تأکید کرد که این رفتارها هنوز در مدلهای امروزی بهصورت قطعی مشاهده نشدهاند، اما باید پیش از رسیدن به آن مرحله روی ایمنی کار کرد.
او همچنین گفت که سناریوی نگرانکنندهتر، دروغگویی عمدی است. بهگفته هینتون، اگر مدلی در شرایطی یاد بگیرد که فریب دادن به موفقیت بیشتر منجر میشود، ممکن است این رفتار را حفظ کند.
در بخش دیگری از سخنانش، او هشدار داد که مدلهای پیشرفته میتوانند به ابزارهای قدرتمند حملات سایبری، تولید بدافزار و عملیات فریب اطلاعاتی تبدیل شوند.
هینتون نگفت که ChatGPT یا سایر مدلهای فعلی از کنترل خارج شدهاند. او درباره خطرات احتمالی نسلهای آینده هوش مصنوعی صحبت میکند. سیستمهایی که ممکن است بسیار خودمختارتر، هدفمحورتر و توانمندتر از مدلهای امروزی باشند.
در نهایت مسئله فقط باهوشتر شدن هوش مصنوعی نیست، بلکه اطمینان از این است که اهداف آن با منافع انسان همراستا بماند.
۵۸۵۸
ثبت دیدگاه