روان پریشی ناشی از چت بات ها چیست چه اشخاصی لطمه پذیرتر اند
به گزارش توسعه نرم افزار، وقتی چت بات ها از مساله سلامت عمومی عبور می کنند و به ریسک امنیت ملی تبدیل می شوند.
به گزارش توسعه نرم افزار به نقل از مهر؛ پژوهش اخیر اندیشکده رند، با عنوان «Manipulating Minds: Security Implications of AI-Induced Psychosis» به یکی از حساس ترین و با این حال کمتر دیده شده ترین دستاوردهای گسترش چت بات ها و مدلهای زبانی می پردازد؛ پدیده ای که تا همین اواخر عمدتا در حاشیه مباحث سلامت روان قرار داشت، اما حال درحال ورود به کانون توجه سیاست گذاران است و «روان پریشی القا شده یا تشدید شده به وسیله هوش مصنوعی» نام دارد. به اعتقاد کارشناسان فعال در این پروژه پژوهشی، تعامل مداوم و بدون اصطکاک با سیستم های هوشمند، بخصوص برای کاربران صدمه پذیر، می تواند به تقویت باورهای نادرست، گسست تدریجی از واقعیت و تضعیف قضاوت فردی منجر شود. دراین میان، نکته محوری تحلیل اندیشکده رند، این است که حتی اگر چنین پیامدی فقط دامنگیر اقلیتی کوچک از کاربران باشد، در وضعیت خاص، همچون تمرکز این اختلال ها در افراد یا موقعیت های حساس، مساله از سطح یک چالش درمانی و فردی فراتر می رود و می تواند به یک ریسک نوظهور با دستاوردهای امنیت ملی تبدیل شود؛ ریسکی که نادیده گرفتن آن، هزینه های حکمرانی فناوری را در آینده به صورت معناداری افزایش خواهد داد.
روان پریشی ناشی از هوش مصنوعی چیست و چه مرزی دارد؟
روان پریشی در ادبیات حوزه روانشناسی بالینی به وضعیتی اطلاق می شود که در آن فرد تماس پایدار و قابل اتکای خود با واقعیت را از دست می دهد و این گسست معمولا با نشانه هایی مانند هذیان، توهم، اختلال جدی در قضاوت، آشفتگی شناختی و تغییرات محسوس در رفتار و کارکرد اجتماعی همراه می باشد. گزارش اندیشکده رند با تاکید بر همین چارچوب بالینی تصریح می کند که «روان پریشی ناشی از هوش مصنوعی» یا «AI psychosis» لزوماً یک تشخیص رسمی پزشکی یا طبقه بندی بالینی مستقل محسوب نمی گردد، بلکه بیشتر یک توصیف تحلیلی برای الگوهایی از اختلال روانی است که در بستر تعامل با سیستم های هوش مصنوعی بروز می کنند یا تشدید می شوند. با این وجود، در بیشتر پرونده های بررسی شده، عنصر مشترک و محوری، ایجاد یا تعمیق هذیان بوده است؛ یعنی باورهای نادرست و غیرقابل اصلاح که فرد آنها را با قطعیت می پذیرد. تفاوت اساسی این وضعیت با باورهای نادرست یا شبه علمی رایج در جامعه نه فقط در محتوای باور، بلکه در دستاوردهای آن نهفته است. در روان پریشی، این باورها به اختلال ملموس در عملکرد فردی و اجتماعی، افزایش شدید پریشانی روانی و ناتوانی فرد در تفکیک واقعیت از خیال منجر می شوند؛ به شکلی که توان تصمیم گیری، روابط اجتماعی و حتی مراقبت از خودرا مختل می کنند. از همین روی، محققان اندیشکده رند اخطار می دهند که تقلیل این پدیده به «باور غلط» یا «خطای شناختی معمول» می تواند ماهیت حقیقی خطر را پنهان کند و مانع از طراحی مداخلات مناسب در سطح سیاستگذاری و حکمرانی فناوری شود.
پیوستار باورهای بی پایه؛ از شایعه تا روان پریشی
گزارش رند برای تحلیل پدیده از مفهوم پیوستار استفاده می نماید. در یک سر این پیوستار، باورهای ماورایی یا شبه علمی نسبتاً رایج و در سر دیگر، تجربه های روان پریشانه شدید و اختلالاتی مانند اسکیزوفرنی قرار دارند. برآوردهای پژوهشی نشان میدهد که تجربه های روان پریشانه در طول عمر در سطح جهانی حدود هشت درصد جمعیت را در بر می گیرد، در حالیکه اختلالات شدیدتر سهم خیلی کمتری دارند. اهمیت این چارچوب در این است که حتی جابه جایی اندک افراد در این پیوستار می تواند دستاوردهای اجتماعی و امنیتی قابل توجهی ایجاد نماید.
۴۳ پرونده عمومی و آن چه میتوان از آنها آموخت
اندیشکده رند، به علت کمبود داده های نظام مند، در جریان تحقیقات خود، ۴۳ پرونده عمومی را که در آنها تعامل با چت بات ها با بروز یا تشدید روان پریشی همراه بوده بررسی نموده است. این پرونده ها عمدتا از گزارش های رسانه ای و پایگاه های ثبت رخدادهای در رابطه با هوش مصنوعی استخراج شده اند. بر خلاف تصور رایج، بیشتر این موارد مرگبار نبوده اند و پیامدهایی مانند قطع خودسرانه دارو، انزوای اجتماعی، تغییر شخصیت و بستری روان پزشکی افراد را شامل می شده اند. الگوهای محتوایی پرتکرار در این پرونده ها شامل باور به داشتن مأموریت نجات بخش، احساس تعقیب یا تهدید، تصور ارتباط فراواقعی با هوش مصنوعی و در موارد محدود، پیوند دادن خودکشی با رسیدن به سطحی بالاتر از آگاهی بوده است. بخش قابل توجهی از این موارد به استفاده از چت بات های عمومی و همراه نسبت داده شده اند. مهم ترین مفهوم تحلیلی گزارش، حلقه تقویت باور است. در این فرآیند، کاربر صدمه پذیر و سامانه هوش مصنوعی به صورت متقابل یک روایت تحریف شده از واقعیت را تقویت می کنند. خصوصیت هایی مانند تمایل مدلها به موافقت و همدلی، تولید پاسخ های متقاعدکننده اما نادرست، بهینه سازی برای درگیری طولانی و پاسخ های سریع و قاطع بدون تاکید بر عدم قطعیت، همگی می توانند این چرخه را تشدید کنند. بر همین اساس، در تعاملات طولانی مدت، این پروسه به فرسایش تدریجی مرزهای ایمنی منجر می شود.
چه اشخاصی صدمه پذیرتر هستند؟
بررسی پرونده ها نشان میدهد در بیشتر از نیمی از موارد، نوعی سابقه مشکلات سلامت روان، از اختلالات در رابطه با روان پریشی تا سایر مشکلات بالینی، گزارش شده است. با این وجود، در قسمتی از پرونده ها هیچ عامل صدمه پذیری مشخص یا سابقه ثبت شده ای وجود ندارد؛ نکته ای که نشان میدهد مسیر بروز این پدیده را نمی توان فقط به پیشینه تشخیصی و بالینی افراد فروکاست. این یافته از آن حکایت می کند که هرچند ریسک اصلی و احتمال بالاتر وقوع متوجه اشخاصی با سابقه اختلال روانی است، اما تعامل با سیستم های هوش مصنوعی می تواند در وضعیت خاص، نقش تشدیدکننده یا فعال کننده ای را ایفا کند که دامنه خطر را فراتر از این گروه گسترش می دهد. از طرف دیگر، الگوی زمانی پرونده ها هم معنادار است. بر همین اساس، اغلب موارد نه درنتیجه استفاده های کوتاه مدت و مقطعی، بلکه در بستر تعامل های طولانی، مکرر و بعضاً ساعت ها گفت و گوی پیوسته با چت بات ها شکل گرفته اند. این ادامه تعامل، بخصوص زمانیکه با اعتماد فزاینده کاربر به سامانه و کاهش تدریجی حساسیت نسبت به خطاهای محتوایی همراه می شود، زمینه را برای تقویت حلقه های هذیانی و فرسایش قضاوت شناختی فراهم می آورد. از همین روی، گزارش بر این نکته تاکید دارد که «مدت و شدت تعامل» به اندازه خصوصیت های فردی کاربران، در فهم و مدیریت این ریسک نقش تعیین کننده دارد.
از سلامت عمومی تا امنیت ملی
نقطه تمایز گزارش اندیشکده رند در این است که مبحث را فقط یک مساله درمانی نمی بیند. از نظر امنیت ملی، حتی تعداد کمی از افراد مبتلا به اختلال شدید قضاوت، اگر در موقعیت های حساس قرار گیرند یا رفتارهای پرخطر از خود نشان دهند، می توانند پیامدهایی فراتر از حوزه فردی ایجاد کنند. گزارش دو مسیر اصلی، یعنی افزایش مقیاس اثرگذاری در صورت گسترش استفاده از چت بات ها و امکان بهره برداری هدفمند از این سازوکارها توسط بازیگران خصمانه، تهدید را مطرح می کند. اندیشکده رند برای پرهیز از اغراق یا ساده سازی، یک مدل مفهومی برای برآورد دامنه ممکن این پدیده عرضه می کند. در این چارچوب، عواملی مانند میزان استفاده منظم از مدلهای زبانی، سهم جمعیت صدمه پذیر، مدت و شدت تعامل و احتمال ورود به حلقه تقویت هذیان در کنار هم قرار می گیرند. تاکید گزارش این است که محاسبات پیشبینی قطعی نیستند، بلکه ابزاری برای فهم حساسیت سیاستی و طراحی مداخلات پیشگیرانه محسوب می شوند.
جمع بندی
بالاخره، میتوان نتیجه گرفت که در عصر چت بات های فراگیر، مفهوم امنیت دیگر فقط به صیانت از زیرساخت های فنی، داده ها یا شبکه ها محدود نمی گردد. در کنار امنیت سایبری و حکمرانی داده، لایه ای تازه و کمتر دیده شده درحال ایجاد است که میتوان آنرا «تاب آوری شناختی»، یعنی توان جامعه و افراد برای حفظ قضاوت سالم، تشخیص واقعیت و مقاومت در مقابل اختلال های شناختی ناشی از تعامل مداوم با سیستم های هوشمند، نامید. بی توجهی به این لایه می تواند ریسک های نوظهوری بوجود آورد که نه به شکل ناگهانی، بلکه کم کم و انباشتی بروز می کنند و هزینه های اجتماعی، سیاسی و امنیتی قابل توجهی به همراه دارند. کارشناسان تاکید می کنند که هرچند شواهد تجربی در رابطه با روان پریشی القا شده به وسیله هوش مصنوعی هنوز محدود و پراکنده است، اما الگوهای مشاهده شده به اندازه ای معنادار هستند که هم صنعت فناوری و هم سیاست گذاران نتوانند آنها را نادیده بگیرند. مساله اصلی، وقوع گسترده یک بحران ناگهانی نیست، بلکه ایجاد یک ریسک مزمن و کم سر و صداست که در غیاب مداخلات طراحی محور و سیاستی، می تواند در مقاطع حساس اثرگذاری نامتناسبی پیدا کند. از این منظر، آینده حکمرانی هوش مصنوعی بیشتر از هر زمان دیگر به توان نظام های تصمیم گیری برای شناسایی، پیشگیری و مدیریت همین ریسک های ظریف اما بالقوه پرهزینه گره خورده است؛ ریسک هایی که در مرز میان سلامت عمومی، حکمرانی فناوری و امنیت ملی قرار دارند.
به طور خلاصه، برآوردهای پژوهشی نشان میدهد که تجربه های روان پریشانه در طول عمر در سطح جهانی حدود هشت درصد جمعیت را در بر می گیرد، در حالی که اختلالات شدیدتر سهم خیلی کمتری دارند. بر همین اساس، در تعاملات طولانی مدت، این فرایند به فرسایش تدریجی مرزهای ایمنی منجر می شود. اندیشکده رند برای پرهیز از اغراق یا ساده سازی، یک مدل مفهومی برای برآورد دامنه ممکن این پدیده عرضه می کند.
مطلب توسعه نرم افزار را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط در DevSoft
نظرات بینندگان DevSoft در مورد این مطلب