ریسکهای پنهان هوش مصنوعی عاملی در بانکداری
با خودمختارشدن تصمیمگیری عاملهای هوش مصنوعی، بانکها با ریسکهایی تازه روبهرو میشوند که چارچوبهای موجود مدیریت ریسک مدل هرگز برایشان طراحی نشده بود.
سامانههای هوش مصنوعی عاملی — آنهایی که میتوانند اقدامهای چندمرحلهای برنامهریزی کنند، ابزارهای بیرونی را فرابخوانند و با کمترین نظارت انسانی کار کنند — سریعتر از آنکه چارچوبهای حاکمیتی خود را وفق دهند، از آزمایشگاههای پژوهشی به محیطهای عملیاتی بانکی میروند.
چارچوبهای سنتی مدیریت ریسک مدل (MRM)، ریشهدار در SR 11-7 و معادلهایش، برای مدلهای آماری با ورودی، خروجی و سنجههای عملکرد مشخص طراحی شده بودند. سامانههای عاملی این فرضها را میشکنند: چند مدل را ترکیب میکنند، API صدا میزنند، زمینه را میان نشستها نگه میدارند و اقدامهایی با پیامد واقعی انجام میدهند — از پیشنویس پاسخهای نظارتی تا آغاز جریانهای پرداخت.
سطح حمله هم متفاوت است. تزریق پرامپت — جایی که محتوای بدخواهانه در یک سند یا ایمیل، عامل را به اقدامی ناخواسته میفریبد — بردار تهدیدی نوظهور است که در MRM کلاسیک همتای مستقیمی ندارد. تصمیمهای اعتباریِ متکی بر توهم مدل نمونهٔ دیگر است: برخلاف مدل رگرسیونی که یک امتیاز خروجی میدهد، دستیار اعتبارسنجیِ مبتنی بر مدل زبانی ممکن است ارزیابی ریسکی بنویسد که مطمئن به نظر میرسد اما در واقعیت نادرست است.
بانکهایی که قابلیت عاملی میسازند باید از استقراری باریک و حسابرسیپذیر شروع کنند: دامنهٔ وظیفهٔ خوشتعریف، دروازههای صریح تأیید انسانی برای اقدامهای پیامددار، ثبت کامل زنجیرههای استدلال عامل، و برنامهٔ رسمی آزمون خصمانه که سناریوهای تزریق پرامپت و نشت داده را پوشش دهد.