وقتی مدیری در جلسه بررسی عملکرد ارزیابی ریسک یا پیشبینی ریزش مشتری میپرسد «چرا مدل این پیشنهاد را داد؟»، پاسخهای فنی نظیر «وزنهای شبکه عصبی این را محاسبه کردهاند» یا «ضریب دقت مدل ۹۲ درصد است» هیچ ارزشی ندارد. مدیر به دنبال درک وزن واقعی متغیرهای تجاری است؛ مثلا میخواهد بداند آیا تاخیر در پرداخت، میانگین موجودی یا سن مشتری باعث شده که مدل، درخواست تسهیلات او را رد کند.
هوش مصنوعی قابلتوضیح یا XAI مجموعه روشهایی است که محاسبات پیچیده ریاضی مدلهای یادگیری ماشین را به گزارشهای قابلفهم برای مدیران و کارشناسان بدنه تبدیل میکند. تجربه ما در هومات نشان میدهد که بیشتر پروژههای هوش مصنوعی نه به دلیل دقت پایین الگوریتم، بلکه به دلیل عدم اعتماد مدیران به مدلهای جعبهسیاه و نداشتن پاسخ برای همین سوال ساده، در مرحله آزمایشی متوقف میشوند.
چرا مدلهای جعبهسیاه در عمل بایگانی میشوند
در پروژههای تحلیل داده، توسعهدهندگان معمولا تمام تمرکز خود را روی افزایش یک تا دو درصدی سنجههای متداول مانند دقت یا AUC میگذارند. آنها برای رسیدن به این هدف، به سراغ الگوریتمهای پیچیدهای مانند گریدینت بوستینگ یا شبکههای عصبی عمیق میروند. این الگوریتمها الگوی میان صدها متغیر را میفهمند، اما نحوه رسیدن به نتیجه را پنهان میکنند.
این پنهانکاری در محیط واقعی سه مشکل اساسی ایجاد میکند:
- تصمیمگیرندگان ارشد مسئولیت حقوقی و مالی تصمیمات را بر عهده دارند و حاضر نیستند اعتبار سرمایه یا شرکت را بر اساس توصیههای مبهم یک جعبهسیاه به خطر بیندازند.
- کارشناسان بدنه که سالها تجربه میدانی دارند، وقتی با خروجی غیرمنتظرهای روبرو میشوند که توجیهی برای آن ارائه نشده، کلا سیستم جدید را کنار میگذارند و به روشهای سنتی بازمیگردند.
- نهادهای ناظر و حسابرسان در صنایع مالی، بانکی و دارویی اجازه استفاده از الگوریتمهایی را که فرآیند تصمیمگیری آنها شفاف نیست، نمیدهند.
برای مثال، در یک مدل رتبهبندی اعتباری، اگر مدل درخواست وام یک مشتری قدیمی را رد کند و نتوان علت آن را به صورت شفاف بیان کرد، بانک نه تنها یک مشتری ارزشمند را از دست میدهد، بلکه توان اصلاح فرایند یا دفاع از تصمیم خود را نیز نخواهد داشت.
روشهای اصلی شفافسازی خروجی مدلها
قابلتوضیحسازی مدلها به دو روش کلی انجام میشود: ساخت مدلهای ذاتاً شفاف، یا استفاده از ابزارهای پسینی برای مدلهای پیچیده.
در روش اول، از الگوریتمهایی مانند درخت تصمیم ساده یا رگرسیون خطی استفاده میشود. قانون تصمیمگیری در این مدلها شفاف است، اما معمولا قدرت کشف روابط پیچیده و غیرخطی در دادههای بزرگ را ندارند.
در روش دوم، مدل پیچیده اولیه حفظ میشود و از ابزارهای تخصصی برای کالبدشکافی تصمیمات آن استفاده میشود. سه ابزار استاندارد و پرکاربرد در این حوزه عبارتند از:
- روش SHAP که بر پایه نظریه بازیهای شپلی در اقتصاد شکل گرفته است. این روش سهم دقیق هر متغیر را در تغییر نتیجه نهایی نسبت به میانگین کل مشخص میکند. به عنوان مثال نشان میدهد که داشتن سوابق چک برگشتی ۳۰ درصد ریسک را بالا برده، اما گردش مالی بالا ۱۰ درصد از اثر منفی آن کاسته است.
- روش LIME که یک مدل ساده و محلی در اطراف یک نمونه خاص میسازد تا رفتار مدل پیچیده را در همان نقطه مشخص بازسازی و تفسیر کند.
- تحلیلهای نقیضبهواقع که به مدیر میگویند حداقل چه تغییراتی در دادههای ورودی لازم است تا تصمیم مدل عوض شود. برای نمونه: اگر درآمد ماهانه این مشتری ۱۵ میلیون تومان بیشتر بود، درخواست وام او تایید میشد.
هزینهها، محدودیتها و موارد عدم استفاده از XAI
پیادهسازی قابلیت توضیحدهی رایگان نیست و هزینههای اجرایی و محاسباتی مشخصی به همراه دارد. مدیران باید پیش از درخواست شفافیت کامل، از تاوان پرداختی آن مطلع باشند.
- افزایش زمان توسعه و هزینه زیرساخت: محاسبه مقادیر SHAP برای حجم دادههای بالا به شدت پردازشمحور است و میتواند زمان آموزش و پاسخدهی مدل را تا چند برابر افزایش دهد.
- افت جزئی در دقت: گاهی برای دستیابی به مدلی که کاملا قابل تفسیر باشد، مجبور میشوید از الگوریتمهای سادهتر استفاده کنید که ممکن است ۱ تا ۳ درصد دقت کمتری نسبت به مدلهای پیچیده داشته باشند.
- خطر افشای منطق تجاری: ارائه توضیحات بسیار دقیق و جزئی گاهی میتواند به افراد سوءاستفادهکننده کمک کند تا قوانین مدل شما را مهندسی معکوس کرده و سیستم را دور بزنند.
همچنین، استفاده از XAI در همه پروژهها ضروری نیست. در فرآیندهایی که مخاطره مالی یا انسانی پایینی دارند یا تصمیمات با تکرار بالا و ارزش فردی پایین گرفته میشوند، نیازی به صرف هزینه برای قابلیت توضیحدهی نیست. برای مثال در سیستمهای طبقهبندی خودکار اسناد، پردازش تصویر در خط تولید برای تشخیص قطعات معیوب یا فیلتر کردن اسپم، توضیحات جزئی مدل تاثیر عملی در تصمیمات مدیریتی ندارد و همان سنجههای دقت عمومی کافی است.
چگونه پروژه هوش مصنوعی را با رویکرد قابلتوضیح طراحی کنیم
اگر قصد دارید الگوریتمهای تحلیل داده را در فرآیندهای حساس شرکت خود وارد کنید، این مسیر چهارگام را مد نظر قرار دهید:
- ذینفعان هر تصمیم را مشخص کنید. سطح توضیح مورد نیاز برای یک حسابرس مالی با مدیرعامل یا کاربر نهایی متفاوت است.
- الگوریتم پایه را بر اساس نسبت اهمیت دقت به شفافیت انتخاب کنید. در فرآیندهای پرریسک، مدلهای سادهتر با قابلیت تفسیر بالا بر مدلهای پیچیده با دقت کمی بالاتر ارجحیت دارند.
- ابزارهای توضیحدهی را به فرم داشبورد مدیریتی تبدیل کنید. توضیحات نباید به صورت کدهای فنی ارائه شوند، بلکه باید در قالب نمودارهای ساده سهم متغیرها در داشبورد عملیاتی نشان داده شوند.
- تغییرات منطق تصمیمگیری مدل را به مرور زمان پایش کنید. اگر سهم متغیرها در طول چند ماه به شدت تغییر کند، نشاندهنده تغییر رفتار بازار یا افت کیفیت دادههای ورودی است.
گام بعدی برای مدیران
اگر در حال حاضر پروژهای در حوزه یادگیری ماشین یا تحلیل پیشبینیکننده در مجموعه خود دارید، در جلسه بعدی از تیم فنی یا پیمانکار خود یک سوال مشخص بپرسید: «ارزش و سهم دقیق سه متغیر اصلی در آخرین تصمیمی که مدل گرفته چیست؟»
اگر پاسخ آنها تنها ارائه نمودارهای عمومی از دقت کل مدل باشد، سیستم شما هنوز برای ورود به محیط عملیاتی آماده نیست. میتوانید از تیم خود بخواهید تا یک نمونه اولیه از خروجی SHAP را روی یکی از تصمیمات حساس اخیر پیادهسازی کنند تا اثر واقعی آن را در کیفیت تصمیمگیری مدیریتی ببینید.