در یک مقاله تحقیقاتی که توسط خود گوگل برای نمایش قابلیت های مدل هوش مصنوعی Med-Gemini منتشر شده بود، این مدل در تحلیل سی تی اسکن سر، یک ناهنجاری را در گانگلیون بازیلر (Basilar Ganglia) تشخیص داد؛ بخشی از مغز که اصلاً وجود خارجی ندارد. این هوش مصنوعی، دو ساختار کاملاً مجزا و متفاوت در مغز، یعنی گانگلیون های پایه (Basal Ganglia) و شریان بازیلر (Basilar Artery) را با هم ترکیب و یک نام جدید اختراع کرده بود.

محققان و پزشکان این خطا را فوق العاده خطرناک توصیف می کنند. آنها می گویند: این دو کلمه مختلف، یک دنیا تفاوت ایجاد می کنند. تشخیص اشتباه میان این دو ناحیه می تواند به پروتکل های درمانی کاملاً متفاوت و بالقوه مرگبار برای بیمار منجر شود.

به گزارش ورج، پس از آنکه دکتر برایان مور (Bryan Moore)، عصب شناس، این اشتباه فاحش را به گوگل گزارش داد، این شرکت در ابتدا تلاش کرد تا با ویرایش پنهانی پست وبلاگ خود و تغییر Basilar به Basal ، موضوع را یک غلط تایپی ساده جلوه دهد. اما پس از فشارهای بیشتر، گوگل با بازگرداندن عبارت اشتباه، در توضیحی جدید ادعا کرد که این یک اشتباه رایج در رونویسی است که هوش مصنوعی از داده های آموزشی خود یاد گرفته است.

مشکلات به همین جا ختم نمی شود. آزمایش های انجام شده توسط متخصصان دیگر، یک ضعف اساسی دیگر را در این مدل های هوش مصنوعی آشکار کرده است: عدم ثبات در پاسخ دهی.

دکتر جودی گیچویا (Judy Gichoya) از دانشگاه اموری، در آزمایشی یک عکس رادیولوژی از قفسه سینه را به مدل جدیدتر گوگل، MedGemma، نشان داد. وقتی دکتر سؤالش را با جزییات کامل (شامل ارائه سن و جنسیت بیمار) پرسید، هوش مصنوعی مشکل را به درستی تشخیص داد. اما وقتی همان عکس را با یک سؤال ساده تر (صرفاً در این عکس چه می بینی؟ ) به هوش مصنوعی نشان داد، پاسخ کاملاً متفاوت بود: این عکس یک قفسه سینه نرمال از یک فرد بزرگسال را نشان می دهد. و مشکل به طور کامل نادیده گرفته شد.

این قضیه نشان می دهد که کوچک ترین تغییری در نحوه تعامل با هوش مصنوعی می تواند منجر به نتایج کاملاً متضاد و خطرناک شود.

کارشناسان معتقدند بزرگ ترین خطر این سیستم ها، اشتباهات گاه به گاه آنها نیست، بلکه اعتماد به لحن متقاعدکننده ای است که با آن، اطلاعات غلط (مانند وجود گانگلیون بازیلر) را به عنوان یک حقیقت علمی بیان می کنند.

دکتر جاناتان چن (Jonathan Chen) از دانشگاه استنفورد، این پدیده را به رانندگی خودکار تشبیه می کند: ماشین آنقدر خوب رانندگی کرده است که شما تصمیم می گیرید پشت فرمان بخوابید. این دقیقاً همان جایی است که خطر اتفاق می افتد.

درکل پدیده ای که به آن سوگیری اتوماسیون (Automation Bias) گفته می شود، می تواند باعث شود پزشکان به دلیل عملکرد عمدتاً صحیح هوش مصنوعی، از بررسی دقیق نتایج آن غافل شوند و اشتباهات فاحش را نادیده بگیرند. کارشناسان می گویند این مدل ها ذاتاً تمایل به ساختن چیزها دارند و هرگز نمی گویند من نمی دانم و این یک مشکل بسیار بزرگ در حوزه های پرخطری مانند پزشکی است.