به نقل از ایسنا، موفقیت هوش مصنوعی در دهه گذشته به شکل گیری اشتیاق بی حدوحصر و ادعاهای جسورانه انجامیده است؛ اگرچه کاربران به طور منظم اشتباهاتی را که هوش مصنوعی مرتکب می شود، تجربه می کنند. یک دستیار دیجیتال مجهز به هوش مصنوعی می تواند گفتار یک شخص را به شیوه های شرم آوری اشتباه بفهمد، یک چت بات می تواند درباره حقایق توهم داشته باشد یا یک سیستم مسیریابی مبتنی بر هوش مصنوعی ممکن است رانندگان را در یک مزرعه ذرت به صورت اشتباه راهنمایی کند. همه این موارد ممکن است بدون خطا هم انجام شوند.

به نقل از کانورسیشن، مردم این خطاها را تحمل می کنند زیرا هوش مصنوعی وظایف خاصی را کارآمدتر می کند. طرفداران به طور فزاینده ای از به کار بردن هوش مصنوعی -گاهی اوقات با نظارت محدود انسانی- در زمینه هایی مانند مراقبت های بهداشتی که خطاها هزینه بالایی دارند، حمایت می کنند. به عنوان مثال، لایحه ای که در اوایل سال 2025 در مجلس نمایندگان آمریکا ارائه شد، به سیستم های هوش مصنوعی اجازه می دهد تا داروها را به صورت خودکار تجویز کنند. از آن زمان، پژوهشگران حوزه بهداشت و همچنین قانون گذاران درباره این که آیا چنین تجویزی امکان پذیر یا توصیه می شود، بحث کرده اند.

هنوز مشخص نیست که اگر این قانون یا قانون مشابه تصویب شود، چنین تجویزی دقیقاً چگونه عمل خواهد کرد اما این قانون، میزان خطاهایی را که توسعه دهندگان هوش مصنوعی می توانند اجازه ارتکاب آنها را به فناوری های خود بدهند، افزایش می دهد و اگر این فناوری ها به بروز نتایج منفی -حتی مرگ بیمار- منجر شوند، عواقبی خواهد داشت.

به طور ویژه برای هوش مصنوعی، خطاها ممکن است نتیجه اجتناب ناپذیر نحوه عملکرد سیستم ها باشند. پژوهش های آزمایشگاه کارلوس گرشنسون (Carlos Gershenson) استاد نوآوری دانشگاه بینگهمتون (Binghamton University) نشان می دهند که ویژگی های خاص داده های مورد استفاده، در آموزش مدل های هوش مصنوعی نقش دارند. صرف نظر از این که پژوهشگران چقدر زمان، تلاش و بودجه را صرف بهبود مدل های هوش مصنوعی می کنند، بعید است که این وضعیت تغییر کند.

هیچ کس، هیچ چیز و حتی هوش مصنوعی بی نقص نیست

زمانی آلن تورینگ (Alan Turing) پدر علم رایانه گفت: اگر انتظار می رود یک ماشین معصوم باشد، نمی تواند هوشمند نیز باشد. دلیلش این است که یادگیری، بخش اساسی هوش است و مردم معمولاً از اشتباهات درس می گیرند.

گرشنسون گفت: من و همکارانم در پژوهشی که در ژوییه 2025 منتشر شد، نشان دادیم که سازمان دهی کامل مجموعه داده های خاص در گروه های واضح ممکن است غیرممکن باشد. به عبارت دیگر، ممکن است حداقل میزان خطایی وجود داشته باشد که یک مجموعه داده مشخص را ایجاد می کند؛ صرفاً به این دلیل که عناصر بسیاری از گروه ها با یکدیگر هم پوشانی دارند. برای برخی از مجموعه داده ها که زیربنای اصلی بسیاری از سیستم های هوش مصنوعی هستند، هوش مصنوعی بهتر از شانس عمل نخواهد کرد.

ویژگی های خاص داده های مورد استفاده، در آموزش مدل های هوش مصنوعی نقش دارند. صرف نظر از این که پژوهشگران چقدر زمان، تلاش و بودجه را صرف بهبود مدل های هوش مصنوعی می کنند، بعید است که این وضعیت تغییر کند.برای مثال، مدلی که براساس مجموعه داده های به دست آمده از میلیون ها سگ آموزش دیده است و فقط سن، وزن و قد آنها را ثبت می کند، احتمالاً می تواند نژاد چی واوا را از گریت دین با دقت کامل تشخیص دهد اما ممکن است در تشخیص یک مالاموت آلاسکایی و یک دوبرمن اشتباه کند زیرا نژادهای متفاوت ممکن است در محدوده یکسانی از سن، وزن و قد قرار بگیرند.

گرشنسون ادامه داد: این دسته بندی، طبقه بندی پذیری نامیده می شود و من و دانشجویانم مطالعه آن را از سال 2021 آغاز کردیم. ما با استفاده از داده های بیش از نیم میلیون دانشجو که بین سال های 2008 تا 2020 در دانشگاه مستقل ملی مکزیک (UNAM) تحصیل کرده بودند، می خواستیم یک مسئله به ظاهر ساده را حل کنیم. ما می خواستیم بدانیم آیا می توانیم از یک الگوریتم هوش مصنوعی برای پیش بینی این که کدام دانشجویان مدرک دانشگاهی خود را به موقع -یعنی ظرف سه، چهار یا پنج سال از آغاز تحصیل بسته به رشته ی تحصیلی- به پایان می رسانند، استفاده کنیم.

وی افزود: ما چندین الگوریتم محبوب را که برای طبقه بندی در هوش مصنوعی استفاده می شوند، آزمایش کردیم و الگوریتم خودمان را نیز توسعه دادیم. هیچ الگوریتمی کامل نبود. بهترین آنها -حتی الگوریتمی که ما به طور ویژه برای این کار توسعه دادیم- به میزان دقت حدود 80 درصد دست یافتند؛ به این معنی که حداقل از هر پنج دانش آموز یک نفر به اشتباه طبقه بندی شده بود. ما متوجه شدیم که بسیاری از دانش آموزان از نظر نمره، سن، جنسیت، وضعیت اجتماعی-اقتصادی و سایر ویژگی ها یکسان هستند. تحت این شرایط، هیچ الگوریتمی قادر به ارائه پیش بینی های کامل نخواهد بود.

گرشنسون گفت: ممکن است فکر کنید که داده های بیشتر، پیش بینی پذیری را بهبود می بخشد اما این معمولاً با بازدهی نزولی همراه است. این بدان معناست که به عنوان مثال، برای هر یک درصد افزایش دقت ممکن است به 100 برابر داده ها نیاز داشته باشید. بنابراین، ما هرگز دانش آموز کافی را برای بهبود قابل توجه عملکرد مدل خود نخواهیم داشت.

خطاهایی که توسط فناوری های هوش مصنوعی ایجاد می شوند، اساساً طبقه بندی های نادرستی هستند که توسط یک الگوریتم محاسباتی انجام می گیرند. درک چگونگی تبدیل این موارد به تأثیر بالینی بر بیماران اغلب ناقص است؛ به این معنی که گزارش واقعی درباره ایمنی فناوری هوش مصنوعی ناقص است.علاوه بر این، بسیاری از تغییرات غیر قابل پیش بینی در زندگی دانشجویان و خانواده هایشان -بیکاری، مرگ، بارداری- ممکن است پس از سال اول دانشگاه رخ دهند که احتمالاً بر اتمام به موقع تحصیلات تأثیر می گذارد. بنابراین حتی با وجود تعداد نامحدودی از دانشجویان، پیش بینی های ما همچنان خطا خواهند داشت.

به نقل از وب سایت رسمی موسسه ملی سلامت آمریکا، تعداد فزاینده ای از فناوری های مبتی بر هوش مصنوعی در حال حرکت به سمت بخش بالینی در سراسر حوزه پزشکی هستند. معرفی چنین فناوری هایی، مزایای متعددی را برای تخصص های تشخیصی به همراه خواهد داشت که از جمله آنها می توان به افزایش دقت و کارآیی تشخیص اشاره کرد. با وجود این، از آنجا که هیچ فناوری هوش مصنوعی مصون از خطا نیست، استفاده از آنها به طور ناگزیر خطاهای جدیدی را ایجاد خواهد کرد.

خطاهایی که توسط فناوری های هوش مصنوعی ایجاد می شوند، اساساً طبقه بندی های نادرستی هستند که توسط یک الگوریتم محاسباتی انجام می گیرند. درک چگونگی تبدیل این موارد به تأثیر بالینی بر بیماران اغلب ناقص است؛ به این معنی که گزارش واقعی درباره ایمنی فناوری هوش مصنوعی ناقص است.

بهتر است که خطاهای ناشی از فناوری های هوش مصنوعی از دیدگاه پاتولوژیک و بالینی ارزیابی و گزارش شوند، نحوه انجام شدن کار در مطالعات مربوط به خطاهای پاتولوژیست انسانی نشان داده شود و در صورت امکان، نمونه هایی از پاتولوژی و رادیولوژی ارائه شود.

محدودیت های پیش بینی

به طور کلی تر، آنچه پیش بینی را محدود می کند، پیچیدگی است. اجزایی که یک سیستم پیچیده را تشکیل می دهند، درهم تنیده هستند و این تعاملات بین آنهاست که تعیین می کند چه اتفاقی برای آنها رخ خواهد داد و چگونه رفتار خواهند کرد. بنابراین، مطالعه عناصر سیستم به صورت جداگانه احتمالاً اطلاعات گمراه کننده ای را درباره آنها و همچنین درباره کل سیستم به دست می دهد.

برای مثال، خودرویی را در نظر بگیرید که در یک شهر در حال حرکت است. با دانستن سرعت رانندگی آن می توان از نظر تئوری پیش بینی کرد که در یک زمان خاص به کجا خواهد رسید اما در ترافیک واقعی، سرعت آن به تعامل با سایر وسایل نقلیه در جاده بستگی دارد. از آنجا که جزییات این تعامل در لحظه ظاهر می شوند و نمی توان از قبل آنها را دانست، پیش بینی دقیق آنچه برای خودرو رخ می دهد، تنها چند دقیقه بعد امکان پذیر است.

آنچه پیش بینی را محدود می کند، پیچیدگی است. اجزایی که یک سیستم پیچیده را تشکیل می دهند، درهم تنیده هستند و این تعاملات بین آنهاست که تعیین می کند چه اتفاقی برای آنها رخ خواهد داد و چگونه رفتار خواهند کرد.همین اصول درباره تجویز داروها نیز صدق می کند. شرایط و بیماری های گوناگون می توانند علائم یکسانی داشته باشند و افراد مبتلا به بیماری یکسان ممکن است علائم متفاوتی را نشان دهند. به عنوان مثال، تب می تواند ناشی از بیماری تنفسی یا گوارشی باشد و سرماخوردگی ممکن است باعث سرفه شود اما همیشه این طور نیست. این بدان معناست که مجموعه داده های مراقبت های بهداشتی همپوشانی های قابل توجهی دارند که مانع از آن می شود تا هوش مصنوعی بدون خطا باشد.

قطعا انسان ها هم اشتباه می کنند اما وقتی هوش مصنوعی بیماری یک بیمار را اشتباه تشخیص می دهد که مطمئناً این اتفاق خواهد افتاد، وضعیت در یک برزخ قانونی قرار می گیرد. مشخص نیست که در صورت آسیب دیدن بیمار، چه کسی یا چه چیزی مسئول خواهد بود. شرکت های داروسازی؟ توسعه دهندگان نرم افزار؟ آژانس های بیمه؟ داروخانه ها؟

در بسیاری از زمینه ها، نه انسان ها و نه ماشین ها بهترین گزینه برای یک کار مشخص نیستند. هوش هیبریدی یعنی ترکیبی از انسان ها و ماشین ها معمولاً بهتر از هر کدام به تنهایی عمل می کنند. یک پزشک مطمئناً می تواند از هوش مصنوعی برای تصمیم گیری درباره داروهای احتمالی برای بیماران گوناگون، بسته به سابقه پزشکی، جزییات فیزیولوژیکی و ساختار ژنتیکی آنها استفاده کند. پژوهشگران در حال حاضر در حال بررسی این رویکرد در پزشکی دقیق هستند.

عقل سلیم و اصل احتیاط می گوید که هنوز برای تجویز دارو توسط هوش مصنوعی بدون نظارت انسان خیلی زود است و این واقعیت که ممکن است خطاهایی در این فناوری رخ دهد، می تواند به این معنی باشد که وقتی سلامت انسان در خطر است، نظارت انسانی همیشه ضروری خواهد بود.