A Long Island University kutatói 39 gyógyszerekkel kapcsolatos kérdést tettek fel a mesterséges intelligencia chatbot ingyenes változatának, melyek mindegyike az egyetem gyógyszerészeti főiskolájától származó valós kérdés volt. A szoftver válaszait ezután összehasonlították a képzett gyógyszerészek által írt válaszokkal.
A ChatGPT csak 10 kérdésére adott pontos választ, vagyis az összes kérdés körülbelül egynegyedére. A többi 29 kérdés esetében a válaszok hiányosak vagy pontatlanok voltak, vagy nem válaszolták meg a kérdést.
Az eredményeket kedden mutatták be a kaliforniai Anaheimben egy gyógyszerész találkozón – írja a CNN.
Mint ismert, ChatGPT, az OpenAI kísérleti AI chatbotja 2022 novemberében jelent meg, és a történelem leggyorsabban növekvő fogyasztói alkalmazásává vált, két hónap alatt közel 100 millióan regisztráltak rá.
A kutatók érdeklődését az az aggodalom váltotta ki, hogy hallgatóik, más gyógyszerészek és az egyszerű fogyasztók is egyre gyakrabban fordulnak olyan forrásokhoz, mint a ChatGPT, hogy választ kapjanak az egészségükkel kapcsolatos kérdésekre – mondta Sara Grossman, a Long Island University gyógyszerészi gyakorlatának docense, a tanulmány egyik szerzője. Hozzátette: kutatásuk szerint a program gyakran pontatlan, sőt veszélyes válaszokat adott.
A kutatók többek között azt is megkérdezték a ChatGPT-től, hogy a Covid-19-re szedhető gyógyszer, a Paxlovid illetve a Verapamil vérnyomáscsökkentő gyógyszer reagál-e egymással a szervezetben. A chatbot azt válaszolta, hogy a két gyógyszer együttes szedése nem jár káros hatásokkal.
A valóság viszont az, hogy azoknál az embereknél, akik mindkét gyógyszert egyszerre szedik, nagymértékű vérnyomásesés következhet be, ami szédüléshez vagy akár ájuláshoz is vezethet. A mindkét szert szedő betegek esetében az orvosok gyakran betegspecifikus terveket készítenek, például csökkentik a vérnyomáscsökkentő adagját, vagy figyelmeztetik az illetőt a veszélyekre és, hogy mire figyeljenek, például lassan álljanak fel – mondta Grossman.
„A ChatGPT iránymutatása veszélybe sodorja az embereket”
– tette hozzá a szakember.
Kitalált hivatkozások
Amikor a kutatók arra kérték a chatbotot, hogy egyes válaszait tudományos hivatkozásokkal támassza alá, azt tapasztalták, hogy a szoftver csak néhány kérdésnél tudta ezt teljesíteni. Ráadásul minden egyes esetben meglepődve tapasztalták, hogy a ChatGPT maga gyártotta ezeket a hivatkozásokat.
Első pillantásra az idézetek legitimnek tűntek, ugyanis megfelelően voltak formázva, az alkalmazás URL-címeket adott meg. Azonban amikor a csapat megpróbálta megtalálni a hivatkozott cikkeket, rá kellett jönniük, hogy a ChatGPT kitalált hivatkozásokat adott meg.
Veszélyes hibák
Egy másik esetben a kutatók azt kérdezték meg a mesterséges intelligenciától, hogyan lehet a Baclofen nevű izomgörcs elleni gyógyszer injekciós dózisát szájon át szedhető dózisokra alakítani. Grossman csapata nem talált tudományosan megállapított dózis-átváltási arányt, de a ChatGPT nem kis meglepetésre bemutatott egyet, méghozzá két orvosi szervezet útmutatására hivatkozva.
Csakhogy valójában egyik szervezet sem adott ki korábban útmutatást az átváltási arányokra vonatkozóan. Ugyanakkor a szoftver még egy számítási példát is megadott az adag átváltására, de egy kritikus hibával: a szájon át szedett adag kiszámításakor összekeverte az egységeket. Grossman szerint, ha ezt az útmutatót követné egy egészségügyi szakember, akkor a betegnél hallucinációk és rohamok jelentkeznének.
„Számos hiba és probléma volt ezzel a válasszal, és végső soron ez mélyreható hatással lehet a betegellátásra”
– közölte a szakember. A Long Island University tanulmánya nem az első, amely aggályokat vet fel a ChatGPT fiktív idézéseivel kapcsolatban. Korábbi kutatások azt is dokumentálták, hogy orvosi kérdések esetén a ChatGPT képes megtévesztő módon meghamisítani a tudományos hivatkozásokat, sőt valódi szerzők nevét is felsorolja, akiknek korábbi publikációi tudományos folyóiratokban jelentek meg.
Grossman, aki a tanulmány előtt keveset használta a szoftvert, meglepődött azon, hogy a ChatGPT milyen magabiztosan, szinte azonnal képes volt összegezni az információkat, és a válaszokat olyan gyorsasággal adta meg, amelyek összeállítása képzett szakembereknek órákba telne.
„A válaszok nagyon professzionális és kifinomult módon voltak megfogalmazva, és úgy tűnt, hogy ez hozzájárulhat az eszköz pontosságába vetett bizalomhoz” – mondta. „Egy felhasználót, aki esetleg nem tud különbséget tenni a hamis és a valós válaszok között, könnyen befolyásolhat a látszólagos szaktekintély”.
Megszólalt az OpenAI is
A ChatGPT-t fejlesztő cég, az OpenAI szóvivője azt tanácsolja a felhasználóknak, hogy ne hagyatkozzanak a válaszokra, mint a szakszerű orvosi tanácsadás vagy kezelés helyettesítőjére.
A szóvivő rámutatott a ChatGPT használati szabályzatára, amely szerint „az OpenAI modelljei nincsenek orvosi információk nyújtására finomhangolva”. A szabályzat azt is kimondja, hogy a modellek soha nem használhatók „súlyos orvosi állapotok diagnosztikai vagy kezelési szolgáltatásainak nyújtására”.
Bár Grossman nem volt biztos abban, hányan használják a ChatGPT-t gyógyszerkérdések megválaszolására, aggodalmát fejezte ki, hogy a chatbotot úgy használhatják, mintha orvosi tanácsokat keresnének az olyan keresőmotorokon, mint a Google.
„Az emberek mindig azonnali válaszokat keresnek, amikor a lehetőség rendelkezésükre áll”
– mondta Grossman. Az online orvosi információkkal kapcsolatban azt ajánlotta, hogy a fogyasztók használják a kormányzati honlapokat, amelyek valós információkat nyújtanak. Mindemellett nem hisz abban, hogy az online válaszok helyettesíthetik az egészségügyi szakember tanácsát.