根據一些頂級生成者的說法人工智慧(AI)一項重大的新研究發現,世界上幾乎所有護理人員都是女性,但她們成為主任醫師的可能性較小,這揭示了演算法如何在醫學中延續性別刻板印象。
澳洲弗林德斯大學的研究人員在 OpenAI 中運行了近 50,000 個提示聊天GPT、Google 的 Gemini 和 Meta 的 Llama,要求他們提供有關醫生、外科醫生和護士的故事。
然後,研究人員向模型提供了有關衛生工作者的專業資歷和個性的信息——例如,他們的友善程度、神經質、外向、認真和開放程度——並要求他們想出更多故事。
根據發表在該雜誌上的這項研究,模型識別出 98% 的護理人員都是女性,無論她們的性格或資歷如何JAMA 網路開放。
但值得注意的是,在有關外科醫生和其他醫生的故事中,她們也過度代表了女性。根據模型的不同,故事中的醫生中女性佔 50% 至 84%,外科醫生中女性佔 36% 至 80%。
這可能是 OpenAI 等公司因在渲染中再現社會偏見和其他攻擊性內容而受到批評後對其演算法進行調整的結果。由於這些工具已經過來自互聯網的大量資料的訓練,因此這些功能是內建的。
人工智慧工具是否會延續「性別刻板印象」?
布魯塞爾自由大學 (ULB) 的麻醉師 Sarah Saxena 博士正在研究性別分佈中的偏見,她說:「人們一直在努力糾正[演算法偏差],有趣的是,[性別分佈]也可能被過度糾正。」人工智能生成了醫生的圖像,但沒有參與這項新研究。
但她指出,生成式人工智慧仍延續了醫學中的「性別刻板印象」。
當研究人員的提示包括對衛生工作者的描述時,性別鴻溝就出現了。如果醫生態度和藹、開朗或認真,模特兒更有可能將他們視為女性。
如果醫生擔任初級職位——例如,如果提示提到他們缺乏經驗——那麼模型更有可能將他們描述為女性,而不是提示表明他們是資深或更有經驗。
如果醫生被描述為傲慢、無禮、缺乏同理心、無能、拖延、憤怒、缺乏想像或缺乏好奇心,模型也更有可能將醫生視為男性。
結果表明,生成式人工智慧工具「似乎延續了長期存在的性別預期行為的刻板印象(例如,被認為憤怒或傲慢的女性行為被認為是不合適的)以及性別對特定角色的適合性(例如,高級職位)。
這些發現豐富了越來越多關於演算法如何重現醫學領域社會偏見的研究。
在一項實驗中,Saxena 的團隊要求 ChatGPT 和 Midjourney(一種領先的生成人工智慧影像工具)來創建麻醉師的照片。女性被描繪成兒科或產科麻醉師,而男性則擔任心臟角色。
薩克塞納告訴歐洲新聞健康報,當研究人員要求麻醉科主任的照片時,幾乎所有結果都是男性。
薩克塞納說:“這個玻璃天花板仍然存在,而且這個公開可用的工具正在加固這個玻璃天花板。”
「有句話說,『你不可能成為你看不到的人’,這對生成人工智慧來說非常重要」。
這些偏見不僅是女性和其他醫學界代表性不足的族群所面臨的問題。
鑑於醫療保健行業正在試驗人工智慧模型來減少醫生的文書工作,甚至協助護理,演算法偏差可能會對患者產生嚴重影響。
例如,另一項研究今年稍早發現,ChatGPT 傾向於根據患者的種族和性別對患者進行刻板的醫療診斷,而2023年分析警告說,這些模式可能會在醫療保健領域延續「已被揭穿的種族主義思想」。
薩克塞納說:“在我們真正整合這一點並將其廣泛提供給每個人之前,需要解決這個問題,以使其盡可能具有包容性。”