聊天機器人在歐盟選舉前提供「無意」的錯誤訊息

一項新的研究表明,歐洲最受歡迎的四個人工智慧聊天機器人並未向用戶提供即將舉行的選舉的準確資訊。

總部位於柏林的非營利組織民主報道國際透過Google的 Gemini、OpenAI 的 ChatGPT 3.5 和 4.0 以及微軟的 Copilot 輸入了有關歐洲選舉的各種問題,看看他們會得到什麼答案。

3 月 11 日至 14 日期間,研究人員以 10 種不同語言向聊天機器人詢問了 400 個與選舉相關的問題,涉及 10 個歐盟國家的選舉和/或投票過程。這些問題是用適合這些人工智慧聊天機器人的普通用戶的簡單語言編寫的。

結論是:儘管經過精心調整以避免黨派回應,四個聊天機器人都無法對典型的選舉相關問題「提供可靠且值得信賴的答案」。

「我們並不感到驚訝,」民主報道國際執行董事邁克爾·邁耶·雷森德 (Michael-Meyer Resende) 在接受《歐洲新聞台》採訪時談到了他們的調查結果。

「當你向[人工智慧聊天機器人]詢問一些他們沒有大量材料並且在網路上找不到大量資訊的問題時,他們只是發明了一些東西」。

這項研究是最新發現人工智慧聊天機器人在許多人所說的世界上最重要的選舉年傳播錯誤訊息的最新研究。

去年 12 月,另一家柏林非營利組織 AlgorithmWatch 發表了類似的研究,顯示微軟搜尋引擎上的人工智慧驅動聊天機器人 Bing Chat 在德國和瑞士回答了三分之一的選舉問題。

根據這項研究的結果,Google向 Euronews Next 證實,它現在對其大型語言模型 (LLM) 施加了進一步的限制。

聊天機器人“有幫助,但不準確”

雷森德說,聊天機器人在某些特定領域表現不佳,例如選民登記和境外投票問題。

例如,研究發現聊天機器人普遍支持投票,但強調這是個人選擇:儘管事實上投票在希臘、比利時、盧森堡和保加利亞是強制性的。

研究還發現,如果聊天機器人不知道答案,包括幾個錯誤的選舉日期,它們經常會「產生幻覺」或製造訊息。

例如,三個聊天機器人犯了同樣的錯誤,告訴用戶他們可以在葡萄牙透過郵寄投票,但實際上,這不是葡萄牙選民的選擇。

在立陶宛,Gemini 聲稱歐洲議會將派遣選舉觀察團 - 這是不真實的(迄今為止安排的唯一 2024 年歐盟選舉團是針對孟加拉)。

雷森德將這些幻覺結果解釋為「聊天機器人想要『有幫助』而不是準確」的傾向。

報告發現,即使是聊天機器人給出的最強烈的回應,答案也常常包含損壞或不相關的鏈接,研究稱這些鏈接“削弱”了它們的質量。

當研究人員尋找各種歐洲語言的答案時,事情變得更加複雜。

研究人員用 10 種歐盟官方語言提出了同樣的問題,在其中一些語言中,平台會拒絕回答(例如西班牙語中的 Gemini),或者會將有關地方選舉的信息與歐洲範圍內的進程混淆。

當用土耳其語提問時就是這種情況,這種語言引起的不準確和錯誤答案最多。

當用同一種語言多次詢問相同問題時,聊天機器人也會得到不同的答复,研究人員稱之為「隨機性」。

雷森德承認,這使得民主報道國際的研究難以複製。

不同聊天機器人的表現各不相同

報告發現,Google的 Gemini 在提供準確和可操作資訊方面表現最差,拒絕回應的次數也最多。

然而,儘管谷歌在三月限制了 Gemini,以避免該技術使用中的“潛在失誤”,但它仍然回答了一些有關選舉的問題。

谷歌發言人告訴 Euronews Next,他們已將這些限制擴展到本研究中調查的所有問題以及使用的所有 10 種語言,因為這是處理大型語言模型的局限性的「負責任的方法」。

谷歌鼓勵用戶使用谷歌搜尋而不是雙子座來查找即將舉行的選舉的準確資訊。

民主報道國際的雷森德表示,其他平台也應該這麼做。

「我們認為他們拒絕回答比給出錯誤答案更好,」雷森德說。

雷森德表示,該非營利組織將在未來幾週內重新進行 Gemini 測試,看看Google是否履行了他們的承諾。

在給 Euronews Next 的聲明中,微軟概述了其在歐洲選舉前的行動,包括一系列「幫助保護選民、候選人、競選活動和選舉當局」的選舉保護承諾。

這些承諾包括在 Bing 上向選民提供「權威選舉資訊」。

微軟的聲明中寫道:“雖然沒有任何人、機構或公司可以保證選舉是自由和公平的,但我們可以在保護每個人自由和公平選舉的權利方面取得有意義的進展。”

OpenAI 沒有回應 Euronews Next 的置評請求。

該公司在其網站上的聲明中解釋說,其處理選舉相關內容的方法是“通過提升準確的投票信息來繼續平台安全工作”,並提高公司的透明度。

應公佈風險評估

今年 2 月,歐盟委員會通過了《數位服務法案》(DSA),要求Google、微軟和 OpenAI 等超大型線上平台(VLOP)對其平台上傳播假新聞和錯誤訊息進行風險評估。

這些風險評估將包括對其服務的任何「故意操縱」及其對「選舉過程」的潛在影響。

當時,歐洲適應數位時代委員會執行副主席瑪格麗特·維斯塔格 (Margrethe Vestager) 稱讚 DSA 是“一個重要的里程碑”,也是歐盟“打造一個數位化時代”戰略的重要組成部分。更透明的網路世界」。

然而,民主報道國際的報告表明,DSA 的要求,包括這些風險評估、測試和培訓,以減輕與選舉相關的風險,都沒有得到滿足。

因此,雷森德表示,委員會或聊天機器人背後的公司應該發布這些評估。

雷森德說:“恐怕他們不願意與公眾分享(風險評估),要么是因為他們沒有這樣做,要么是因為他們對自己在這方面投入的詳細程度沒有信心。”

雖然他們沒有直接回應這項研究,但一位發言人在一封電子郵件中表示,委員會「對網路假訊息的負面影響保持警惕,包括人工智慧驅動的虛假訊息」。

DSA 正式啟動一個月後,委員會向必應和谷歌搜尋發起了資訊查詢,以收集有關「與生成人工智慧相關的緩解風險」的更多資訊。

歐盟委員會向 Euronews Next 證實,他們正在審查在此次調查中收到的訊息,但沒有進一步詳細說明。

該委員會還在三月與Google和微軟等平台簽署了《錯誤訊息行為準則》,同意向選民推廣「高品質和權威的資訊」。