這個聽力困難的韓國流行男孩樂團使用人工智慧幫助他們唱歌

在韓國流行音樂的光輝世界中,同步的舞蹈動作和完美的和聲佔據主導地位,一支完全由聽力障礙成員組成的男孩樂隊正在打破常規。

Big Ocean 成員中,Jiseok 出生時有聽力損失,而 Hyunjin 和 Chanyeon 則分別在 3 歲和 11 歲時失去了部分聽力。

在接受韓國流行偶像訓練之前,Big Ocean 的成員們走的是完全不同的道路:Jiseok 是一名高山滑雪運動員,Hyunjin 是 YouTuber,而 Chanyeon 是聽力學家。

然而,他們都懷抱著成為明星的夢想,並反抗對殘疾人的偏見。

他們的新樂團於 4 月 20 日首次亮相,恰逢韓國殘疾人日。

“我們的使命不僅是針對具有獨特能力的人。 Big Ocean 的主唱 Hyunjin 告訴 Euronews Next。

「我們希望你知道,無論你正在經歷什麼,你並不孤單,」Hyunjin 補充道。

需要視覺提示

韓國流行音樂的明星之路是出了名的艱難,通常需要多年的艱苦訓練。對 Big Ocean 來說,改變觀念的願望加劇了這些挑戰。

樂團的成員及其管理公司 Parastar Entertainment 表示,科技在幫助 Big Ocean 成為韓國流行歌手方面發揮了重要作用。

Big Ocean的三位成員皆配戴助聽器,其中兩位接受過人工耳蝸植入手術。人工耳蝸的工作原理是繞過受損的內耳,用電訊號直接刺激聽覺神經,讓大腦感知聲音,而助聽器是放大外部聲音的可穿戴設備。

挑戰之一包括同步他們的舞蹈動作,因為每個成員使用不同的助聽器。

「如果他們一一跳舞,他們幾乎是完美的。但當他們一起跳舞時,情況就完全不同了,」Parastar Entertainment 首席執行官 Haley Cha 告訴 Euronews Next。

出於沮喪,Big Ocean 的舞蹈教練開始隨著節拍大聲鼓掌,Cha 注意到成員們更加同步了。

「[我們]後來發現這不是因為拍手的聲音,而是因為拍手的視覺效果。所以我們有一個暗示,他們透過視覺線索感覺更好。這就是我們如何設計出一個螢幕來讓它閃爍的光,」查說。

從那時起,Big Ocean開始使用智慧手錶上的振動節拍器和螢幕上的手電筒節拍器練習編舞。

「我們使用了視覺和感官節拍器系統,因為他們無法完美地聽到音樂。我們製作了閃光燈,以便他們能夠以視覺方式看到節拍,」查說。

透過人工智慧和先進技術首次亮相

對於聽力困難的人來說,唱歌可能會對準確感知音高和節奏帶來挑戰。

為了確保每位成員的聲音符合業界標準,Big Ocean與韓國音樂製作公司Muble和Samsong E&M合作,使用語音轉換技術修改和提升聲樂表演。

Muble 的首席製作人 Hans Choo 告訴 Euronews Next:“由於 Big Ocean 的所有成員都是聾啞人,他們在身體上很難以準確的發音或音調唱歌。” “我們將 Big Ocean 成員的聲音轉化為人工智慧模型,然後使用這些模型來推斷能夠捕捉他們個人特徵的聲音。”

Big Ocean 的第一首歌曲是透過將人工智慧模型應用於韓國說唱歌手 Mac Curly 錄製的聲樂指南而製作的。

根據 Muble 介紹,其 AI 語音轉換服務使用機器學習技術來轉換或產生語音。

「透過使用它,可以學習複製特定人的聲音或創造以前從未聽過的全新聲音,」Choo 說。

“例如,對於《Big Ocean》,我們使用人工智慧來學習每個成員的聲音,然後創作一些他們覺得自己很難唱的部分。”

據Parastar Entertainment透露,為了達到第一首歌曲演唱的預期效果,花了近三個月的時間收集了Big Ocean成員的韓語和英語的說話、對話、唱歌甚至說唱聲音,而這一過程縮短到了幾週為他們後來的歌曲。

在 Muble 錄音室的兩次會議中,樂團錄製了大約 500 個片段,為每位成員訓練高品質的人工智慧模型。 Muble 表示,通常情況下,製作新專輯可能需要多達 200 到 300 次拍攝。

「對於 Big Ocean,目標是產生自然且有凝聚力的聲音,因此我們不僅僅依賴技術,」Choo 說。

Samsong E&M 和 Muble 的創始人 Hoseon Lee 補充道:“目前有許多人工智能技術可用,但僅通過收集[錄製的聲音]數據來使聲音變得自然仍然存在很大的局限性。” “對於韓語來說尤其如此,它極具挑戰性,幾乎是不可能的。”

音樂製作公司為不同語言和歌曲的各個部分創建了單獨的模型,以對最終產品進行微調。

「當我們聽到完整的版本時,它在個人層面上令人難以置信的感動。聽說很多人聽了也深受感動,甚至落淚。

Parastar 的 Cha 將 Big Ocean 使用人工智慧語音轉換與以數位方式升級歌曲的聲音進行了比較,儘管全球越來越擔心配音演員失業以及與這些技術相關的版權問題。

例如,5 月,Open AI 的 ChatGPT 語音模式因聽起來與女演員史嘉蕾喬韓森相似而面臨爭議。

「回顧音樂歷史,當數位音訊工作站(DAW)首次被引入以取代手動過程時,公眾也討論過它是否會消除音樂的真實性,」查在一封電子郵件中寫道。

「只要人工智慧不侵犯任何藝術家當前的權利,並且在有組織的系統中使用,我個人認為它很快就會成為一種新常態,」她補充道。

她補充說,參與製作的所有各方的作用都得到認可並得到補償。

專家認為,人工智慧語音轉換等新興技術將提高音樂的可及性。

「如果我們將音樂視為一種可以提升和團結我們的共同語言,那麼向各種身份的藝術家提供人工智慧等工具可以極大地擴大音樂聲音的多樣性,」音樂系助理教授 Rachel Alina 說道。音樂學院的製作與工程部告訴歐洲新聞台。

她說:“Big Ocean 是一個光輝的例子,說明技術如何讓那些可能被主流音樂製作過程邊緣化的人能夠與世界分享他們的故事和才華。”

然而,專家警告說,雖然該技術的未來令人興奮,但它也伴隨著重要的責任,特別是關於不平等存取的後果。

伯克利音樂學院的歌曲創作教授 Ben Camp 在接受Euronews Next 採訪時表示:「隨著這些技術變得更加普及,能夠使用這些技術的人和無法使用這些技術的人之間的差距將迅速擴大。 「我希望可用性和可訪問性與開發一樣優先考慮,」他們補充道。

阿麗娜指出,過度依賴人工智慧可能會導致失去“細緻入微的人性化接觸”,而正是這種人性化使音樂在情感上如此強大。

「但正如我們在所有創意追求中看到的其他技術進步一樣,這些新工具可能會帶來新的技能和表達形式,」她補充道。 “思考這可能會導致什麼結果是令人興奮的,最終,最能引起觀眾共鳴的東西將向我們展示什麼是最有效的。”

擁抱韓國流行音樂的多樣性

從發展樂團的舞台形像到提供手語課程,Parastar Entertainment 表示,在 Big Ocean 首演的準備過程中,他們盡量不忽視任何事情。

「預期的挑戰之一是調整我們的訓練方法,以滿足每個成員的獨特需求,」查說。

「但我們沒有預見到的是偶像圈背後的金融危機。無論我們對準備好的預算有何期望,支出都更大,」她補充道。

韓國流行音樂是一種全球現象,在過去十年中取得了巨大的成長。一份報告Allied Market Research 的數據顯示,2021 年光是韓國流行音樂活動市場的價值就達到 74 億歐元,預計到 2031 年將達到 180 億歐元。

2021 年,韓國流行音樂廠牌 HYBE(BTS 樂團背後的管理公司)收購了歌手賈斯汀·比伯的管理公司 Ithaca Holdings。

在一個經常因其嚴格標準和缺乏多樣性而受到批評的行業中,Big Ocean 正在努力吸引全球觀眾。

據其管理公司稱,該團體目前已在三個不同的社交媒體平台上建立了總共 110 萬粉絲。

「說實話,人們對多元化和包容性越開放,對 Big Ocean 的反應就越好,」查說。 「例如,在美國或歐洲國家,他們對殘疾有很好的社會認知,他們往往對大洋更加熱情。因此,與韓國市場相比,這是一個更好的市場。我們希望到達那個可以更歡迎我們的地區。

Big Ocean表示,他們總是在表演中融入手語,讓每個人都能更輕鬆地享受音樂。樂團發行了第一首用韓國手語演奏的單曲《Glow》,以及用美國手語演奏的第二首單曲《Blow》。

車子說:“成員們自己經歷了很多艱難的時期和各種困難,我們包含這些想法的歌曲和歌詞更能引起很多人的共鳴。”

Big Ocean 表示,他們希望有一天能夠被接受為一名普通的韓國流行偶像。

「我希望得到認可,不僅因為我們獨特的能力,而且因為我們的才華和努力,就像任何其他偶像一樣。透過實現這一目標,我認為我們自然可以打破社會偏見,共同創造偉大的音樂。

「我最大的夢想就是用自己的聲音在粉絲面前表演。我和成員們目前正在致力於大量的聲樂訓練,我們希望向大家展示我們的進步和進步。

Big Ocean 最近在 2024 年殘奧會期間發行了一張名為“Slow”的新專輯。

有關此故事的更多信息,請觀看上面媒體播放器中的視頻。