華為發全球首個為唐詩編曲的AI,一鍵唱響1300年前大唐盛世

華為發全球首個為唐詩編曲的AI,一鍵唱響1300年前大唐盛世

獵雲網注:巨頭們在音樂界掀起的這場AI“跨界試驗”,隨著AI越來越聰明,在音樂創作上也會越走越遠。文章來源:AI星球(ID:ai_xingqiu),作者:奇點。

當AlphaGo2016年擊敗了韓國圍棋九段的李世石,新一代“AlphaGo Zero”又在年初《星際爭霸2》比賽中以5:2優秀戰績戰勝了職業電競選手,AI在圍棋、電競界可謂“所向披靡”。

試問:

AI下一個能與人類“一比高下”的領域在哪裡?

沒錯,是音樂。

詩歌文化博大精深,常以文字為載體,為後人傳頌千年。但很少有人知道,古代的詩詞是唱出來的。近日,華為就在其官方公眾號上釋出了用AI識別古樂譜為唐詩編曲的最新進展。

三分多鐘的短影片裡詳細的介紹了華為手機Mate 20 Pro在內建麒麟980晶片雙核NPU的支撐下,AI是如何重構唐詩曲調的。

影片中,研究人員對著華為Mate 20 Pro朗讀《春江花月夜》全詩,AI則藉助著手機內建的語音智慧識別,便可以判斷詩詞的語境和情緒。

再加上華為Mate 20 Pro手機內建麒麟980晶片強大的AI算力,從而完成深度神經網路推理演算法,使得AI可以把詩歌中每個字句的意境和資料庫中的古樂音符進行匹配,最終重構一首唐詩曲調。

1300年前的樂曲,就藉由AI演算法被重現了。

那麼,AI是如何實現重構唐曲的。

一開始,研究人員嘗試利用AI從當下留存不多的唐詩減字譜中,找回古樂編曲的規律。這上面記載著古琴的指法、弦序和音位。

然後,將古譜的規律編寫成程式,用華為Mate 20 Pro手機拍下館藏的古譜,將其內容翻譯成現代簡譜、收錄到資料庫中,在此同時他們會開啟雲計算,讓資料同步到雲上(即伺服器)。

接下來,研究人員會在伺服器上訓練神經網路模型,讓AI進行古譜的深度學習,使得AI具備能力去識別出古樂譜的音高規律。

這樣,AI就掌握了古樂編曲的能力。之後,再將訓練後的AI模型遷移至華為Mate 20 Pro上。

之後,就該華為手機中內建的麒麟980晶片“大顯身手”了——麒麟980晶片能夠讓手機有足夠的算力支撐其在端側運算,從而將一鍵生成古曲。

於是,1300多年前的唐詩樂曲就能瞬間迴盪在我們耳邊。

揭謎麒麟980晶片的AI心臟——NPU

這款AI晶片麒麟980之所以具備如此高的算力,是因為在

它的左心房上“跳動”著一顆AI心臟——內建雙核NPU。

2017年10月,華為正式釋出了麒麟970——全球首款內建NPU的人工智慧處理器。此後,“NPU”這個詞便以“高大上”的形象深入人心。

但NPU主要起到什麼作用?它到底厲害在哪裡呢?

NPU(神經網路處理器,Neural-network Processing Unit)是AI晶片中內建的一顆神經網路單元,它的運算結構模仿了人類生物神經細胞的運作模式,而且,相較於傳統的CPU和GPU,能夠更迅速的對外界訊號做出反應。

根據測試發現,

基於NPU對影象識別處理、自然語言理解處理速度比CPU快了25倍,能耗則可以降低50倍,它的AI計算能力超強,具體可以達到1.92萬億次/OPS(operations per second/每秒運算元)。

而在華為去年釋出的麒麟980中,其內建的雙核NPU則更強悍。在麒麟970的算力之上又進行了升級,AI的算力達到了上一代的2倍(約3。84萬億次 /OPS)。

藉由AI的演算法和強悍的算力,華為Mata 20 Pro實現了AI重構唐曲,也是情理之中。

其實,早在華為為我們重構唐曲前,AI就已經近進軍音樂界多年。

AI作曲:巨頭公司“各顯神通”

OpenAI的MuseNet

2015年埃隆·馬斯克創立OpenAI,希望OpenAI能在推動人工智慧上發揮積極作用。

2018年,OpenAI組建的電競戰隊OpenAI Five在《Dota 2》比賽中全勝歸來之後。

今年4月,OpenAI釋出了深度神經網路—MuseNet,

它可以使用 10 種不同樂器、以及風格如鄉村樂、莫扎特、披頭士樂隊等,製作出長達4分鐘的音樂作品。

OpenAI在部落格中表示,MuseNet 並不是像人類一樣透過對音樂的理解來進行程式設計,而是學習預測 token 來學習和聲、節奏、風格的模式。

它會從許多來源收集 MuseNet 的訓練資料,像是 BitMidi 網站上的檔案、MAESTRO 的資料集等。當MuseNet 吸收了比如流行、爵士等多種音樂風格後,就能混合生成新的音樂。

MuseNet看似完美,但實際也有不小的缺陷,OpenAI 研究人員 Christine Payne 表示,MuseNet目前仍有侷限性,因為它是透過計算所有可能的音符和樂器的機率來產生每個音符,所以偶爾也會有不和諧的選擇,會出現奇怪的配對。

但無論如何,OpenAI的音樂探索之路還在繼續著。

谷歌的Magenta和Song Maker

Magenta 是谷歌大腦的一個致力於用機器學習創造引人入勝的音樂和藝術的專案,其目標是利用機器學習開發人類表達的新途徑。

2017年,該專案的研究小組推出了一個名為 NSynth Super(Neural Synthesizer)的神經網絡合成器,使用深度神經網路在單個樣本的水平上合成聲音。

有趣的是,谷歌將這個聲音合成器做成了一個瀏覽器可玩的神經網路音訊合成器。

在主介面上,我們就可以對其進行直接操作,點選紅藍按鈕來選擇你中意的音色,加以捲軸進行你個人專屬音色的設計,然後在透過一個虛擬的鍵盤上,我們就可以即興創作了。

谷歌團隊也表示說:

“Magenta的目標不僅僅是開發新生成演算法,而是關閉人類創作中‘創意迴圈’,我們不是用AI代替人類的創造力,而是努力讓工具更深入地理解音樂,讓它們更直觀、更有啟發性。”

很快,第二年就推出了新的產品——Song Maker。

2018年3月初,谷歌開源音樂教育平臺Chrome Music Lab上線了一款全新的免費音樂創作工具Song Maker。

這款產品正如它的名字——音樂創作人,最大的特點就是它可以基於使用者的選擇對音符範圍進行限制,即使是沒有音樂基礎的人也可以創作出動聽的音樂。

這個音樂創作工具是基於谷歌瀏覽器,而且它的操作也很簡單,上手非常容易,

谷歌想要透過視覺化的方法,真正的幫助人類理解音樂。

Song Maker音樂創作工具整體上來講,是由兩部分的音序器構成,大的用來控制旋律,最下面的小格子則用來控制節奏。使用者可透過配合滑鼠、鍵盤來操作,點選方格來進行屬於你的個人創作。

當然它還有個神秘的功能,使用者還可以進行簡單的後期製作,將你的作品儲存下來傳送給他人一起分享。

巨頭們在音樂界掀起的這場AI“跨界試驗”,隨著AI越來越聰明,在音樂創作上也會越走越遠。

機器可以代替音樂作家做一些基礎性的工作,耗時短、速度快,同時也在一定程度上增加了音樂創作者的創造力,並且為更多沒有接受正規音樂教育,但同時熱愛音樂的人敞開了大門。