用人工耳蝸聽音樂為何效果大不同?

2021年3月,世界衛生組織(WHO)釋出的首次《世界聽力報告》指出,目前世界上超過15億人(約為世界人口總量的1/5)聽力受損,其中4。3億人聽力損失程度為中度或中度以上。預計到2050年,聽力受損的人數可能會達到30億人,超過7億人需要聽力康復幫助。據我國第二次全國殘疾人抽樣調查顯示,目前我國有2780萬聽障人士,全國每年新增聾兒2。3萬人,其中重度、極重度聾兒的比例佔74%。對於聽障患者來說,輕度—中重度聽力損失的患者可以藉助傳統的助聽器實現聽覺補償,重度—極重度感音神經性聾患者則主要採取人工耳蝸植入的方法來輔助聽覺和言語康復。

人工耳蝸的發展

1800年,義大利科學家Alessandro Volta(發明了電池)利用電池為研究工具,證實了電刺激可以使正常人的耳朵產生聽覺。1940年,美國科學家Clark Jones等人在20例中耳炎患者中耳內使用電極刺激,讓患者聽到了聲音。在同一時代,Homer Dudley發明了提取言語基頻、頻域各分量強度和頻域總能量來合成可理解的言語的“語音合成聲碼器”;Glenn Wever記錄和描述了耳蝸電位,即耳蝸受到聲音刺激後被測量到的電位;SS Stevens論述了經典的電刺激耳蝸產生聽覺的原理,即描述來自於基底膜對耳蝸內電壓變化產生的機械振動響應的“電聽覺”。

用人工耳蝸聽音樂為何效果大不同?

人工耳蝸植入體的發展經歷了實驗、植入可行性研究、商品化三個階段。早期階段多采用單側人工耳蝸植入,現在主流的植入方式為雙耳雙模式聆聽(一側植入人工耳蝸,另一側堅持佩戴助聽器)和雙側人工耳蝸植入。

語後聾患者再適應困難

在討論人工耳蝸聽音樂的問題之前,我們可以先來聽一段音訊。

人工耳蝸的音效聽起來像不像是在放煙花?

就和電影《金屬之聲》裡描述的一樣,對語後聾患者來說,人工耳蝸剛開機時,之前能聽懂的東西現在反而聽不懂了,之前沒關注過的噪聲現在反而變得明顯了——正常聽力和人工耳蝸聽到的聲音,天差地別。健全的耳蝸的頻率解析度是現有的人工耳蝸完全無法比擬的,後聾患者的大腦適應了高頻率解析度的訊號,猛地一聽低頻率解析度的訊號,大腦不知道應該怎麼反應,導致聽不懂。

語後聾患者需要像新生兒感知世界一樣,重新去認識每種聲音聽起來是什麼樣的,這其中需要付出的耐心和努力是語前聾患者的百倍。就像自適應濾波器在迭代時的一大難題,濾波器收斂後重新辨識新的系統,會比隨機初始化後辨識新的系統要需要更長的時間。相應的,對於語前聾患者,人工耳蝸植入的越早,對耳蝸的適應會越好,也是這個道理。

人工耳蝸植入康復效果:音樂感知能力評估

植入人工耳蝸後,音樂感知能力是評估術後康復效果的重要指標,臨床常用音樂感知評估量表和音樂能力評估量表進行測試。國外開發出了音樂感知評估量表包括“音樂感知臨床評測”、“人工耳蝸音樂感知能力”、“人工耳蝸音樂欣賞能力”、“蒙特利爾失歌症評估測試”等等。音樂能力評估量表包括“慕尼黑音樂問卷”、“愛荷華音樂背景語鑑賞問卷”、“小兒音樂能力等級量表”等等。這些量表的測試結果表明,人工耳蝸植入者和正常聽力人對音樂的感知能力差別較大,很容易混淆各種樂器,也不易感受到諧波,只有在節奏方面感受沒和正常聽力沒有差別。

人工耳蝸編碼重點:言語而不是音樂

人工耳蝸的核心技術是將聲波轉換成電脈衝訊號的言語編碼策略,這一過程可以分為:聲訊號的轉換語傳輸、電訊號的接收、電訊號的感知。目前臨床使用的人工耳蝸,其言語編碼策略側重於提高語音的理解。

目前的言語編碼策略大致原理為:

第一步,人工耳蝸的傳聲器將聲訊號轉換為電訊號,記錄形式為數字訊號,經多個帶通濾波器提取不同頻段的訊號能量,由半波整流器提取包絡,由低通濾波器去除部分高頻成分,最終提取每個頻段聲能量的完整光滑的時域包絡。

第二步,這些包絡對一定頻率的電脈衝波進行振幅調製以生成電訊號,分別傳輸至對應的刺激電極,啟用植入者耳蝸不同區域的螺旋神經節細胞以感知聲音。

用人工耳蝸聽音樂為何效果大不同?

圖源:耳蝸螺旋神經節轉錄組分析最新研究進展——中國科學院腦科學與智慧技術卓越創新中心 (cas。cn)

此種言語編碼策略包含的資訊的表現形式是:

位置編碼:不同位置的電極刺激不同區域的螺旋神經節細胞,反映頻域資訊;

時間編碼:螺旋神經節細胞感受電刺激的時間間隔,反映時域資訊;

低通濾波器的截止頻率決定時域資訊的多少。

人工耳蝸編碼後的訊號遵循耳蝸音位配布原理:

蝸頂低頻區主要透過時間編碼來傳遞資訊;

蝸底高頻區主要透過位置編碼來傳遞資訊;

中間頻率主要透過時間和位置編碼共同作用。

但是,耳蝸的螺旋神經節細胞的分割槽功能仍存在爭議,因此這種編碼方式可能對於資訊的傳遞並不如想象得那麼好。臨床表現證明,植入人工耳蝸可以顯著提高重度聽損患者的言語交流能力,但對於音樂這種更為複雜的聲訊號的感知能力仍然明顯不足。

和語音相比,音樂要複雜得多,因為音樂的頻率和動態範圍更加廣泛。如下圖所示的各擷取片段的時域取樣訊號和時頻圖,左圖是英語,中圖是藍色多瑙河,右圖是一首英文流行歌曲。

用人工耳蝸聽音樂為何效果大不同?

無論是在紙面上,還是被說出來,語言始終是符號,對於語音來說,只提取基頻、諧波、包絡和能量資訊,再加上時域資訊,已經足夠反應一句話的意思,在語音識別中這些特徵也常常是有效的。但對於音樂這種更側重於感受而不是理解的訊號來說,人工耳蝸粗糙的結構設計,會影響植入者對音色的識別能力。

人工耳蝸的電極:數量和極間干擾

現在,你可以回去再聽一遍那個音訊。是不是隨著電極通道數的增加,能夠聽到的細節更多?

目前大多人工耳蝸的有效電極通道數在12-22個,只有個別訊號的電極可以覆蓋蝸尖達到全頻覆蓋。研究表明,要達到良好的音樂感知效果,可能至少需要64個電極通道。然而,電極數越多,各電極之間互相干擾的可能性就越大。想啟用電極A,反而順帶激活了臨近的電極BCD,會導致植入者對聲音的感知產生混亂,嚴重時甚至會發生電極短路。因此,人工耳蝸植入者對古典音樂的感知,可能要比對流行音樂的感知要來得好一點。

用人工耳蝸聽音樂為何效果大不同?

圖源:金屬之聲

在之前,不同語種的言語編碼策略的不同,曾被學者認為是國內植入國外耳蝸的患者,其言語理解程度不盡人意的原因。但是“音樂無國界”,或許在突破人工耳蝸音樂感知的難題的同時,言語理解也能夠有相應的提高也說不定。

參考文獻:

[1] 王斌,楊華,陳曉巍,曹克利,高志強。人工耳蝸技術:過去、現在與未來[J]。中國科學:生命科學,2021,51(08):1040-1049。

[2] 賈慧,徐百成,邊盼盼,郭玉芬。雙耳雙模式聆聽與雙側人工耳蝸植入研究進展[J]。中華耳科學雜誌,2021,19(04):658-661。

[3] 人工耳蝸聽起來怎麼樣?- 知乎 (zhihu。com)

https://zhuanlan。zhihu。com/p/56499933

[4] 聽力康復 | 人工耳蝸享受不了音樂?不存在的 - 知乎 (zhihu。com)

https://zhuanlan。zhihu。com/p/57476800

[5] 蔡潔青。 人工耳蝸植入者音樂感知能力的評價與分析[D]。南方醫科大學,2019。

[6] 吳雨桐,徐百成,郭玉芬。人工耳蝸植入者音樂感知能力的研究進展[J]。中華耳科學雜誌,2021,19(03):518-521。