情緒屬性是音樂的重要屬性之一，愉悅度是音樂的情緒屬性中的重要組成部分。根據最近的研究推測，個體對于和弦的預測錯誤與愉悅度呈現出顯著的正相關。即：個體聽到的和弦與其預測的和弦存在不一致時，大腦會形成正向激勵。然而，其具體的腦機制尚不清楚。本研究中假設和弦是影響愉悅度的重要因素，且大腦中存在固定的腦區對其進行編碼，進而影響愉悅度的評分。本研究通過引入信息論中熵的概念對音樂的每個和弦的不確定性和驚訝程度進行了公式化的定義。隨后，使用馬爾可夫模型以和弦進程和音樂語料庫為單位，學習得到音樂中每個和弦的不確定性和驚訝程度的值。隨后，將在每個和弦進程中得到的和弦的不確定性和驚訝程度的值，以及和弦的基礎聲學信息作為解釋變量，以被試對于音樂/和弦進程的愉悅度的評分作為響應變量，進行線性擬合。根據擬合得到的與音樂的愉悅度具有顯著性的變量，進行第二步實驗。

在第二步實驗中，通過被試主動聆聽音樂時，其對應的任務態功能磁共振腦區激活值的變化，尋找出與處理音樂/和弦進程中和弦的驚訝程度和不確定性相關的腦區。研究結果顯示：與和弦相關的不確定性和驚訝程度共同決定了音樂的愉悅度，而杏仁核、海馬和聽覺皮層的激活與音樂/和弦進程中和弦的不確定和驚訝程度顯著相關。同時，包含低不確定性和高驚訝程度和弦的音樂/和弦進程具有更高的愉悅度。這一研究結果對于（聲音/音樂）美學神經機制的研究具有重要意義。本研究發表在著名雜志《CurrentBiology》上。

文獻導讀：

層級結構在音樂的情緒表達和情緒喚醒中起到重要作用，其是音樂美學的重要組成部分（語言中同樣也存在層級結構）。在西方音樂中，層級結構的具體形式是調性和聲。調性和聲在是音樂中和弦之間相互關系的具體體現(可以把調性和聲類比為語言中的句法關系，和弦類比為語言中的詞匯)。同時，和弦進程是多個和弦有意義的組合，其在音樂中的意義等同于句子在語言中的意義。已有的研究表明，音樂的愉悅感是個體根據接收到的調性和聲（和弦之間相互關系）的信息對接下來的和弦產生預測的結果，其過程與音樂期待有關。

本文包含兩部分實驗，第一部分主要引入信息論中熵的概念對音樂中和弦進程的不確定性和驚訝程度以概率的形式進行定義。然后選用馬爾可夫無監督機器方法，在整個音樂庫上學習獲取整個音樂庫中每個和弦具體的不確定性和驚訝程度的數值。隨后，從整個語料庫中隨機選擇30個和弦進程，對其進行聲音信號處理，抹掉其在聲學信息上的差異。然后將其作為聽覺刺激材料，讓被試和弦進程其進行愉悅度和喚醒程度的評分（在和弦水平和和弦進程水平）。并以和弦的不確定性、驚訝程度及和弦進程的基礎聲學信息等作為解釋變量，以和弦進程的愉悅度作為響應變量，進行線性建模。線性建模的結果顯示，和弦的不確定性、驚訝程度及其交互因素對和弦進程的愉悅度均具有顯著的效果。為了進一步探索和弦的不確定性、驚訝程度及其交互因素是音樂情緒處理中的與大腦激活直接相關的因素，本研究在第二部分實驗中引入了fMRI作為研究大腦處理音樂的工具。然后將和弦的不確定性、驚訝程度及其交互因素與大腦激活做二階分析。研究結果顯示，和弦的確定性和驚訝程度共同決定了音樂/和弦進程的愉悅度，而杏仁核、海馬和聽覺皮層的激活與音樂/和弦進程的不確定和驚訝程度顯著相關。

實驗過程

材料與方法：

刺激材料

從US Billboard（全美公告牌）選擇1958-1991年期間最火的745首歌作為音樂語料庫。為了排除音樂中聲學、音樂學等因素對實驗可能產生的影響，本研究使用聲音信號處理的方法，只保留了音樂/和弦進程中與和弦相關的，并對音樂中的低級聽覺屬性進行了控制，并將處理后的和弦進程作為實驗馬爾可夫無監督學習的材料。從中隨機選擇30個和弦進程，總共包含1039個和弦作為實驗研究中給予被試音樂/和弦進程刺激的材料。其中，每個和弦持續2.4s（較長的和弦持續時間可以提高具有低時間分辨率的任務態fMRI對大腦處理聲音/音樂信息檢測精度性）。

實驗對象：

實驗一：

在實驗一部分，本研究招募39名（21名女性，20-28歲）具有不同音樂訓練背景的人。并使用Gold-MSI(Goldsmiths Musical Sophistication Index)和BMRQ(Barcelona Music Reward Questionaire)對被試的音樂能力進行測量。其中Gold-MSI是對被試的音樂熟練度（General musicalsophistication, musical training）進行測量；BMRQ是對被試的總體音樂獎勵(Overall music reward)進行測量。所有的實驗被試均為右利手、正常聽力、視力或矯正視力正常。同時所有被試均無精神神經疾病史。

實驗二：

在實驗二中，本研究招募與實驗一不同的另外40名(20名女性，21-30歲)來自不同音樂訓練背景的人。并采用與實驗一相同的心理行為量表（Gold-MSI和BMRQ）獲得被試的音樂行為指標（音樂熟練度和總體音樂獎勵）。隨后使用單樣本t檢驗或者Mann-Whitney U中位數檢驗確保被試的年齡和音樂行為數據無異常值（在音樂群體分類上，所有被試的均來自同一群體）。所有的實驗被試均為右利手、正常聽力、視力或矯正視力正常，同時無精神神經疾病史。

實驗任務：

實驗一：每輪實驗開始前，先對無聲的機械滑桿進行調零，然后讓被試在聆聽音樂/和弦進程的過程中對每個和弦的愉悅度和喚醒度進行評價（每個和弦產生一個愉悅度和喚醒度的點，最終得到兩個關于愉悅度和喚醒度的時間序列（時序）數據），并在每個和弦進程結束后，被試根據要求在3s內完成該段和弦進程的愉悅度和喚醒度的評價（得到整個和弦進程的愉悅度和喚醒度）。在整個評分的過程中，為了避免被試提前準備，本研究將愉悅度和喚醒度評分出現的順序設置為隨機的,以此避免評分過程中，被試的準備效應（被試提前知道，即將出現的項目，進而對其在心理上做出準備）。

實驗二：

實驗過程

第二部分實驗共分為5輪。每輪實驗開始前，被試按照要求被試閉上眼睛。在隨后10s間隔之后開始播放音樂/和弦進程。被試根據事先的要求主動去聆聽音樂并注意第n+1個和弦與第n個和弦之間的關系。音樂/和弦進程播放結束后，播放1s的Sin波（C5=523.25）提示被試睜開眼睛。被試睜開眼睛后，根據要求在3s內完成對音樂愉悅度和喚醒度的評分。在第二部分實驗中，每輪實驗之間的區別在于實驗中所有的音樂/和弦進程刺激不同，其余均一樣。

實驗數據分析：

實驗一：

本研究使用移動中值濾波對愉悅程度評分的時序數據進行分析，獲得每個和弦的愉悅度評分。隨后將每個和弦的愉悅度設置為響應變量，將其不確定性、驚訝程度及其交互作用設置為解釋變量。使用線性模型對數據進行擬合。      其中，不確定性和愉悅程度借用信號處理中信息熵的概念，將其定義為：

其中,ei 代表音樂/和弦進程中的每個和弦。Uncertainty代表的是前面的 和弦對該和弦ei 的無法預測程度；Surprise代表的是該和弦ei 不可能出現的程度。然后使用基于馬爾可夫鏈的PPM算法集成的IDyOM去學習每個和弦的具體分布（分別在和弦進程和整個音樂庫的層面進行學習），并采用了10折的交叉驗證去避免過擬合。進而求得該和弦ei 具體的不確定性和驚訝程度的值。

實驗二：

在fMRI數據處理中，使用SPM12對實驗二中采集的功能fMRI數據進行預處理，其預處理的具體步驟包括：

（1）.轉換數據格式;(2).頭動矯正;(3).功能相-結構相數據對齊;(4).原始空間重采樣并歸一化到MNI空間;(5).6*6*6.4mm FWHM高斯平滑核。

一階分析：

使用線性模型在個體水平，以每個和弦進程中的所有和弦具體的Uncertainty和Surprise及其交互作用Interaction、和弦的具體聲學信息、被試的對整個和弦進程的情緒、喚醒的評分作為解釋變量，去擬合和弦進程的值。隨后，每個和弦進程中的所有和弦的U,S,I及基礎聲學信息（解釋變量）與HRF函數及其時間的偏導（響應變量）做卷積。然后將以上所有的變量與HRF取值做正交分解，以確定響應變量在主解釋變量中的方差大小。在fMRI數據分析中，以六自由度變換參數作為協變量（去除頭動影響）應用FAST自回歸模型和128s的高通濾波（以溢出低頻干擾）去除和弦進程的時序影響。

數據分析結果：

研究對象（n=39）連續使用一個機械滑塊對39個和弦進程中的1039個和弦進行愉悅度和喚醒程度的評分。并以此為響應變量進行線性建模。建模結果顯示，音樂/和弦進程的愉悅感不僅取決于引起的驚訝感，還取決于在聽到之前預測和弦的不確定性。同時，本模型將基礎的聲學信息作為協變量，以消除聲學信息對影響。使用滿模型和空模型的對數似然比較作為個體具有顯著固定效應的依據。

模型擬合效果：

A．雙側杏仁核、海馬和聽覺皮層的激活都受到I的影響；雙側聽覺皮層同時也受到U、S的調節B．右側伏隔核、左側尾狀核、輔助運動區僅僅受到U的調節

總結：

本研究通過引入信息論中熵的定義和基于馬爾可夫的無監督機器學習的方法，為音樂期待效應在音樂情緒喚醒中的作用提供了直接的證據。同時，與個體內省有關的驚訝程度也對于音樂情緒喚醒起到直接作用。同時，已有的數據表明，音樂的不確定性和驚訝程度呈現一定的負相關，即：音樂的高驚訝程度伴隨著低愉悅程度；音樂的低驚訝程度伴隨著高愉悅程度。而這種愉悅度和驚訝程度相關關系與杏仁核、海馬前部和聽覺皮層有關。另一方面，已有的研究表明，不確定性和驚訝程度是大腦皮層信息傳遞中預測-編碼模型的主要成分。音樂正是通過鼓勵個體對其和弦產生預測并對預測產生核對來誘發情緒的。

編者注（一些便于理解的概念詳解）：

音樂/語言的層級結構：以中文為例，在處理句子“綿羊吃草”時候，一般傾向于把先把“綿羊”組合在一起，形成一層。隨后，組合在一起的“綿羊”（主語）和動詞“吃”（謂語）、名詞“草“（賓語）組合成為第二層。然后大腦再對組后成句子的那一層進行處理。但當出現句子組合異常（邏輯異常、語法異常）時，大腦會呈現出異常的響應。其中邏輯異常指的是，主語、謂語和賓語的語義搭配失常，例如：句子“羊吃狼”由于與常規的認知常識存在差異，所以屬于邏輯異常；語法異常是指，詞匯在句子中扮演的語法身份（例如，主語、謂語etc）不符合。

馬爾可夫鏈（Markov chain），又稱離散時間馬爾可夫鏈（discrete-time Markov chain，縮寫為DTMC），為狀態空間中經過從一個狀態到另一個狀態的轉換的隨機過程。該過程要求具備“無記憶”的性質：下一狀態的概率分布只能由當前狀態決定（一階馬爾可夫鏈，第n+1步的信息只決定于第n步的信息，而與其之前的信息無關），在時間序列中它前面的事件均與之無關。這種特定類型的“無記憶性”稱作馬爾可夫性質。馬爾可夫鏈作為實際過程的統計模型具有許多應用。在馬爾可夫鏈的每一步，系統根據概率分布，可以從一個狀態變到另一個狀態，也可以保持當前狀態。狀態的改變叫做轉移，與不同的狀態改變相關的概率叫做轉移概率。隨機漫步就是馬爾可夫鏈的例子。隨機漫步中每一步的狀態是在圖形中的點，每一步可以移動到任何一個相鄰的點，在這里移動到每一個點的概率都是相同的（無論之前漫步路徑是如何的）。另一方面，馬爾可夫鏈可以延伸到二階，三階，甚至n-1階。即第n+1步的信息與第n、n-1步驟有關（二階馬爾可夫鏈）或與第n、n-1、n-2步有關（三階馬爾可夫鏈）或與第n、n-1、…、2步有關（n-1階馬爾可夫鏈）

音樂的情緒屬性：音樂具有情緒喚醒的作用，情緒相關的屬性包括愉悅度、喚醒度、效價、控制感和傾向度。

廣義線性模型中的交互作用：假設廣義線性模型中，解釋變量U和S均對響應變量Y產生影響，則需要考慮U和S的相互作用對于響應變量的影響。

響應變量與解釋變量： 模型中的為響應變量，為解釋變量。

單樣本t檢驗：數據服從正態分布的假設前提下面，檢驗數據是否為群體之外的數據。

Mann-Whitney U中位數檢驗：一種非參數檢驗方法。數據不服從正態分布的情況下使用，其具體可對應參數統計中的單樣本t、雙樣本t。
原文：

Uncertainty and surprise jointly predict musical pleasure and amygdala,hippocampus, and auditory cortex activity

VKM Cheung, PMC Harrison, L Meyer, MT Pearce… -Current Biology, 2019 

https://doi.org/10.1016/j.cub.2019.09.067

請微信搜索“思影科技”關注我們，關注我們的公眾號，獲得更多精彩腦科學內容，如需原文或對思影科技課程感興趣請添加微信號siyingyxf或19962074063

歡迎瀏覽思影的數據處理課程以及數據處理業務介紹。（請直接點擊下文文字即可瀏覽思影科技其他課程，歡迎添加微信號siyingyxf或19962074063進行咨詢，仍接受報名，受疫情影響部分課程時間或有調整，報名后我們會第一時間聯系）：

第六屆任務態fMRI專題班（重慶4.8-13）
第二十八屆磁共振腦影像基礎班（重慶2.24-29）
第十四屆磁共振腦網絡數據處理班（重慶3.18-23）
第二十屆腦電數據處理中級班（重慶3.7-12）
第二十九屆磁共振腦影像基礎班（南京3.15-20）
第十五屆磁共振腦網絡數據處理班（南京4.13-18）
第十屆腦影像機器學習班（南京3.3-8）
第六屆小動物磁共振腦影像數據處理班(3.27-4.1)
第十二屆磁共振彌散張量成像數據處理班（南京3.21-26）
第九屆磁共振腦影像結構班(南京2.26-3.2）
第八屆腦電數據處理入門班（南京3.9-14）
第七屆眼動數據處理班（南京4.9-13）
第七屆近紅外腦功能數據處理班(上海4.2-7）

思影數據處理業務一：功能磁共振（fMRI）
思影數據處理業務二：結構磁共振成像(sMRI)與DTI
思影數據處理業務三：ASL數據處理
思影數據處理業務四：EEG/ERP數據處理

思影數據處理服務五：近紅外腦功能數據處理

思影數據處理服務六：腦磁圖（MEG）數據處理

招聘：腦影像數據處理工程師（重慶&南京）

BIOSEMI腦電系統介紹