本文首發在個人部落格上（7988888.xyz
好了，叨叨話就說這麼多了，今天我們來談談最近有人問到我的乙個話題——多模態裝置間如何同步？其實這部分內容，我在之前的文章中也談到過，是針對具體裝置的，可以參考《 眼動技術和腦電/近紅外技術的聯合使用》以及《腦電分析儀與近紅外腦成像儀的裝置聯合使用》
當我們採用涉及多種裝置記錄的多模態時，首先要解決的問題之一是：如何同步各種訊號？原因的造成是研究人員使用了多種不同的作業系統和裝置，這些作業系統和裝置來自多個不同的裝置廠家，或者由研究人員自己開發，所以這始終是要解決的第乙個問題。在這篇文章中，我將解釋為什麼同步如此重要，以及如何實現同步記錄的方法？
為什麼研究時我需要與其它裝置進行同步？
很大的原因在於你的實驗目的或者是實驗設計決定的，單一的實驗技術在目前的實驗研究中很難有比較高的影響因子，因此多模態的實驗研究才顯得更新穎，更突出亮點。然後，說道具體的實驗問題是如何同步不同的資料流，例如：眼動+腦電；眼動+近紅外；腦電+近紅外甚至是 眼動+腦電+近紅外技術。不管是哪種組合，同步資料流是最重要也是不可避免的問題之一，除了同步資料流之外，還有乙個重要的刺激事件marker也是非常關鍵的，這就涉及到事件時間戳對齊的問題。
事件時間戳為何如此重要？
如果觸發事件的時間戳未能確保正確同步，得到的結果可能會完全沒有用，可以參考文章《erp實驗中時間延遲的問題》，在這篇文章中，我講到事件時間戳的問題，它同樣適用於同步多模態 的實驗。因為，我們在做erp（事件相關電位）時，非常依賴觸發事件的準確性。我們熟悉的erp成分，如果看到下圖中的發生觸發的marker產生jitter，那麼很不幸的無論如何也得不到很好的結果的。
如何進行同步訊號的觸發？
在這裡，我列舉一些我常見到的裝置，可以參考我的個人學術導航檢視他們的官網。
主要有兩種方法來確保兩個裝置之間以及刺激表示之間的正確同步：1）基於硬體；2）基於軟體。
1）基於硬體
1.1 ttl同步
基本上所有的裝置傳送trigger均可以通過並口埠進行，因此使用並口埠將是萬能的全能解題方法之一。
對於並口應用於認知神經科學的介紹和筆記本的解決辦法，我很推薦安公子寫的這篇文章《現有電腦擴充套件串列埠和並口的問題》。
另外，我們也來談談並口的針腳問題。
現在所有的接頭都可以分為公頭和母頭兩大類。
公頭：泛指所有針式的接頭。
母頭：泛指所有插槽式的接頭。
所有接頭的針腳有統一規定，在接頭上都印好了的，連線時要注意檢視。針對，每個裝置型號的裝置一般情況下使用手冊裡都能找得到，只怕你不認識它而已，所以，當你不清楚的時候，就去問廠家的技術人員吧。
並口也叫lpt埠，在這裡我將列出最常見的針腳定義。
如圖中所示，針腳2-9才是用來傳輸電平訊號的，它的組合方式即為2的0次冪到7次冪，當全部使用時，即可產生256個數字，一般情況下針腳25是用來接地的。所以只需要做到刺激顯示電腦的一端使用的是25針的並口一分為二，兩路trigger訊號分別**兩個不同的裝置即可達到同步觸發。
1.2 並口+網口
在某些裝置中，已經有裝置使用了網口進行trigger的觸發，那麼在現有的條件下，我們就可以使用同一臺刺激電腦同時傳送兩個不同的訊號分別給兩個裝置，可以參考文章：眼動技術和腦電/近紅外技術的聯合使用
2）基於軟體（lab streaming layer）
對於lsl的介紹，可以參考文章《lab streaming layer 資料流簡介》
tcp / ip同步
使用通用的tcp / ip協議來完成。這個過程是在兩個需要同步的系統之間建立乙個tcp / ip連線（俗稱區域網），並使用預定義的協議來標記事件。例如，在刺激軟體和記錄軟體之間使用tcp / ip連線將使我們能夠將事件從乙個傳送到另乙個，以標記訊號收集。tcp / ip在配置型別和可以交換的資訊方面非常靈活。我們可以將其中刺激軟體的電腦用作伺服器，而其它軟體則可以作為客戶端。一旦建立連線，就可以通過特定的ip位址將訊息標記從伺服器傳送到客戶端。這些訊息可以是軟體預定義的，也可以是研究人員配置應記錄哪些資訊來進行自定義。這裡所使用的軟體就可以是我們常見的matlab、psychopy、presentation等刺激軟體，通過lsl進行傳送資料流標記。
目前來說，我所知的多模態的操作方法如上，在最後，有人還會問到超掃瞄的裝置如何設定，它其實等同於多模態，只不過是使用了相同的裝置型號罷了。
對於腦電的超掃瞄，可以參考文章eeg超掃瞄採集
以及一篇文章中所提到的設定方法：barraza, p. , dumas, g. , liu, h. , blanco-gomez, g. , & ap fernández. (2019). implementing eeg hyperscanning setups. methodsx, 6, 428-436.
對於近紅外的超掃瞄，可以參考文章nirx超掃瞄採集
知乎位址 : 知乎專欄
b站位址 : b站主頁
書店位址 : 書店主頁
csdn位址 : csdn主頁
腦電溯源定位
頭皮記錄的腦電是大腦中很多源在記錄點疊加起來的結果，而且，這些源的方向 一般隨著皮層的褶皺而變化 對最後測量出來的頭皮腦電有很大影響。所以不能簡單的把頭皮對應的啟用位置對映到皮層上去，那就只有借助於溯源方法了。所謂腦電溯源定位，也即腦電逆向問題，概括的說就是 根據頭表測量電位訊號，反演估計腦內神經活...
腦電電極帽
本文首發在個人部落格上 7988888.xyz 好了，上面說的這些是我最近遇到的問題，進入到今天分享的主題吧，今天要談到的是我們目前所使用到的電極帽種類，總體來說一共分為兩個大的種類 溼電極帽和幹電極帽 電極帽在eeg資料實驗中重要嗎？重要的，電極帽上一般都帶有電極感測器，通過在電極感測器與頭皮之間...
腦電微狀態的時間結構
考慮到只有少數微狀態地形圖，並且它們在持續時間約為100 ms的離散塊中交替，因此有必要討論這種交替的時間結構是否遵循某些規則。主要問題不僅在於微觀狀態的轉變是否是非隨機的，而且在於這種非隨機性是否在不同的時間尺度上是可觀測的。之前針對過渡概率的幾項清楚地證明了這些概率是非隨機的，但是精神 症患者的...