VPU 與接觸式振動拾音器：原理、器件、電話錄音、論文與開源實作
很多錄音卡、耳機和智慧穿戴產品都開始出現 VPU、Vibration Conduction Sensor、Voice Vibration Sensor 或 Bone-Conduction Microphone 這些名稱。它們都指向一個很有吸引力的想法：不要只用空氣麥克風收音，而是直接接觸人體、耳機或手機外殼，從固體的振動中取出語音。
但「VPU 能不能知道電話另一端說了什麼」不能用一句「可以」或「不可以」回答。它不是手機通話資料介面，也不是能夠解碼 Android 通話的特殊晶片；它是一個機械振動感測器。當電話聽筒或揚聲器把遠端聲音轉成手機外殼的結構振動，並且感測器與外殼之間有足夠好的機械耦合時，接觸式感測器才可能從這條路徑取得遠端語音。
本文把「人體骨傳導拾音」、「手機外殼接觸式拾音」、「一般接觸式麥克風」和「寬頻振動加速度計」分開討論，並把產品宣稱、資料手冊、論文、專利和實際工程證據分層。重點不是把所有產品都叫成同一種 VPU，而是回答以下問題：
- 不同器件真正感測的是什麼？
- 它們適合收自己的聲音、電話另一端，還是只適合做振動事件偵測？
- 為什麼接觸式訊號通常抗風噪，卻又容易悶、失真、對安裝方式敏感？
- 錄音卡應該選類比 VPU、PDM 數位 VPU，還是先用壓電接觸片做概念驗證？
- 哪些論文與開源專案可以直接轉成下一輪硬體與 DSP 實驗？
:::info 先給結論
- 在耳機、耳塞或喉部佩戴場景，VPU 的主用途通常是拾取「佩戴者自己的聲音」，用來抗風、抗環境噪聲、做自聲 VAD、通話上行增強或語音驗證。
- 在手機背面錄音卡場景，接觸式感測器確實可能拾取遠端聲音，但前提是手機聽筒／揚聲器到手機機身再到感測器的機械傳遞路徑成立。這是特定手機、音量、位置、外殼和接觸壓力共同決定的結果，不是 VPU 的普遍能力。
- 空氣麥克風與 VPU 的最佳分工通常是互補：空氣麥克風保留自然頻寬與周圍聲音，VPU 提供低環境噪聲的結構振動參考；最後仍要靠同步、校準、融合和語音增強。
- 目前 Hera Pro 來源中的錄音路徑是單聲道類比麥克風、16 kHz、MP3。加入 VPU 不是換一顆麥克風就完成，而是要同時檢查感測器介面、ADC／PDM 資源、機械結構、雙通道同步和 DSP。
:::
1. 先把名詞分清楚
1.1 VPU 不是一種唯一的元件結構
VPU 常被展開為 Voice Pick-Up、Voice Pick-Up Unit 或 Voice Vibration Sensor。它描述的是用途與訊號路徑，不一定對應唯一的 MEMS 結構。不同供應商可能把下列幾種器件都放在 VPU、骨傳導麥克風或振動感測器分類下：
| 名稱 | 真正感測的物理量 | 常見安裝位置 | 適合做什麼 | 不能直接推論什麼 |
|---|---|---|---|---|
| 空氣傳導麥克風（AC mic） | 空氣聲壓 | 耳機外側、錄音卡外殼、手機孔位 | 自然語音、會議、遠場錄音 | 在強風或環境噪聲中一定清楚 |
| 人體傳導／骨傳導麥克風（BCM） | 人體組織、皮膚或骨骼傳來的機械振動 | 耳周、顴骨、喉部、眼鏡鼻托 | 自己的語音、抗風通話、低可聞度語音 | 會自動收取電話另一端 |
| VPU | 一種面向語音拾取的振動感測器或模組 | 耳機、耳塞、穿戴裝置 | 自聲偵測、上行通話增強、語音驗證 | 內建電話解碼或 Android 通話權限 |
| 接觸式麥克風 | 固體表面上的結構聲與振動 | 樂器、桌面、手機背板、機身 | 接觸式錄音、機械聲、手機外殼聲 | 接觸到任何表面都能得到可懂語音 |
| Voice accelerometer | 沿一個或多個軸的加速度／振動 | 人體或設備表面 | 語音與振動事件感測 | 一般 IMU 的低頻規格就等於音訊麥克風 |
| 喉音麥克風（laryngophone） | 喉部皮膚的振動 | 頸部 | 極吵環境下的自聲 | 能保留和空氣麥克風一樣的自然音色 |
| 骨傳導振子（bone-conduction vibrator） | 把電訊號轉成人體振動 | 耳機、助聽器 | 播放輸出 | 它是輸出器，不是 VPU 輸入感測器 |
因此，本文在提到「VPU」時，若沒有特別說明，指的是面向語音拾取的接觸式振動感測器；提到「手機背面 VPU」時，則是指把這類器件用在手機外殼結構振動上的特殊應用。
1.2 「骨傳導」在人體和手機上不是同一條路
耳機中的骨傳導拾音，通常是：
聲帶與喉部運動
↓
皮膚、軟組織、骨骼的機械振動
↓
貼合耳周、顴骨或喉部的 VPU
↓
低環境噪聲的自聲訊號
手機背面錄音則是另一條結構傳遞鏈：
遠端語音的數位通話資料
↓
手機音訊編解碼器與聽筒／揚聲器
↓
空氣聲壓 + 手機框架、背板、玻璃的結構振動
↓
磁吸／膠黏／硬接觸結構
↓
接觸式感測器
第二條鏈路沒有經過錄音卡的 Android 音訊 API。錄音卡只是自己量測手機外殼的振動，所以它不能讀出通話編碼、不能繞過 Android 權限，也不能保證在藍牙耳機通話時還有足夠的手機外殼振動。
2. 工作原理：為什麼它能抗風，又為什麼聲音會變悶
2.1 空氣聲和結構聲是兩個不同的通道
把說話者的語音記為 s(t)，空氣麥克風可以粗略寫成：
x_air(t) = h_air(t) * s(t) + n_air(t)
其中 h_air 是空氣、外殼、麥克風方向性和前端共同形成的傳遞函數，n_air 是風噪、環境聲、碰撞聲和電子噪聲。
接觸式感測器量到的不是同一個聲壓，而是接觸位置的結構振動。對人體自聲可寫成：
x_vpu(t) = h_body(t) * v_body(t) + n_contact(t)
對手機背面電話錄音則更接近：
x_contact(t) = h_phone(t) * v_phone(t) + n_contact(t)
v_body 或 v_phone 是由人體或手機機身傳到感測器的振動。這裡的抗風能力不是演算法憑空製造的，而是因為風主要先作用在空氣麥克風的聲學入口，未必能以相同幅度進入人體或手機背板的結構通道。
實際產品還有三個難點：
- 空氣通道和結構通道的頻率響應不同，不能只把兩路波形相加。
- 兩個感測器的延遲、相位、增益和安裝方向不一定一致。
- 機械接觸本身會引入手指摩擦、敲擊、殼體共振和壓力變化。
2.2 為什麼 VPU 常常「抗噪但不自然」
人體、膠黏層、手機玻璃和塑膠外殼都會形成機械低通或共振。高頻諧波比低頻更容易在傳遞過程中衰減，因此直接播放 VPU 原始訊號時，常見的主觀感受是：
- 音色偏悶，子音、擦音和齒音不完整；
- 說話人身份或語意仍然可能保留，但音質不如空氣麥克風；
- 不同佩戴者、不同接觸壓力和不同手機型號，頻譜差異很大；
- 如果把 VPU 當成完整的獨立錄音麥克風，結果常比宣傳示範更不穩定。
2018 年的 Interspeech 論文直接把這個取捨說得很清楚：骨傳導感測器相對不受環境噪聲影響，但 4 kHz 以上的高頻成分會明顯衰減，原始 BC 訊號通常不適合直接使用，卻很適合作為空氣麥克風的噪聲估計輔助。這比「VPU 完全取代空氣麥克風」更接近工程現實。
2023 年 Sensors 論文的原型也採用了 V2S100D PDM 骨傳導麥克風、類比空氣 MEMS 麥克風和 BES2300YP 控制器，並用神經網路做音訊超解析度。這條路線的核心不是假裝感測器本身頻寬很寬，而是利用配對的空氣／骨傳導資料重建被機械通道濾掉的中高頻。
2.3 手機背面為什麼有機會錄到遠端語音
在一般手機聽筒通話中，遠端語音先由手機上方的聽筒輸出。即使人耳是主要接收者，聽筒及其固定結構仍可能把一部分能量傳入中框、螢幕、背板或內部支架。免持模式則由揚聲器輸出更大的空氣聲和機械能量，通常更容易在機身上形成可測的振動。
如果錄音卡同時具備以下條件，接觸式通道就可能留下可辨識的遠端語音：
- 感測器接觸在振動能量較高的位置；
- 感測器和手機背板之間沒有被泡棉、厚軟殼或鬆動磁吸層隔開；
- 磁力或機械壓力穩定，不會因手持姿勢而浮動；
- 手機音量、聽筒／揚聲器狀態和手機結構允許這條傳遞路徑；
- 後端對感測器的頻響、噪聲和失真做了校準。
這也是為什麼市場上的電話錄音卡通常要求磁吸貼在手機背面，並把「Vibration Conduction Sensor」作為獨立電話模式，而不是宣稱卡片在桌上放著就能收取遠端通話。
2.4 VPU 可以知道「對面說什麼」嗎？
更精確的回答是：
VPU 可以量到包含遠端語音資訊的機身振動；它不是直接知道對方說了什麼，而是先取得一個經過手機機械傳遞、頻寬受限且可能混有本機噪聲的類比或數位振動訊號，後端再把訊號當作音訊處理。
如果電話使用藍牙耳機，手機的聽筒或揚聲器可能沒有播放遠端聲音，手機背板上的可用振動就可能大幅下降。若使用手機免持，通道可能變強，但空氣麥克風也會同時收到房間聲、回授和自己的聲音。若手機套很厚、磁吸位置偏離、接觸面有軟墊，結果也可能改變。
所以，電話另一端的「可懂度」必須用實際手機、實際外殼和實際安裝方式測量，不能從 VPU 型號名稱推導出來。
3. 商用產品與市場做法
3.1 耳機和穿戴裝置：VPU 的主流用途是自聲
Sonion 官方 Sensors 頁面把這類產品定位為特殊耳機、耳塞和耳機中的 voice-pick-up bone sensor，並把產品分成 vibration sensor、bone conduction vibrator 和 voice pick-up sensor。官方公開頁面給出的重點是「小尺寸、自己的聲音偵測、高 SNR」，完整料號與電氣規格需要向供應商索取。
Syntiant V2S 官方頁面則把 V2S200D／V2S200DZ 定位成數位語音振動感測器，公開列出 PDM 介面、64.5 dB SNR、±25 g、10 kHz 頻寬、1.8 V 供電，以及耳機、穿戴裝置、自聲偵測、風噪抑制和 imposter rejection 等用途。它也有汽車和工業版本，說明這類感測器不只服務人體語音，也可以用來量測結構聲和機械故障。
這些產品的共同點是：感測器要壓在人體或設備的振動路徑上。它們不是把空氣聲「隔空變成」骨傳導，而是利用機械耦合改變信噪比。
3.2 錄音卡：把 VPU 放在手機背面
目前公開市場已經能看到多個「卡片式 AI 錄音器 + 手機電話模式」的產品。這些產品頁不是獨立實驗室報告，因此應當視為市場與產品形態證據，而不是對所有手機的效能保證。
| 產品 | 公開的硬體／模式描述 | 代表的工程意義 |
|---|---|---|
| Plaud Note | 2 個 MEMS + 1 個 VPU；卡片磁吸在手機背面，支援現場與電話雙模式 | VPU 在卡片中主要是電話模式感測器，空氣麥克風仍負責現場錄音 |
| Plaud Note Pro | 4 個 MEMS + 1 個 VPU，卡片厚度約 2.99 mm；官方支援電話與現場雙模式 | 產品把空氣陣列與 VPU 分工，而不是用 VPU 取代四顆空氣麥克風 |
| Suisse Notes Pro | 2 個內建麥克風 + Vibration Conduction Sensor；磁吸於手機背面，另有獨立錄音模式 | 透過模式切換，分別處理桌面／會議空氣聲和手機機身振動 |
| OEQ AI Voice Recorder | 卡片式錄音器，官方描述以 Vibration Conduction Sensor 支援電話錄音 | 產品形態已把「手機背面接觸式錄音」變成可銷售的功能類別 |
Plaud 的支援文件明確寫出，電話模式需要把裝置貼在手機背面，讓內部 vibration conduction sensor 直接取得手機揚聲器相關的振動；它也說明使用耳機時不支援同一種電話 VCS 路徑。這正好印證了「感測器不是讀通話資料，而是依賴手機的物理播放路徑」。
3.3 專利與商用宣稱要分開看
EP4513485A1 Smartphone Recorder 和對應的 US20250184420 公開了把壓電感測器貼在智慧型手機背面、讀取通話期間由手機後表面傳出的振動資料，再轉成語音資料的方案。專利可以證明這是一條被工程師正式提出、具備機械結構與電路實施描述的路線，但專利權利項本身不等於所有手機都能得到相同清晰度。
最重要的產品設計訊息有兩個：
- 感測器的感測面必須和手機背面形成可靠接觸；
- 磁鐵、膠帶、外殼、支撐板和感測器位置本身就是訊號鏈的一部分。
4. 元器件與產品選型
以下資料以 2026 年 8 月公開頁面為準。供應狀態、料號後綴、資料手冊版本和代理商庫存會變化；真正進入 BOM 前要重新索取原廠資料手冊、樣品和 PCN。
4.1 數位 VPU：PDM 介面
| 器件／系列 | 公開規格與介面 | 可以做什麼 | 主要風險 |
|---|---|---|---|
| Syntiant V2S200D | PDM；64.5 dB SNR；±25 g；10 kHz；3.30 × 2.30 × 0.93 mm；典型電流 700 µA（正常）／290 µA（低功耗）；1.8 V | TWS、耳機、穿戴裝置自聲、風噪抑制；也可做設備外殼或機械振動感測 | 需要 PDM clock/data 和數位抽取鏈；不能直接接到類比 MIC 腳；手機背面效果仍由機械耦合決定 |
| Syntiant V2S200DZ | 與 V2S200D 類似的 PDM V2S，低剖面版本約 0.7 mm | 薄型耳機、錄音卡、穿戴結構 | 低剖面不代表可省略接觸壓力和支撐結構；要核對後綴、供電與封裝版本 |
| Knowles V2S100D | 早期論文和資料常見的 PDM 骨傳導／振動麥克風名稱 | 可用來重現早期研究或評估板實驗 | 研究所用舊料號不能直接等同目前 Syntiant V2S200D；供貨與規格要獨立核實 |
Syntiant 官方還提供 Application Notes，其中分別討論 consumer body vibration speech pickup、sound-induced vibration 和 predictive maintenance。這些資料對安裝位置、訊號處理與測試方向比單一「SNR」數字更有價值。
4.2 類比 VPU：適合先驗證錄音卡概念
| 器件／系列 | 公開規格與介面 | 可以做什麼 | 供應與設計提醒 |
|---|---|---|---|
| PUI VMM-1627L-R | 類比 MEMS bone conducting microphone；3.5 × 2.65 × 1.55 mm；靈敏度約 −29 dB；1.5–3.6 V；資料手冊列出 ±4 g、約 300 Ω 輸出阻抗、73 dB(A) SNR | 以類比 ADC 先做人體／手機表面接觸式錄音 A/B | PUI 官方頁面目前顯示暫無分銷庫存；先申請樣品和確認資料手冊版本，不要因為尺寸相同就假定與其他 3.5 mm 器件腳位相容 |
| VA3526-04 類比 VPU 供應鏈方案 | 部分供應商公開頁面列為骨傳導 MEMS／類比輸出、±4 g、約 −29 dB、300 Ω 等級 | 可作為國產／供應鏈樣品的比較候選 | 目前公開資訊多為供應商頁面；需要原廠 datasheet、頻響曲線、批次一致性、封裝圖與可靠度資料，不能只依網頁宣稱鎖定量產 |
| Sonion VPU／voice pick-up sensor | 官方公開分類，未公開完整電氣參數 | 耳塞、耳機、助聽器和客製穿戴裝置的自聲拾取 | 適合走 FAE／客製供應鏈；完整料號、MOQ、交期、膠黏和安裝限制需向 Sonion 索取 |
類比器件對現有類比麥克風系統較容易做概念驗證，但仍然要確認：
- 麥克風輸出是偏壓類比、差動類比還是單端類比；
- 輸出直流電位、輸出阻抗、最大加速度和失真；
- ADC 的輸入共模、偏置、增益和抗混疊濾波；
- 是否需要高通去除 DC、低通限制頻寬和額外的機械保護。
4.3 接觸式壓電與舊型加速度感測器：適合 PoC，不一定適合量產
| 器件 | 類型與公開資料 | 適合場景 | 不建議直接拿來做什麼 |
|---|---|---|---|
| TE／Measurement Specialties CM-01B | PVDF 壓電薄膜接觸式麥克風，內建緩衝；資料手冊列出約 8 Hz–2.2 kHz 頻寬、5 kHz 共振、4–30 V 供電 | 電子聽診器、身體聲、桌面／機殼接觸聲、實驗室比較 | 薄型低電壓錄音卡的直接量產 BOM；官方頁面目前也顯示沒有現貨 |
| Vesper VA1200 | 類比壓電 MEMS voice accelerometer；約 2.9 × 2.76 × 0.9 mm；1.6–3.6 V；2.8 kHz 共振；20 g 輸入等級 | 研究架構、舊庫存或論文重現 | 新專案量產；目前分銷資料顯示 obsolete／manufacturer no longer supported |
| ST LIS25BA | 3 軸數位 TDM 寬頻加速度計，曾被用於骨骼振動／語音研究 | 研究用多軸結構振動量測 | 新設計；ST 頁面標示 Out of Production，替代品也不是音訊腳位的直接替換 |
| ST AIS25BA | 目前 active 的汽車級 3 軸低噪聲 TDM 加速度計 | 汽車外殼聲、結構振動、研究性寬頻感測 | 不要把它當成 VPU 的 drop-in replacement；介面、靈敏度、頻寬和軟體抽取鏈都不同 |
| 裸壓電片／PVDF 薄膜 | 被動高阻抗振動元件，需要前置放大或 charge amplifier | 桌面、手機背板、樂器、機械碰撞的概念驗證 | 直接接 MCU ADC 或直接當低阻抗麥克風；容易失真、受線纜電容和安裝方式影響 |
CM-01B 的優點是容易得到「固體振動」的直觀結果，缺點是供電、尺寸和低通特性不一定適合錄音卡。裸壓電片則可以快速回答「手機背面是否有可用振動」，但不能直接代表量產 VPU 的信噪比和頻響。
4.4 選型建議
如果目標是 Hera Pro 錄音卡的第一輪工程判斷，可以按以下順序取得樣品：
- PUI VMM-1627L-R 或同級類比 VPU：先走現有類比音訊路徑，快速確認人體與手機背面是否有有效訊號。
- Syntiant V2S200DZ 評估套件：用來比較真正 PDM 數位 VPU 的頻寬、抗環境噪聲和薄型安裝可能性。
- 裸壓電片或 CM-01B：只做桌面／手機機身結構傳遞的物理概念驗證，不把結果當成量產規格。
- Sonion 客製 VPU：在機械結構、聲學目標和月用量清楚後，再走 FAE、樣品、封裝和可靠度評估。
- VA1200、LIS25BA 等 EOL 器件：只用於學術重現或已有庫存，不作為新設計的首選。
5. 硬體整合：真正決定效果的是「機械 + 類比 + 數位」三件事
5.1 機械結構不是外觀件，而是前端濾波器
對手機背面錄音卡而言，感測器、膠黏層、磁鐵、支撐板、手機外殼和背板共同構成一個機械濾波器。至少要控制以下變數：
- 接觸位置：不同手機的聽筒、揚聲器、電池、支架和背板厚度不同；同一個卡片位置不會得到相同頻響。
- 接觸壓力：壓力過小會失去低頻和穩定性，壓力過大會把手持噪聲和殼體應力帶進來。
- 接觸材料：泡棉和厚軟殼可以隔振，薄硬支撐或直接硬接觸通常更容易傳遞結構聲，但也可能增加刮傷與碰撞。
- 安裝方向：單軸 VPU 具有方向性，感測軸要和目標結構振動方向做實驗匹配。
- 應力與線纜：排線拉力、焊點、膠水收縮和外殼變形都可能比語音訊號更大。
- 共振：卡片殼體或磁吸結構的共振峰可能被誤認為遠端語音頻帶。
推薦先製作可替換感測器的機械治具，固定手機型號、位置、壓力和卡片姿態，再比較器件，而不是先把感測器封進量產外殼。
5.2 類比 VPU 的前端
類比 VPU 的基本鏈路通常是：
VPU
↓
直流偏置／AC 耦合
↓
低噪聲增益或 PGA
↓
高通／低通／抗混疊
↓
ADC
↓
同步 PCM
需要注意三個常見錯誤：
- 把資料手冊中的 dB、dBV/g、dBFS/g 混在一起比較；
- 看到輸出阻抗很低，就以為不需要偏置、耦合和濾波；
- 只錄 MP3，不保存原始 PCM，導致無法判斷是感測器、ADC、AGC 還是編碼器造成的失真。
第一輪實驗最好保存 16-bit 或 24-bit 原始 PCM，固定增益、關閉不必要的 AGC，並同時保存空氣麥克風和接觸通道。
5.3 PDM／TDM VPU 的前端
PDM VPU 不是「數位麥克風插上就有 WAV」。需要處理：
- PDM clock 頻率、資料邊沿和左右／多感測器選擇；
- PDM decimation、抽取濾波和輸出採樣率；
- 介面時鐘與空氣麥克風 ADC 是否同源；
- 低功耗模式時的啟停、settling time 和遺失樣本；
- MCU 的 DMA、RAM、CPU 負載和錄音同步。
TDM 加速度計又是另一種介面：它可能輸出多軸振動資料，但並不等於音訊 codec 的 PCM 介面。需要先閱讀完整資料手冊，確認每一個 TDM slot、資料格式、時鐘主從關係與有效頻寬。
5.4 Hera Pro 的目前工程邊界
從目前 Hera Pro 的來源來看，錄音程式以 SDK 類比麥克風作為 AUDIO_STREAM_AI 輸入，設定為單輸入、單輸出，並以 16 kHz、16 bit、mono 進入 MP3 錄音。這代表：
- 類比 VPU 可以作為第一個「是否有物理可用訊號」的候選，但仍要確認板級 ADC 輸入、偏置和硬體走線；
- PDM V2S 需要新增或確認 PDM clock/data 資源，不是把類比 MIC 型號替換成 PDM 型號；
- 如果要同時保存空氣麥克風與 VPU，capture_channels_input = 1 的單通道架構必須重新評估；
- 若只把兩路在 ADC 前混成一路，後續很難做電話模式、會議模式和融合演算法的比較；
- 這篇調研不代表 Hera Pro 已經完成 VPU 硬體、韌體或實機驗證。
對錄音卡來說，最有價值的第一版不是「馬上輸出最漂亮的 MP3」，而是可以重複取得 air.wav、vpu.wav、mixed.wav 三組對齊資料。
6. DSP 與 AI：VPU 通常是輔助通道，不是萬能主通道
6.1 四個基本處理階段
一個可重複的雙通道處理鏈可以分成：
- 同步：兩路使用同一時間基準，校正固定延遲與樣本偏移。
- 校準：量測每一路的增益、噪聲底、頻響和安裝方向。
- 通道分工：空氣麥克風保留自然語音，VPU 用於自聲、接觸聲或噪聲參考。
- 融合／重建：以傳統 DSP 或模型產生電話錄音、通話上行或語音辨識需要的訊號。
6.2 傳統 DSP 路線
最簡單的頻域融合可以寫成：
Y(f) = W_air(f) X_air(f) + W_vpu(f) X_vpu(f)
但 W_air 和 W_vpu 不能固定寫死。它們會受到手機型號、接觸位置、佩戴者、音量、外殼和當下動作影響。更穩妥的做法是：
- 用 VPU 的高信噪比區段輔助 VAD；
- 用 VPU 估計空氣麥克風的噪聲功率譜；
- 在不同頻帶採用不同權重；
- 用自適應濾波或 Wiener／MMSE 估計，而不是直接相加；
- 在電話模式與會議模式使用不同的通道策略。
Interspeech 2018 的 Bone-Conduction Sensor Assisted Noise Estimation正是把 BC sensor 當作噪聲估計輔助，而不是直接拿 BC 原聲取代 AC mic。這個思想很適合第一版錄音卡，因為它不要求 VPU 產生完整自然音色。
6.3 神經網路路線
常見方向有三種：
- 頻寬擴展／音訊超解析度：從低頻、低頻寬的 VPU 估計被機械傳遞濾掉的中高頻；
- AC/BC 多模態融合：在複數頻譜或時域中共同估計乾淨語音；
- 自聲 VAD／語音驗證：只使用 VPU 的高隔離特徵判斷「本人是否在說話」，再控制空氣麥克風或上行鏈路。
神經網路不能彌補不存在的物理訊號。如果手機背面幾乎沒有遠端語音振動，模型很可能只是在重建訓練資料中的平均音色，造成幻覺式音訊或錯誤字詞。模型必須用與目標機械結構相同的配對資料訓練或微調。
7. 論文、資料集與專利地圖
7.1 直接相關的研究
| 年份 | 工作 | 主要貢獻 | 對錄音卡的啟示 |
|---|---|---|---|
| 2018 | Bone-Conduction Sensor Assisted Noise Estimation for Improved Speech Enhancement | 用 BC 感測器協助 AC 麥克風估計噪聲功率譜；同時指出 BC 的高頻衰減 | VPU 很適合當輔助通道，不能只看抗噪而忽略音色 |
| 2022 | Fusing Bone-Conduction and Air-Conduction Sensors for Complex-Domain Speech Enhancement | 以空氣／骨傳導配對資料做複數域融合；使用 ESMB 中文語料 | 需要同步配對資料、speaker split 和複數頻譜處理 |
| 2023 | Enabling Real-Time On-Chip Audio Super Resolution for Bone-Conduction Microphones | V2S100D + 類比 MEMS air mic + BES2300YP；ATS-UNet 量化後部署至 MCU | 低頻寬 VPU 可以用邊緣模型補頻寬，但模型必須針對感測器和佩戴方式 |
| 2023 | Configurable EBEN | 以生成模型做 body-conducted speech 的去噪與頻寬擴展 | VPU 原音和增強音要分開評估，不能把生成高頻當成感測器原始證據 |
| 2023 | In-Ear-Voice | 研究低功耗耳內平台上的骨傳導麥克風、自聲 VAD 和音訊增強 | VPU 對 always-on、自聲偵測和低功耗裝置很有價值 |
| 2023 | TRAMBA | 面向行動與穿戴平台的音訊／骨傳導語音超解析度，討論實際記憶體與功耗 | 對錄音卡來說要把模型 RAM、延遲和電量列為一等指標 |
| 2024 | Vibravox | 以多種 body-conduction sensor 建立語音與生理聲資料集，含空氣麥克風參考 | 可以比較喉音、額頭、耳內和顳部感測器，而不是只看單一 VPU |
| 2024 | EarSpy | 證明智慧型手機聽筒微小振動可能從手機 motion sensor 洩漏語音與身份資訊 | 手機確實存在「音訊到機身振動」的側通道，但這不等於接觸式錄音一定有高品質波形 |
| 2024 | Vibration Sensitivity of one-port and two-port MEMS microphones | 建立 MEMS 麥克風振動靈敏度的理論與實驗分析 | 「麥克風對振動敏感」是可建模的器件特性，不應只靠行銷名稱判斷 |
| 2025 | PMUT-based Bone Conduction Microphone System | 以壓電微機械超音波換能器研究顴骨骨傳導拾音 | 顯示研究界仍在探索新型壓電 MEMS 結構，但原型與量產 VPU 不是同一件事 |
| 2025 | French Listening Tests for Body-Conducted Speech Enhancement | 用可懂度、MUSHRA 和 speaker identification 評估 EBEN | 不能只用 PESQ 或一張頻譜圖宣稱「變清楚」，要同時測語意、音質和身份保留 |
| 2026 | Enhancing Bone Conduction Sensor Signals via Self-Supervised Acoustic Priors | 在 ABCS 與 ESMB 公開資料上研究自監督語音增強與記憶網路 | 公開資料集已開始支援更現代的模型，但跨感測器泛化仍需驗證 |
7.2 手機電話錄音相關專利
| 專利 | 核心描述 | 讀專利時要注意 |
|---|---|---|
| EP4513485A1 | 感測器接觸手機後表面，取得通話期間的振動資料，再轉成語音資料 | 這是機械耦合方案的公開實施描述，不是跨手機的性能測試 |
| US20250184420 | 描述壓電感測器、磁鐵、前蓋和固定結構，直接量測手機背面振動 | 專利權利項、樣機結果和量產品質是三個不同層次 |
7.3 公開資料集
| 資料集 | 內容 | 用途 |
|---|---|---|
| ABCS | 公開頁面列出約 47,182 組同步 AC／BC utterance、100 位 speaker、約 42 小時 | 多模態 ASR、AC/BC speech enhancement、同步與 speaker split |
| ESMB corpus | Elevoc 同步錄製的 air／bone 語音資料；相關論文描述約 128 小時中文語料 | 複數域融合、中文語音增強、speaker-independent 測試 |
| Vibravox | 多種 body-conduction sensor、空氣參考麥克風、不同噪聲和語言標註 | 比較不同接觸位置、做頻寬擴展、語音辨識與 speaker verification |
Vibravox 的論文摘要與現行專案頁面對資料量的統計口徑不完全相同：論文摘要寫 38 小時，專案頁面列出 45.5 小時。這是資料版本／整理口徑的差異，使用時應以具體 release、Hugging Face dataset card 和引用版本為準。這種差異也提醒我們：做模型比較時必須鎖定資料集版本，而不是只引用一個總時數。
8. 開源專案：哪些可以直接用，哪些只是研究材料
目前沒有一個成熟、開源、可以直接把「手機背面 VPU + 任意 Android 手機」變成量產電話錄音卡的完整專案。可用資源主要分成三層：VPU 語料與模型、可重現的研究平台、通用音訊 DSP。
8.1 直接與 body-conduction／AC-BC 相關
| 專案 | 類型 | 可以拿來做什麼 | 邊界 |
|---|---|---|---|
| wangmou21/abcs | 開放資料集 | 下載同步 AC／BC 語音，訓練或比較融合、增強和 ASR | 它不是手機背面資料，人體耳機／骨傳導分佈不能直接代表手機外殼 |
| elevoctech/ESMB-corpus | 開放資料集 | 中文 air/bone 配對資料、speaker-independent split | 感測器、佩戴方式和電話機身結構不同 |
| jhauret/eben | MIT 開源研究程式 | 用 EBEN 做 body-conducted speech 頻寬擴展與增強；含預訓練模型與訓練流程 | 模型對 sensor domain 敏感，不能直接把喉音模型套在手機接觸片 |
| jhauret/vibravox | MIT 開源資料與訓練工具 | 使用額頭加速度計、喉音、耳內和顳部振動拾音器；可跑 EBEN、Mimi、語音轉音素與 speaker verification | 這是研究平台，不是低功耗 ATS3085S 韌體 |
| wyl516w/dbmif | MIT 開源 AC/BC 多模態模型 | 研究三分支迭代融合、低 SNR 語音增強和 CER 評估 | 2026 公開實作需要 GPU／Python 訓練環境；量產 MCU 仍要蒸餾與量化 |
| nihospr01/OpenSpeechPlatform | 開源研究硬體／FPGA／韌體 | 平台包含前後空氣麥克風、骨傳導麥克風、耳內麥克風和 IMU，適合研究多感測器同步 | 體積、硬體和資料介面與錄音卡不同，但很適合學習完整量測架構 |
8.2 通用音訊 DSP 與邊緣部署元件
| 專案 | 角色 | 適合放在哪一層 | 注意事項 |
|---|---|---|---|
| Xiph RNNoise | RNN 語音抑噪；BSD-3-Clause | 先對空氣通道做基線降噪，或比較「沒有 VPU」的效果 | 官方範例以 48 kHz mono raw PCM 為主；不是 AC/BC 融合器，也不是 VPU 專用 |
| DeepFilterNet | 低複雜度深度濾波與即時語音增強 | 桌面／手機後處理、模型基線和音質比較 | 需要依目標採樣率、延遲、CPU 和模型授權做移植評估 |
| WebRTC Audio Processing | AEC、NS、AGC 等即時音訊處理模組 | 空氣麥克風通話上行基線 | 它假設的是通用通話音訊鏈，不會自動理解手機背面 VPU 的機械頻響 |
| openSMILE | 音訊特徵抽取工具 | 比較 air.wav、vpu.wav 的能量、頻譜、pitch 和語音活動 | 商用使用要閱讀專案 LICENSE；它不是嵌入式即時錄音核心 |
| pyroomacoustics | 房間聲學、波束成形與音訊模擬 | 產生空氣通道噪聲基線、測試同步和融合 | 房間模擬不能代替手機外殼的結構振動量測 |
| ARM CMSIS-NN | Cortex-M 神經網路核心 | 把 ATS-UNet、VAD 或小型融合模型量化後放到 MCU | 必須先以真實音訊計算量、RAM、延遲和精度，再決定是否部署 |
開源資源的正確使用方式是：
先錄製自己的 air.wav + vpu.wav
↓
用 ABCS／ESMB／Vibravox 做演算法概念與訓練方法參考
↓
用 RNNoise／DeepFilterNet 做空氣通道基線
↓
用 EBEN／DBMIF／自建小模型做 AC/BC 融合或頻寬擴展
↓
在目標 MCU 上用 CMSIS-NN 或原生 DSP 做量化與移植
不能反過來拿一個在人體喉音資料上表現很好的預訓練模型，直接宣稱它可以處理手機背面的遠端電話聲。
9. Hera Pro 錄音卡的建議開發路線
P0：先驗證物理通道，不改產品承諾
目標是回答「手機背面是否存在足夠可用的結構語音」，不是先追求最終音質。
- 準備一個可更換 VPU 的硬體治具，同時放置空氣麥克風與接觸感測器。
- 優先比較一顆類比 VPU、一個 Syntiant V2S 評估套件和一片裸壓電接觸片。
- 同一支手機固定位置，分別測無殼、薄殼、厚殼、磁吸環、不同壓力。
- 分別測正常聽筒、免持揚聲器、不同音量、不同手機型號和藍牙耳機。
- 保存原始同步 WAV，不要只保存 MP3；每個檔案記錄手機型號、模式、位置、壓力和音量。
P1：先做兩路離線分析
最小資料格式可以是：
session.json
air.wav 16 kHz / 16 bit / mono
vpu.wav 16 kHz / 16 bit / mono
mix.wav 可選的融合結果
notes.txt 手機、外殼、接觸位置、音量、噪聲與失敗原因
先做以下圖表和指標：
- 空氣與 VPU 的 RMS、峰值、噪聲底和 clipping 比例；
- 兩路的短時頻譜、互相關、固定延遲和頻率響應；
- 遠端語音的 segmental SNR、STOI、PESQ 或 MUSHRA；
- 固定 ASR 模型的 WER／CER；
- 本人語音、遠端語音、手指敲擊、桌面摩擦和風噪的分類混淆；
- 不同手機和外殼的跨裝置泛化。
P2：再決定類比或 PDM
| 觀察結果 | 工程決策 |
|---|---|
| 類比 VPU 在現有 ADC 輸入上已經能穩定看到遠端語音 | 優先做類比雙通道板級方案，縮短第一次成功路徑 |
| 類比有訊號但頻寬不足，V2S PDM 明顯較好 | 評估 PDM 資源、DMA、功耗和封裝，再決定數位版本 |
| 只有免持模式可用，正常聽筒很弱 | 產品需求要明確限定模式，或改做空氣 + 接觸輔助，而不是宣稱通用電話錄音 |
| 不同手機差異很大 | 先改機械治具、接觸位置和卡片支撐，再調模型 |
| VPU 幾乎只有碰撞和手持噪聲 | 暫停電話錄音方向，先驗證器件軸向、接觸壓力、前端和手機聲學路徑 |
P3：韌體與 Android 的責任邊界
VPU 的音訊在錄音卡內由感測器、ADC／PDM、DSP 和編碼器產生。Android 應用程式通常只負責：
- 開始／停止錄音、選擇會議或電話模式；
- BLE 控制和狀態回報；
- 下載原始或 MP3 檔案；
- 在手機端做轉寫、摘要、標註和檔案管理。
Android 不會因為存在 VPU 就取得通話內部 PCM。若產品需要「電話模式自動判斷」，可以由接觸振動、空氣通道、按鍵或 Android 顯式狀態共同決定，但要把它當成產品狀態機，而不是 Android 通話資料介面。
10. 最容易踩到的坑
坑一：把「骨傳導」理解成「能聽到對方」
耳機 VPU 的最典型對象是佩戴者自己的聲音。手機背面遠端語音是另一個特殊機械傳遞問題，必須另外測。
坑二：把供應商的「抗噪 40–50 dB」當成系統 SNR
這類數字可能是特定頻率、特定加速度、特定安裝和特定聲學條件下的隔離度，不等同於完整錄音卡在所有語句、手機和外殼上的 WER 或可懂度。
坑三：用一個漂亮頻譜圖就宣稱成功
手機機身共振、手指碰撞、AGC、MP3 編碼和 FFT 窗口都可能產生漂亮峰值。要用配對錄音和語音指標驗證，並保留原始通道。
坑四：只看感測器，不看機械治具
同一顆 VPU 裝在耳塞、硬質耳機、薄卡片和厚手機殼上，可能得到完全不同的結果。機械結構是產品的一部分，不是裝配細節。
坑五：把通用降噪模型當成 VPU 融合模型
RNNoise、DeepFilterNet 和 WebRTC APM 都很有用，但它們不能自動知道哪一路是結構聲、哪一路是空氣聲。AC/BC 融合需要同步資料、傳遞函數或針對目標 sensor domain 的模型。
坑六：忽略錄音法律與隱私
電話錄音是否需要對方同意、是否能跨地區使用，取決於司法管轄、產品市場和使用場景。硬體能錄到，不代表產品就可以不提示、不告知或不保留操作記錄。
11. 最終判斷
VPU 的價值不是「多一顆神奇麥克風」，而是多建立一條和空氣聲不同的機械訊號通道：
- 對耳機和穿戴裝置，它主要讓佩戴者自己的語音在風噪、車流和嘈雜環境中更容易被辨識；
- 對會議錄音，它可以作為自聲／接觸聲輔助，但空氣麥克風仍是自然環境聲的主通道；
- 對手機背面電話錄音，它有機會從手機聽筒或揚聲器造成的外殼振動取得遠端語音，這條路線已有商用產品和專利，但必須做手機、外殼、接觸壓力和模式的實測；
- 對工業、聽診器和機械聲，它也可以是結構振動感測器，不必局限於語音。
如果要把它落到 Hera Pro，合理的第一步是「類比 VPU + 空氣麥克風雙路原始錄音 + 可重複機械治具 + 手機矩陣測試」。先把遠端語音在接觸通道中的存在性、可懂度和跨手機穩定性量出來，再決定 PDM、模型、外殼和量產 BOM。只有這樣，才能把「VPU 能不能錄到對面」從市場宣稱變成可審核的工程結論。
12. 參考資料入口
產品與器件
- Syntiant V2S Voice Vibration Sensor
- Syntiant V2S Application Notes
- PUI VMM-1627L-R
- Sonion Sensors
- TE CM-01／CM-01B
- Vesper VA1200 datasheet
- ST AIS25BA
- ST LIS25BA
商用產品與電話錄音形態
- Plaud hardware comparison
- Plaud Note Pro product page
- Plaud phone call recording explanation
- Suisse Notes Pro
- OEQ AI Voice Recorder
論文、資料集與開源程式
- Interspeech 2018：BC sensor assisted noise estimation
- Sensors 2023：On-chip audio super resolution
- EBEN paper／EBEN code
- TRAMBA
- Vibravox paper／Vibravox code
- ABCS corpus
- ESMB corpus
- DBMIF code
- OpenSpeechPlatform
- RNNoise
- DeepFilterNet
- WebRTC Audio Processing
手機結構振動與專利
- EarSpy
- Vibration Sensitivity of one-port and two-port MEMS microphones
- EP4513485A1 Smartphone Recorder
- US20250184420 Smartphone Recorder
本文的產品規格、供貨狀態與開源專案狀態都應在下單、打樣或發布韌體前重新核對；產品頁面能證明「供應商如何定位器件」，論文能證明「在特定資料與裝置上做過什麼」，只有目標手機、目標外殼和目標錄音卡的配對實驗，才能證明 Hera Pro 的實際效果。