AUTOMORPHSW Team

量測資料為什麼總是找不到?從 MDF 檔案到資料湖的索引策略

量測資料為什麼總是找不到?從 MDF 檔案到資料湖的索引策略

每個做過車隊測試的團隊都有同一個抽屜故事:客訴進來,工程師記得「去年冬天某趟測試出現過一模一樣的現象」,然後三個人花兩天在檔案伺服器翻找那個檔——資料都在,就是找不到。這不是紀律問題,是方法問題:檔名+資料夾的管理方式,撐不起車隊等級的資料量。

先懂 MDF:量測資料的標準容器

車用量測的主流格式是 ASAM MDF(Measurement Data Format,現行為 MF4 世代)。它是為高速寫入與事後分析設計的二進位格式,結構上有三個對「可尋性」重要的特性:

  1. 通道群組(Channel Group):同一群組內的訊號共享時間軸——與量測時的事件同步結構對應(XCP 的 DAQ 機制,見這篇
  2. 內建詮釋資料:檔案裡可嵌入量測的背景資訊——工具、時間、註解、自定義欄位(車輛編號、軟體版本、測試員、路線)
  3. 可局部讀取:索引結構允許只讀需要的訊號段,不必整檔載入——幾十 GB 的檔案才有辦法互動式分析

關鍵推論:可尋性的原料在寫入當下就決定了。 錄的時候沒填詮釋資料,事後補登是不可能的工程——誰記得半年前那趟的軟體版本?

「找檔案」與「找訊號」是兩種能力

檔案級管理訊號級索引
查詢像「找出三月的高速路測檔」「找出車速高於某值且 ABS 介入的所有片段」
依賴檔名紀律、資料夾結構內容被解析、訊號被索引
答案形式一堆檔案,自己開來看直接跳到符合條件的時間段

第二種能力才對得上工程師真正的問題——他們找的從來不是檔案,是現象。要做到,後台必須在資料進來時解析內容、抽取訊號統計與事件、建立索引——這正是量測資料管理平台(如 vMDM)與「很大的網路硬碟」的分野。

車隊資料管線的四段設計

  1. 記錄端就分類:觸發式記錄(事件前後脈絡自動保留,見記錄器那篇)+標準化的詮釋資料欄位——車輛、版本、組態在錄製當下自動寫入
  2. 傳輸自動化:回廠 Wi-Fi 卸載或行動網路上傳,人手拔硬碟的流程遲早漏
  3. 入庫即處理:格式驗證、訊號解析、索引建立、(依需求)降採樣預覽版生成——讓「可查詢」成為入庫的定義,而不是之後的願望
  4. 查詢介面貼近工程語言:訊號條件、時間範圍、車輛屬性的組合查詢;找到片段直接在瀏覽器預覽曲線,確認了才下載原檔

兩個常被低估的決策

保留政策:原始資料全留成本失控、亂刪又怕刪到證據。可行的分層:事件片段長期保留、無事件的巡航資料保留降採樣版、原始檔設定分級到期。政策要在資料湖淹水之前定。

存取邊界:量測資料含位置軌跡與駕駛行為,供應商合作與跨部門存取需要權限模型與稽核紀錄——「大家都連得上的共用碟」在第一次外部稽核時就會變成問題。


下一步

從記錄端詮釋資料設計、上傳自動化到訊號級索引平台,歐特莫夫(Vector Informatik 合作夥伴)協助把「找資料」從翻硬碟變成打查詢。