大大通【ATU Book-i.MX9系列】OP-Gyro DMS (Driver Monitoring System) 解決方案介紹 (2024-11-07)

Source: https://www.wpgdadatong.com/blog/detail/75876

Local Backup

一. 概述

OP-Gyro DMS (Driver Monitoring System) 解決方案是由大聯大世平集團 ATU 伊布小編 (一部) 團隊與「先進車系統股份有限公司」和「立景創新科技有限公司」三方合作共同研究開發出來的成果；透過大聯大世平集團自製的 [【https://www.wpgdadatong.com/solution/detail/74665|OP-Gyro (i.MX93)]] 平台整合「先進車系統」的優質 ADAS (Advanced Driver Assistance Systems) 算法、系統整合與「立景創新科技」的專業車用鏡頭模組，可使用於汽車智慧駕駛輔助等應用領域，此 OP-Gyro DMS 解決方案可以即時偵測到駕駛者閉眼、打哈欠、打瞌睡、拿手機、抽煙等不安全駕駛行為。經由特制 AI 驗算法，與快速的調用 GPU、NPU 等硬體資源做硬體加速的異質多核心技術，在邊緣運算中具有極高準確性與即時性，可在這智慧輔助駕駛的車用市場占據一席之地。

核心技術優勢

1. 平台優勢：
- 大聯大世平集團 OP-Gyro DMS (Driver Monitoring System) 解決方案搭載著 NXP i.MX93 系列晶片，擁有 ASIL-B 等級功能安全，其核心規格包含了 Arm® Cortex®-A55 與 Arm® Cortex®-M33 兩種核處理器，能讓系統實現多任務且即時的應用，並配合 Arm ethos-U65 神經網路處理器 (NPU)，可有效加速深度學習的推理計算實現邊緣運算。
2. 大聯大世平集團優勢：
- 2.1. 大聯大世平集團積極投入車用發展，其中包含提供電子料件、軟硬技術支持，還有與軟體商「先進車系統」合作，提供全方位的技術服務，這些服務可以協助客戶加快產品上市的步伐與提升市場競爭力。
- 2.2. 大聯大世平集團掌握主控板 100% 軟硬體技術設計能力，可以提供給客戶快速二次開發，可配合車廠需求的高度客製化解決方案，同時也有較高的技術彈性與合作夥伴相互配合。
  - 硬體包含：元件選型、電路設計、PCB 設計、EMI 相關驗證等。
  - 軟體包含：使用 Github 維護 BSP、周邊裝置驅動程式配置與功能確認、一鍵全功能檢測的產測程式。
- 2.3. ATU 伊布小編 (一部) 團隊可以預先評估 AI 模組在 NPU 上的執行效能，並快速導入 AI 模組進行推理運算，從而迅速實現高性價比、低功耗的自動識別功能（相較於 GPU 運行的平台）。
3. 立景創新科技影像傳感器模組優勢：
- 立景創新科技為全球知名影像傳感器模組製造大廠，致力於 COMS 影像傳感器模組研發與製造已逾二十多年，服務與合作的夥伴遍及全球手機、平板、筆電與汽車產業的客戶。此次解決方案中所使用的影像傳感器模組為立景創新針對智能座艙中所需的 DMS(Driver Monitoring System) 而設計的紅外線影像傳感器模組。此模組內建業內廣泛採用的 Ominivision OV2311, 2M pixels monochrome IR imager 做為影像訊號偵測單元，結合雙 IR LED 背光板可將遠在 60 公分到 1 米外的駕駛者臉部特徵完整的擷取後傳送到模組內的專用的影像處理單元做後段影像優化，最後經由 ADI 的 GMSL 串列傳輸技術將完整影像資訊提供給運行於 OP-Gyro DMS (Driver Monitoring System) 上的 ADAS 軟體使用。
4. 算法優勢：
- 「先進車系統」致力於開發高性價比的 ADAS 軟體解決方案，秉持算法軟體服務精神，提供產品客製化設計與實現。結合自主研發的深度學習、計算機視覺、計算機圖形、異質多核心調度、內存訪問優化等技術，有效克服圖像畫質、行車環境特徵多變、硬體資源需求的挑戰。同時還可幫助業者縮短研發時間、降低開發成本，大幅提升產品差異化和競爭力。作為軟體服務商，「先進車系統」的相關算法產品技術 100% 自主開發，包括系統設計和優化、安裝和校準技術，並可提供定制化的 DMS 相關算法。

Model	Quantization	i.MX93
Autosys Object Detection	QAT	10.4ms(NPU)
Face landmark	PTQ	3ms(NPU)
Hand keypoint	PTQ	9.9ms(NPU)
Smoking / phone calling classify	QAT	1.6ms(NPU)
eyes landmark	PTQ	10ms(CPU 16fp)

二. 方案規格介紹

General
Multicore Processing	2x Cortex®-A55 processors operating up to 1.7 GHz 1x Cortex®-M33 CPU operating up to 250 MHz 1x Ethos™ U-65 microNPU
Memory	1x LPDDR4X 2GB
Storage	1x eMMC 16GB up to 64GB ( Support eMMC 5.1 )
System OS	Linux 6.1.55
I/O Interface
USB	2x USB 2.0 (External) one For USB Serial download Update 2x USB 2.0 (Internal) + 2x USB 2.0 (Optional)
Ethernet	2x RJ45 GBE LAN
Audio	1x Stereo 3W speaker amplifier output 1x Stereo PDM digital microphone connector 1x Analog line in/line out (Optional)
GPIO	20pin interface: 13x GPIOs ( Mux Pin UART TX/RX/CTS/RTS & I2C & SPI ) 1x ADC 2x Power 3V3 Output 2x Power 5V Output 2x GND
CAN bus	2x CAN-FD bus with built-in transceiver
Serial Ports	2x Full functional RS232 (including DSR/DTR/DCD/RI) (Optional) 1x RS232/RS422/RS485 combo (Optional)
Camera	1x MIPI CSI with 24pin FFC
Wireless	1x M.2 WiFi (SDIO + UART) Optional 1x WiFi module on board (SDIO + UART) Optional 1x Mini PCIE for WAN LTE + uSIM slot Optional
SD slot	1x uSD slot speed up to SDR104
RTC	1x RTC IC with coin battery connector
Display
Mechanical & Environment
Dimension	122mm100mm1.6mm
Power Input	DC 12V
Temperature	Operation: -25℃~70℃
Storage:	-30℃~+80℃

三. 系統方塊圖

四. 應用場景圖

OP-Gyro DMS 解決方案主要透過 Camera 將即時的影像接收進 i.MX93 SOC 再透過 NPU 做相關 AI 運算處理，最後透過 GUI 畫面做影像呈現在螢幕上。
稍早章節有提到 OP-Gyro DMS 解決方案是由大聯大世平集團 ATU 伊布小編 (一部) 團隊與「先進車系統股份有限公司」和「立景創新科技有限公司」三方合作共同研究開發出來的成果；有關 Camera 的技術細節歡迎找「立景創新科技」做討論，關於 DMS 等的 AI 算法技術細節歡迎找「先進車系統」做討論。
此 OP-Gyro DMS 解決方案透過偵測駕駛者閉眼、打哈欠、打瞌睡、拿手機、抽煙等不安全駕駛行為，透過 AI 智慧辨識的能力來達到提升駕駛人行車安全的目標。
以下為 Demo 示意圖。