基于 Wi-Chat（LLM Powered Wi-Fi Sensing） 的 AAOS AI 座舱乘员感知系统。
通过车内 Wi-Fi 6/6E CSI 信号，非接触式实时检测乘员姿势、动作、手势、呼吸率与心率。
| 能力 |
说明 |
| 姿势识别 Posture |
坐直 / 前倾 / 侧倾 / 低头 / 离座倾向 |
| 动作识别 Action |
取物 / 转身 / 抬手 / 挥手 / 疲劳晃头 |
| 手势识别 Gesture |
静态 + 动态（滑动 / 点击 / 旋转） |
| 呼吸率 Respiration |
更新周期 1 s，滑动窗 8-12 s |
| 心率 Heart Rate |
更新周期 1-2 s，滑动窗 12-20 s |
+---------------------------------------------------------+
| Application CockpitBehaviorApp | <- HMI 联动 / 手势控车 / 疲劳提醒
+---------------------------------------------------------+
| Framework WifiSenseService (AIDL) | <- 权限控制 / 事件发布 / 看门狗
+---------------------------------------------------------+
| Native wifisense-daemon | <- 预处理 / 推理管线 / LLM 纠错
| (NNAPI / ONNX Runtime) |
+---------------------------------------------------------+
| Vendor HAL vendor.wifisense.hal | <- CSI 采集 / 时间戳同步
+---------------------------------------------------------+
| Kernel 网卡驱动 (nl80211 / CSI 扩展) |
+---------------------------------------------------------+
| 硬件 Wi-Fi 6/6E 天线节点 x 2-4 | <- MIMO 2x2/4x4, 5/6 GHz
+---------------------------------------------------------+
Wi-Chat 语义推理层（贯穿 Native 层）：
CSI -> 预处理 -> 时空编码器 -> 语义 token
(seat_zone / motion / micro_vital / context)
|
小型指令微调 LLM（链式推理 / 语义纠错）
|
姿势头 | 动作头 | 手势头 | 呼吸率头 | 心率头
- Wi-Chat 语义化：CSI 时空特征映射为结构化语义 token，LLM 链式推理与纠错，提升复杂干扰鲁棒性。
- 多任务统一建模：分类（姿势/动作/手势）与回归（呼吸/心率）共享编码器，协同优化。
- 车况上下文融合：通过 CarService 获取车速、振动等级，动态调整推理阈值。
- 端侧实时闭环：高频路径（手势）P95 < 130 ms；含 LLM 复杂场景 < 220 ms。
- 失效安全降级：天线故障 / 强干扰 / 低置信度均有降级策略，不误触发控制指令。
- 隐私最小化：原始 CSI 默认不上传，日志仅记录时延与置信度分位数。
| 指标 |
目标值 |
| 姿势 / 动作 / 手势端到端时延 |
P95 < 180 ms |
| 姿势分类 F1 |
>= 0.90 |
| 动作分类 F1 |
>= 0.88 |
| 手势分类 F1 |
>= 0.92 |
| 呼吸率 MAE |
<= 1.5 rpm |
| 心率 MAE |
<= 5 bpm |
| 系统可用性 |
>= 99.5% |
| 阶段 |
周期 |
交付物 |
| M1 |
4-6 周 |
CSI 采集链路 + 姿势识别 POC |
| M2 |
6-8 周 |
多任务模型 + AAOS 服务打通 + HMI 联动 |
| M3 |
6-10 周 |
Wi-Chat 语义层 + LLM 纠错 + 实车优化 |
| M4 |
4 周 |
量产化加固（安全 / OTA / 监控 / 回滚） |
文档内图表一览：
- 图 5-1：AAOS 软件分层架构图（graph TB）
- 图 5-2：模型推理数据流图（flowchart LR）
- 图 6-1：Wi-Chat 多任务推理时序图（sequenceDiagram）
- 图 7-1：CSI 预处理流水线（flowchart LR）
- 图 8-1：进程与 Binder 通信图（graph LR）
- 图 13-1：服务状态机与降级策略（stateDiagram-v2）
WiFi-VLM-Sense/
├── README.md
└── docs/
└── AAOS_WiChat_AI_Cockpit_Design.md # 完整设计文档（含 6 张 Mermaid 图）
- Wi-Chat: Large Language Model Powered Wi-Fi Sensing
- AAOS / Android Automotive OS 官方文档
- Wi-Fi 6/6E CSI 采集：nl80211 / 厂商扩展接口