一次车机黑屏 68 分钟故障的完整解剖:从 ART 崩溃循环到 dm-verity 报警
0. 事件
车机在正常使用中突然黑屏 68 分钟,期间完全无法操作,直到整机重启后自愈。
最终定位:eMMC 存储上 system 分区(A/B 双分区中的活动槽位)的若干数据块读取损坏 → dm-verity 完整性校验失败且 FEC 前向纠错无法修复 → 内核对这些页返回 I/O 错误 → 所有依赖 ART 启动镜像的 Java 进程(zygote、system_server、前台 HMI 应用)以 SIGBUS/BUS_ADRERR 反复崩溃 → 应用世界完全无法启动 → 黑屏。整机断电重启后,eMMC 控制器复位、内核页缓存重建,故障消失。
这篇文章除复盘排查过程外,会详细讲解途中绕不开的两个核心知识点:Android Runtime(ART) 和 dm-verity。
1. 案发现场
- 现象:车机突然黑屏,一直黑屏,约 68 分钟后(下车断电再上电 / 系统强制重启)恢复
先交代结论性时间线,再讲为什么。
2. 故障时间线重构
日志里有个意外的"黑匣子":车机有一个屏幕取色服务(为氛围灯联动而持续采样屏幕像素的 RGB),它的上报可以直接还原屏幕状态。
| 时刻 | 事件 | 证据 |
|---|---|---|
| 09:01:30.014 | 用户点击主界面"连接"页签 | handleTabSelected: item= 7 |
| 09:01:30.162 | 前台 HMI 应用崩溃(SIGSEGV) | Fatal signal 11 ... fault addr 0x10 |
| 09:01:32.737 | system_server 崩溃(SIGBUS) | 死在 NativeCrashReporter 线程,正在记录上一步的崩溃 |
| 09:01:33.9 | 屏幕取色服务上报 rgb=(0,0,0),此后黑屏 | 屏幕变黑与 framework 死亡精确同步 |
| 09:01:42 → 10:09:27 | zygote / zygote64 崩溃死循环 | 68 分钟内记录 813 次崩溃转储、Fatal signal 1629 条,速率恒定每分钟 24 次 |
| 10:09:31 | 整机重启 | 日志中断,时钟归零为 01-01 08:00:03 |
| 10:10:25 | 重启完成,UI 恢复,屏幕取色重新上报非黑色 | fsck.f2fs 正常,系统痊愈 |
关键日志片段
① HMI 应用首崩(09:01:30.162,SIGSEGV,ART 内部)
F/libc : Fatal signal 11 (SIGSEGV), code 1 (SEGV_MAPERR), fault addr 0x10
F DEBUG : pid: 16004, tid: 16004, name: .hmi.carapp >>> com.example.hmi.carapp <<<
F DEBUG : Cause: null pointer dereference
F DEBUG : backtrace:
F DEBUG : #00 .../libart.so (art::mirror::Class::GetDescriptor(...)+60)
F DEBUG : #01 .../libart.so (art::mirror::Object::PrettyTypeOf()+72)
F DEBUG : #02 .../libart.so (art::System_arraycopy(...))
F DEBUG : #04 boot-framework.oat (com.android.internal.util.GrowingArrayUtils.insert+92)
F DEBUG : #05 boot-framework.oat (android.util.LongSparseLongArray.put+212)
F DEBUG : #06 boot-framework.oat (android.view.View.measure+1696)
F DEBUG : #07 /memfd:jit-cache (RecyclerView$LayoutManager.measureChildWithMargins+1072)
(自下而上:主线程例行帧回调 → 页面排版 → 列表测量 → 数组插入 → ART 内部崩溃)
② system_server 次生崩溃(09:01:32.737,SIGBUS)
F/libc : Fatal signal 7 (SIGBUS), code 2 (BUS_ADRERR) ... tid 7071 (NativeCrashRepo), pid 949 (system_server)
F DEBUG : backtrace:
F DEBUG : #00 .../libart.so (art::mirror::FindFieldByNameAndType(...))
F DEBUG : #03 .../libart.so (art::ClassLinker::ResolveField(...))
F DEBUG : #07 .../libart.so (nterp_op_iput_slow_path+20)
F DEBUG : #08 services.jar (com.android.server.criticalevents.CriticalEventLog.logNativeCrash+18)
F DEBUG : #10 services.jar (ActivityManagerService.handleApplicationCrashInner+884)
F DEBUG : #12 services.jar (NativeCrashListener$NativeCrashReporter.run+98)
(它在记录 ① 的崩溃报告时,自己也读到了坏数据)
③ zygote 崩溃循环的两种形态(每约 5 秒一轮,68 分钟)
形态 A(主线程,JNI 注册期,fault 低 12 位恒为 0x347):
F DEBUG : pid: 7646, tid: 7646, name: main >>> zygote64 <<<
F DEBUG : signal 7 (SIGBUS), code 2 (BUS_ADRERR), fault addr 0x...0347
F DEBUG : #00 .../libart.so (art::ArtMethod* art::FindMethod<true>(...)+304)
F DEBUG : #01 .../libart.so (art::JNI<true>::RegisterNatives(...)+916)
F DEBUG : #02 libandroid_runtime.so (jniRegisterNativeMethods(...)+104)
F DEBUG : #03 libandroid_runtime.so (android::AndroidRuntime::startReg(...)+100)
F DEBUG : #04 libandroid_runtime.so (android::AndroidRuntime::start(...)+504)
F DEBUG : #05 /system/bin/app_process64 (main+1472)
形态 B(后台线程,启动类校验期,fault 低 12 位恒为 0xef6):
F DEBUG : pid: 7648, tid: 7725, name: Jit thread pool >>> zygote64 <<<
F DEBUG : Process uptime: 2s ← 每轮新生的 zygote 只活 2 秒
F DEBUG : signal 7 (SIGBUS), code 2 (BUS_ADRERR), fault addr 0x...aef6
F DEBUG : #00 .../libart.so (art::ClassTable::Lookup(char const*, unsigned long)+468)
F DEBUG : #01 .../libart.so (art::ClassLinker::LookupClass(...)+192)
F DEBUG : #03 .../libart.so (art::jit::ZygoteVerificationTask::Run(...)+828)
(寄存器旁证:x7 中残留可读的类名片段,x5 中本应为类名字节的位置是二进制乱码——比对的一方是正常名字,另一方读出来是垃圾)
④ 内核 dm-verity 报警
device-mapper: verity-fec: 254:1: FEC 2646016: failed to correct (0 erasures)
(09:01–10:10 期间大量重复,对应 system_b 分区 verity 校验失败)
⑤ 资源遥测拐点(车载监控服务每 6 秒上报)
09:01:25.833 iowait=0.00% iops=11 读速率=0 KB/s ← 基线,健康
09:01:32.158 iowait=7.84% iops=792 读速率=23.1 KB/s ← 崩溃风暴爆发(读风暴出现)
09:01:38.801 iowait=3.33% iops=615 读速率=23.8 KB/s ← 遥测最后一帧(监控进程随之下线)
一个容易忽略的细节:system_server 死亡的线程名是 NativeCrashRepo(15 字符线程名截断),堆栈显示它当时正在执行 CriticalEventLog.logNativeCrash——system_server 是在"给上一个崩溃写日志"的路上,自己撞死了。这是典型的次生崩溃,暗示问题在更底层。
3. 崩溃名单会说话:谁崩了,谁活着
把 68 分钟故障窗口内所有崩溃受害者统计出来:
| 进程 | 崩溃次数 | 特征 |
|---|---|---|
| zygote | 567 | 反复崩溃的其实是同一个进程 |
| zygote64 | 246 | 与上者合计就是全部崩溃的 99.9% |
| system_server | 1 | 次生受害者 |
| 前台 HMI 应用 | 1 | 第一个受害者 |
同时有一批全程零崩溃的幸存者,PID 从头到尾不变、日志连续打到重启前最后一秒:
- MCU 串口通信进程(持续收发与微控制器的 UART 报文)
- GPS 进程(每秒打印 NMEA 语句)
- 车辆信号 HAL(持续收发 CAN 属性)
规律极其鲜明:
崩的全是"依赖 ART 虚拟机、每次启动都要从存储重新加载运行时文件"的进程;不崩的全是"不碰 ART、代码和数据早已驻留内存"的原生(native)进程。
这条规律指向一个方向:问题出在从存储加载 ART 数据的通路上。要理解这句话,需要先把 ART 讲透。
4. Android Runtime(ART)详解
4.1 ART 是什么
ART(Android Runtime)是 Android 的应用运行时——可以理解为 Android 上的"Java 虚拟机"。所有用 Java/Kotlin 写的程序(系统服务 system_server、所有应用,以及它们的母体 zygote)都运行在 ART 之上,由它负责:
- 把应用的字节码翻译成机器指令执行(解释执行 / JIT / AOT 三种方式混合)
- 管理托管堆(对象分配、GC)
- 类加载与解析(ClassLinker)
- JNI 桥接、反射、异常等运行时服务
历史脉络一句话:Android 4.4 之前是 Dalvik(纯 JIT);5.0 起全面切换到 ART(纯 AOT,安装时全量预编译);7.0 起演进为 JIT + AOT 混合编译(首次运行 JIT 即时编译热点代码,空闲时后台把热点方法 AOT 编译落盘,越用越快)。
4.2 日志里那些名词,分别是什么
排查 ART 相关崩溃时,日志里会反复出现这些名字,它们都是 ART 的组成部分:
| 名词 | 是什么 |
|---|---|
libart.so | ART 虚拟机本体的核心库(C++ 实现)。崩溃堆栈里的 art::ClassTable::Lookup、art::ClassLinker::ResolveField 等都是它的内部函数 |
.dex | 应用字节码格式。Java/Kotlin 源码编译产物,打包在 apk 里 |
.odex / .oat / .vdex | dex 的 AOT 编译产物及校验数据,存在 /system 或 /data 分区 |
boot.art / boot.oat / boot-framework.oat | 启动镜像:系统框架类的预编译产物。boot.art 本质上是一块"预制好的 ART 堆",zygote 启动时整体映射进内存,框架类不需要现场创建 |
/memfd:jit-cache | JIT 即时编译代码缓存(内存文件),运行期热点代码的机器码放在这里 |
ClassLinker / ClassTable | ART 的类加载器与已加载类索引表,按名字查找类时遍历它 |
zygote | 见下节 |
4.3 zygote:所有 Java 进程的母体
Android 启动时,init 进程启动 zygote;zygote 完成两件事:
- 加载启动镜像(boot.art),把整个框架类库准备好;
- 监听 socket,等待命令 fork 出一个个应用进程——设备上所有 Java 进程都是 zygote fork 出来的孩子,fork 时通过写时复制(COW)共享已经准备好的类库,所以应用启动飞快。
由此推出本案黑屏的直接机制:
zygote 反复崩溃 → 所有 Java 应用(包括系统界面 SystemUI、Launcher)无法被创建 → system_server 也无法重启 → 屏幕上没有任何东西可以显示 → 黑屏。
4.4 ART 与存储的关键纽带:mmap 按需分页(本案的题眼)
ART 加载数据的方式非常"懒":boot.art、boot.oat、apk 里的 dex,都是通过 mmap 映射进地址空间的——映射建立时并不真正读取文件内容,只是登记了一段虚拟地址范围。程序执行中真正访问到某个页的数据时,CPU 发生缺页中断(page fault),内核这才去存储(经由页缓存)把该页读进物理内存。
这个机制平时是优点(启动快、按需占用内存),但在存储异常时变成软肋:
- 某个页从存储读不出来(I/O 错误)→ 内核无法提供物理页 → CPU 的访问无法满足 → 内核向进程投递 SIGBUS(BUS_ADRERR) ;
- 某个页读出来了但内容是坏的 → ART 的类元数据变成乱码 → 后续所有依赖这些元数据的指针操作在随机位置崩溃。
这就是"存储读坏数据"在应用层的两种表现形态,本案两种都出现了。所以要理解后面所有崩溃堆栈,只需记住一句话:ART 的类信息、方法表、字节码,都是文件映射进来的,读不到/读错,崩的就表现为"ART 内部崩溃"。
5. 读懂数字信号:SIGSEGV vs SIGBUS
| 信号 | 含义 | 本案中的出现场景 |
|---|---|---|
| SIGSEGV (SEGV_MAPERR) | 访问未映射的地址(含空指针) | HMI 应用:fault addr 0x10——ART 在描述一个堆对象时发现它的类指针是垃圾,解引用崩溃 |
| SIGBUS (BUS_ADRERR) | 地址在合法映射内,但背后的页无法提供——对文件映射而言,就是内核从存储取页失败 | system_server、zygote 的全部崩溃 |
重点说 SIGBUS/BUS_ADRERR:它的语义极其具体,不是"内存坏了"这个笼统说法,而是"这个虚拟地址登记在映射表里,但操作系统拿不出对应的物理页" 。对匿名内存(普通堆)这种情况几乎不会发生;对 mmap 的文件(本案的 boot.art 就在 /system 分区上),它的准确含义就是"存储读取失败"。代码路径本身完全无害——坏的不是指令,是它要读的数据。
6. 把"随机崩溃"变成"确定性故障":页内偏移统计
这是本次排查中最有效的一招,值得单独成节。
疑问:zygote 每次崩溃的 fault 地址都不同(如 0xe0f35171aef6、0xf06d406a9ef6、0xfb4670130347……),看起来像随机故障(内存位翻转的典型表现)。如何区分"随机"和"确定"?
关键知识:ASLR(地址随机化)以 4KB 页为粒度。也就是说,每次 zygote 重启,映射的起始地址会变(所以 fault 地址高位每次不同),但地址低 12 位(页内偏移)不受随机化影响。
把全部 1626 次崩溃的 fault 地址低 12 位做成直方图:
0x347 : 939 次
0xef6 : 687 次
其他 : 0 次
1626 次崩溃,页内偏移只有两个值。 这说明:
- 每次崩溃碰到的都是同一份坏数据的同一个字节位置——完全确定性;
- 如果是 DRAM 随机位翻转,低 12 位应该在 0x000–0xfff 里近似均匀分布(4096 种可能),只出现 2 种值的概率趋近于零;
- 两个偏移值恰好对应两条崩溃路径:
0x347对应主线程RegisterNatives→FindMethod(JNI 注册期),0xef6对应后台线程ClassTable::Lookup(启动类校验期)——两条都是"读取 ART 启动镜像元数据"的必经之路。
至此,"随机内存故障"假说被定量否掉,"特定文件数据损坏"被定量坐实。这一步只需要 logcat,不需要任何额外权限,强烈建议加入排查工具箱。
7. dm-verity 详解
前面所有分析都指向"system 分区数据读出来是坏的",最后的实锤来自内核日志——dm-verity 的报警。要读懂它,需要完整了解这套机制。
7.1 Android Verified Boot 全景
Android 的启动信任链:Bootloader(校验 boot 分区)→ Linux 内核 → 挂载 system/vendor 等分区。这些分区在运行期间应该是只读且不可篡改的——怎么保证"运行时每次读出来的内容和出厂时一模一样"?答案就是 dm-verity:内核 device-mapper 框架下的一个块设备层,位于文件系统与物理存储之间,实时校验每一个读出的数据块。
7.2 在内核中的位置:Device Mapper 框架
dm-verity 是内核 Device Mapper 框架下的一个 target(目标类型)。Device Mapper 是 Linux 块层的映射框架,有三个核心概念:
- 映射设备(mapped device):对上层文件系统呈现的逻辑块设备——本案 dmesg 里的
254:1就是它的大:次设备号(主设备号 254 正是 dm 设备的典型区间); - 映射表(mapping table):描述"逻辑块区间 → 目标"的规则表;
- 目标设备(target device):真正干活的底层设备,也可以是另一个映射设备,允许多层叠加。
LVM2、EVMS、dmraid 等卷管理方案都构建在 Device Mapper 之上。dm-verity 规定恰好两个目标设备:数据设备(存放真实内容的分区)与哈希设备(存放 Merkle 哈希树)。整条读路径为:
文件系统(fs) → dm-verity(校验层) → 块驱动 → 物理块设备(eMMC)
两个对工程选型很关键的特性:
- 按需校验:用到哪个块才校验哪个块,挂载时不需要全量扫描——对 Android 动辄几个 GB 的 system 分区,挂载是秒级的。对比传统"逐文件算 SHA256"的方案(有嵌入式项目实测要多花十几秒启动时间),这是 dm-verity 被选中的核心原因;
- 与文件系统无关:只要文件系统跑在块设备之上即可(ext4 / f2fs / squashfs 均可)。反例是 ubifs——它工作在 UBI 卷(字符设备)上,想用 dm-verity 需要先套一层 ubiblock 转成块设备,再挂只读 squashfs。
7.3 原理:默克尔哈希树(Merkle Hash Tree)
出厂打包固件时:
system 分区按 4KB 切块: [块0][块1][块2][块3]...
│ │ │ │
每个块算一次哈希: H0 H1 H2 H3 ...
\ | | /
哈希每 128 个一组向上合并成上层节点 ……
│
最后汇聚成唯一的【根哈希】
(根哈希被签名,存放在独立的可信位置)
这棵树的收敛速度可以精确算出来:块大小 4KB、哈希算法 SHA256(每个哈希 32 字节),则哈希树上每个 4KB 的"哈希块"能装下 4096÷32 = 128 个哈希。也就是说第 0 层的每个哈希块覆盖 128 个数据块,每向上一层规模缩小 128 倍——一个 4GB 分区(约 100 万个数据块)只需 5 层哈希树、约 32MB 额外空间,树顶收敛为单个根哈希。
运行时,应用读某个数据块:
- 内核读取该块 + 该块对应的哈希,重算比对;
- 哈希不对则向上追一层,逐层验证直到根哈希;
- 根对不上 = 数据被篡改或损坏。
dm-verity 只检测、不修复:校验失败的块按配置的错误处理模式处置(见 7.7)——最常见的是拒绝交付坏数据、向文件系统返回 I/O 错误(EIO) 。这就是"哨兵"的角色:它报警说明数据真的坏了,它本身不是肇事者。
7.4 verity-table:dm-verity 设备的"出生证明"
创建 dm-verity 设备时,用户态通过 ioctl(DM_TABLE_LOAD)或 dmsetup 命令向内核传入一张 verity-table,例如:
dmsetup create vroot --readonly --table \
"0 2097152 verity 1 /dev/sda1 /dev/sda2 4096 4096 262144 1 sha256 <root_hash> <salt>"
各字段依次为:起始扇区与长度、目标类型 verity、版本号、数据设备、哈希设备、数据块大小、哈希块大小、数据块数、哈希树在设备上的偏移、哈希算法(sha256)、根哈希 root_hash、盐 salt。这张表里藏着整棵树的信任锚点——root hash。
7.5 Android 里的工程落地
Android 中这套机制由 /system/core/fs_mgr/ 在系统进入 ramdisk 阶段时搭建:
- 哪些分区要校验:读取 fstab 文件确定;
- verity-table 存放位置:紧跟在文件系统镜像之后(文件系统超级块记录了自身大小,fs_mgr 据此定位);
- root hash 怎么防篡改:对整张 verity-table(含 root hash)做数字签名(如 RSA),公钥存放在 ramdisk 或一次性可编程存储(OTP)等可信位置,签名验证通过才允许加载这张表。
一句话总结这条信任链:签名保护 verity-table → verity-table 里的 root hash 保护哈希树 → 哈希树保护每一个数据块——把 bootloader 阶段的信任一路延伸到运行期的每一次块读取。
7.6 verity-fec:前向纠错层
FEC(Forward Error Correction)是 dm-verity 的可选增强:打包时额外写入 RS(Reed-Solomon)纠错码。运行时某个块哈希校验失败,FEC 先尝试用纠错码把坏位修复,修好了数据照常返回,系统无感。
本案内核日志:
device-mapper: verity-fec: 254:1: FEC 2646016: failed to correct (0 erasures)
逐段解读:块设备 254:1(即 system 分区的 verity 映射设备)上,第 2646016 号块,FEC 纠错失败,(0 erasures) 表示纠错解码器连错误位置都无法定位(损坏程度超出 RS 码纠错能力,或纠错码本身也读坏了)。这条日志从 09:01 到 10:10 大量重复——那片区域反复被读、反复修不回来。
7.7 错误处理模式:verity_mode 决定故障的"长相"
校验失败且 FEC 纠不回来时,内核怎么办?由加载 verity-table 时附带的 verity_mode 决定(内核源码):
enum verity_mode {
VERITY_MODE_EIO = 0, // 对坏块的读取返回 I/O 错误,系统继续运行
VERITY_MODE_LOGGING = 1, // 只记日志、照常放行数据(危险,仅调试用)
VERITY_MODE_RESTART = 2, // kernel_restart("dm-verity device corrupted")
VERITY_MODE_DEFAULT = VERITY_MODE_RESTART
};
- EIO 模式:坏块读取被拦截为 I/O 错误,上层访问该页的进程收到 SIGBUS,系统本身继续运行;
- LOGGING 模式:放行坏数据,仅留日志——绝对不该在生产环境使用;
- RESTART 模式:一旦发现不可纠正损坏,内核直接重启(内核默认值)。另注意:老版本内核的 dm-verity 驱动不支持 mode 参数,行为固定为返回 I/O 错误。
这个配置直接决定了同类故障在用户眼里的样子——回到本案:verity-fec 从 09:01 报到 10:10,系统却一直"活着"黑屏,说明这台车机的 system 分区运行在 EIO 模式(或等价的非重启策略):坏块读取被拦截成 I/O 错误 → 触碰它的进程逐个 SIGBUS,但内核不自杀。如果配置成 RESTART 模式,同样的 eMMC 故障会在 09:01:30 当场触发整机重启,用户感知变成"车机自己重启了一下",而不是"黑屏 68 分钟"。两种策略没有绝对优劣——RESTART 用可用性换安全(坏数据可被使用的时间窗口最小),EIO 保住系统存活但会把存储故障传导成进程级崩溃。对行车中的车机,这是值得产品与安全团队显式权衡的选型,而不是沿用默认了事。
7.8 A/B 双分区:system_a 与 system_b
Android(尤其车机)普遍采用 A/B 无缝升级方案:系统分区做成两套完整副本:
├── boot_a boot_b ← 内核,两份
├── system_a system_b ← 系统主体,两份
├── vendor_a vendor_b ← 厂商组件,两份
同一时刻只有一套在运行(活动槽位,本案是 b 槽);另一套闲置,专门承接 OTA 升级包。升级失败自动回滚旧槽位,怎么升级都变不成砖——对车机这种安全相关部件至关重要。查看命令:getprop ro.boot.slot_suffix(返回 _b 即当前在 b 槽)。
本案坏块位于 system_b(当前活动槽) 。一个佐证价值:system_a 上同样的文件是另一份物理副本、位于 eMMC 不同物理区域,若复现时对比两个槽位读同一文件的哈希(a 正常、b 报错),可直接证明是 b 槽对应的 eMMC 物理区域有问题。
7.9 从 dm-verity 失败到黑屏的完整故障路径
把所有环节串起来,一次"点开页面"的完整悲剧:
用户点击页面
→ 前台应用需要新的类/代码(尚未载入内存)
→ CPU 访问 mmap 的 boot.art/oat 某页 → 缺页中断
→ 内核从 eMMC 读取 system_b 分区对应块
→ 读出的数据哈希与 dm-verity 哈希树不符
→ verity-fec 尝试 RS 纠错 → failed to correct
→ dm-verity 返回 I/O 错误(拒绝交付坏数据)
→ 内核向进程投递 SIGBUS (BUS_ADRERR)
→ 进程死亡;zygote 则是"启动→数秒内死亡→init 重启→再死亡"循环
→ 无任何 Java 应用能存活 → 黑屏
8. 顺带澄清一个高频混淆:eMMC 是存储,不是内存
| 内存 RAM(DRAM) | eMMC(嵌入式闪存存储) | |
|---|---|---|
| 角色 | 办公桌:运行中的程序与临时数据 | 文件柜:系统、应用、地图、日志的长期存放地 |
| 断电后 | 数据全部消失 | 数据永久保留 |
| 本案 | 6.4GB,最初怀疑对象(位翻转),后被页内偏移统计否掉 | 50GB,最终锁定:带自带控制器的 NAND 闪存,system_a/b 分区都在它里面 |
排查这类问题,分清"桌上的数据坏了(RAM)"还是"柜里取出的文件坏了(eMMC)"是第一决策点。本案的分界证据正是第 3 节的崩溃名单 + 第 6 节的偏移统计。
9. 页缓存的掩盖效应:为什么故障"凭空"爆发、断电才好
还有一个反直觉的现象值得解释:故障前 7.5 分钟的日志里,所有系统指标完全健康(内存平稳 83–86%、iowait≈0、磁盘剩余 38GB、某服务 1433 次连续文件写入全部成功、零崩溃零 ANR)。故障没有任何前置征兆。
原因在于内核页缓存:
- 常用文件块早已读进 RAM 缓存,系统平时用的是缓存里的"好副本",根本不碰 eMMC;
- 损坏可能在更早时刻就已发生(某个休眠/唤醒的电源态切换、或运行中的存储读异常),但被缓存掩盖着,无感;
- 直到 09:01:30 用户操作触发首次重新从 eMMC 读取那几个特定块,坏数据才暴露——遥测同时捕捉到特征拐点:iowait 从 0 飙到 7.84%、iops 从个位数飙到 792、系统从"零读取"变为持续读(崩溃风暴 + 反复重启 zygote 重读镜像 + 崩溃转储抓取进程内存的复合读流量);
- 之后 68 分钟里内核不会重新初始化 eMMC(只有整机重启才会),坏状态一直持续;
- 断电重启 → eMMC 控制器复位 + 页缓存清空 → 重新读取 → 数据正常,一切自愈。
这个模型同时解释了:无前置征兆、爆发时刻随机、持续 68 分钟、断电包治百病。
10. 车机特有工况:休眠/唤醒与 eMMC
车机不常关机,而是随车辆上下电做休眠/唤醒。这与 eMMC 故障存在真实关联,也是硬件排查的重要方向:
- 低功耗状态切换时序:休眠时 eMMC 收到 Sleep/断电通知进入低功耗态;唤醒时主机必须严格按时序重新上电、供时钟、复位、重新初始化。时序不合规或信号质量差,唤醒后的 eMMC 处于"半死"状态,典型症状是唤醒后首读报错;
- 供电轨跃变干扰:休眠↔唤醒是整机电源大切换,电压毛刺/跌落可能把 eMMC 控制器打入异常状态;
- 非正常掉电丢写:影响 /data(文件系统),一般不伤只读的 system 分区;
- 物理应力:频繁冷热循环与上电循环对虚焊点不友好,此类问题常在电源态切换后暴露。
验证方法:对齐 MCU/电源状态日志中"最后一次唤醒"与故障爆发的时间差;在存储压力测试中专门加入"休眠唤醒循环 + 冷启动"工况;统计复现是否总在早晨冷车首次用车后(低温+休眠叠加)。
11. 排查方法论复盘(可复用的技巧)
- 先统计崩溃名单,再读崩溃堆栈——"谁崩/谁不崩"的分布往往比堆栈更快定性(本案:崩的=依赖 ART 的,直接锁定方向);
- 崩溃速率统计——恒定 24 次/分钟 = 确定性循环,不是随机故障;
- fault 地址低 12 位直方图——对付"看起来随机"的崩溃,一击定音区分随机位翻转与确定性数据损坏;
- 善用系统遥测拐点——车载监控/数据上报服务里的 iowait、iops、内存快照,是免费的故障示波器(基线 iowait 0% → 故障时 7.84% 且出现持续读);
- 寻找"黑匣子"类服务——屏幕取色、氛围灯联动这类持续采样服务,能独立佐证用户可见现象;
- 崩溃堆栈要读到"机制层" ——"system_server 崩了"没有信息量,"死在给上一个崩溃写日志的线程上"才是线索;
- 区分信号语义——SIGSEGV≠SIGBUS,BUS_ADRERR 的字面意思就是"文件映射页取不到",本案全案 1600+ 次崩溃清一色 SIGBUS,本身就是指向存储的强证据;
- logcat 的 kernel buffer 可能是空的——最终实锤(verity-fec 报错)在 dmesg 里,车机取证要同时抓 logcat + dmesg/pstore + MCU 侧日志三方。
12. 结论与建议
根因链(一句话) :eMMC 上 system_b 分区特定数据块读取损坏 → dm-verity 校验失败、FEC 纠错失败、读取被拦截 → 依赖 ART 启动镜像的进程全部 SIGBUS → zygote 崩溃循环 → 应用世界无法启动 → 黑屏 68 分钟 → 断电重启后 eMMC 复位、缓存重建 → 自愈。
硬件排查方向:
- 排查 eMMC 供电(纹波、跌落)、虚焊(X-Ray/切片)、温度影响;
- 读取 eMMC 健康度寄存器:
/sys/class/mmc_host/mmc0/mmc0:0001/下的pre_eol_info、life_time(寿命接近耗尽或 pre_eol_info≠0x01 即可定性)、manfid(厂商 ID)、fwrev(固件版本)等; - 对存储做哈希漂移测试(含休眠唤醒循环、冷启动工况),确认坏块是否稳定可复现;
- 携带 eMMC 厂商 ID 与固件版本同原厂确认参数配置是否需要优化。
工程侧建议:将 device-mapper: verity-fec: ... failed to correct 纳入车机健康监控告警——它在本次故障中是最早、最明确的硬件级报警,早于用户可见的黑屏 68 分钟,完全可以作为 eMMC 退化/故障的预测信号。同时建议与系统团队复核 verity_mode 的选型(见 7.7):本机的 EIO 模式把存储故障传导成了 68 分钟黑屏,RESTART 模式则会表现为当场快速自重启——两种策略对行车场景的可用性/安全性影响完全不同,应当显式决策。
参考资料
- dm-verity 原理与 Android 集成分析(博客园)
- dm-verity 移植实践与 verity-table 详解(CSDN)
- Android Verified Boot 官方文档;内核源码
drivers/md/dm-verity*.c