在MCU上折腾模型压缩，那真是一场硬仗存储空间就那么点儿，算力紧巴巴得像被掐住了喉咙，模型不断增加，根本别想跑起来。分享几个我亲测有效的方法，还有那些踩过的坑，保证真实到扎心。
剪枝说白了就是砍掉模型里那些不怎么使用的参数或通道。但别一上来就暴力去除，我之前试过直接按比例砍掉绝对值小的参数，结果模型直接瘫痪，精度掉得比跳楼还快。后来学聪明了，先给参数规范去除，比如用梯度衡量每个参数对输出的贡献，或者统计卷积通道的输出激活值，把那些长期“躺平”的通道揪出来砍掉。
量化就是把32位浮点参数转成8位甚至更低精度的整数，相当于把庞大的东西塞进有限的空间里。存储空间直接砍掉75%，计算速度还能飙升。但别以为这是无损压缩——量化误差就像个隐形杀手，稍不注意就让你模型精度崩盘。
我试过两种量化方法：一种是训练后量化PTQ，直接拿训练好的模型，统计参数分布范围，按比例缩放到整数区间。简单是简单，但低比特比如4位时精度掉得像坐滑梯；另一种是量化感知训练QAT，在训练时就模拟量化效果，让模型提前适应低精度计算。比如有个目标检测任务，用QAT把模型从浮点转成8位整数，精度几乎没变，但推理速度快了3倍，存储从500KB缩到150KB，香得不行。
但坑也在这儿——不同硬件对量化的支持天差地别。有次我用某款MCU，它的硬件乘法器只支持8位整数，量化到4位反而要拆成两次8位运算，速度直接变慢，气得我直拍桌子。所以量化前必须先摸清硬件的脾气，否则就是白费力气。
工具链，选对帮手，但别当甩手掌柜，自己手写量化或减代码，那真是调参调到头秃。用成熟的工具链能省一半力气，TensorFlow Lite for Microcontrollers，它的模型转换工具能自动处理量化，还支持多种MCU后端；TinyML的库CMSIS-NN针对ARM Cortex-M系列做了深度优化，量化后的卷积操作能用硬件乘法器加速，快得飞起。
但工具链也不是万能钥匙。有次我用TensorFlow Lite量化一个语音识别模型，转换后模型大小确实缩了，但推理时频繁触发硬件的看门狗定时器——原来工具链生成的代码没考虑MCU的实时性，某些循环耗时太长，差点把系统搞崩。后来我改用手动优化循环结构，才解决问题。所以工具链能用，但别全依赖它，关键时候还得自己动手救火。
最惨的一次是为一个手势识别任务压缩模型。原始模型准确率95%，为了塞进48KB的Flash，我先剪枝50%，再量化到8位，最后用工具链去掉所有冗余操作。结果模型大小缩到45KB，但推理时输出全是噪声——原来剪枝时把关键的特征提取通道砍掉了，量化又放大了误差，模型直接废了，气得我差点把开发板摔了。
压缩不是越瘦越好，得在精度、速度和存储间找平衡。现在每次压缩前，我都会先定个底线准确率不能低于90%，再逐步调整策略，同时用交叉验证监控每一步的效果。毕竟，模型压缩的终极目标不是“瘦”，而是瘦得有用——能在MCU上跑起来，还能跑得稳、跑得准，才是硬道理。
|
|
