6. 细节补充与下一步任务介绍

最近我的工作主要围绕云端 ASR 的 L2 Router 展开，核心目标是在保证最终识别字准的前提下尽可能降低 LLM 调用率。在此之前的文章重点介绍了 ED、CTC、Beam Search、N-best、Token 置信度、FA、RAG 等 ASR 内部信息，并将 Router 的目标从“判断 ED 是否错误”逐步转向“判断 LLM 是否真正有收益”，以更贴近实际业务需求。补充一个细节信息，对于云端路由（LGB模型），即使训练集的比例不合理，也不适合进行过采样，直接进行1：1.5的下采样即可。同时，近期在训练集中加入了部分难集数据，训练的结果有所提升，所以感觉数据才是目前真正缺乏的东西。但是未来模型算法上线也是在现网数据集上进行测试，不知道现在的方法的子准能不能正常保持。
近期，我在探索基于灰度区的二级路由：对于一级模型高置信样本直接使用 ED，低置信样本直接调用 LLM，而在决策边界附近再结合特征进行二次筛选。模型方面，当前以LightGBM为主，也在对比 XGBoost、CatBoost、SVM 等方法，但相比单纯替换模型。整体来看，这项工作的本质并不是简单做一个二分类器，而是在 Accuracy、Latency 和 Compute Cost 之间进行风险估计与智能调度。下一步的任务将会变得困难，需要多次尝试，估计要炼丹很久，主要目的是在保持字准不变的前提下，使得模型的LLM调用率得到控制。