Jev 不只是 JSON 分类器:从 Kev 与 Laya 还原其技术路线
文章指出 Jev 是一台把状态映射为概率分布的机器,输入共享 state 与运行时定义的 choice、score、noul 三类问题,直接输出各选项概率且不生成任何输出 token。作者通过 kev 和 laya 两个开源项目还原其技术路线:Laya 基于 BERT 在每个选项前插入 [MASK] 并读取隐藏向量打分,Kev 基于 Qwen 用 block-causal 隔离与 pointer head 并行决策。训练部分为作者推断,涉及 soft label 蒸馏、按题型与选项数分桶的温度缩放、Permutation KL、RPS 损失和 None-of-Above 选项等校准手段。
码jevharnesstool 选择类:Skill Search 这里使用用户query和agent所有候选技能作为输入,判断解决用户问题是否需要使用技能,如果需要应该使用哪个技能。 类似的思路也可以用在mcp search、effort routing、memory search等等。不过model routing在我的使用场景中往往效率提升不明显但质量下降明显,或者推理速度快很多但任务完成速度提升不明显,对场景复杂度的评估需要更全面的上文,所以实现很简单,但效果很难评。 围栏类:LLM Guardrail 拦截用户的各类风险输入和prompt注入,这里提供了9种基础的风险类型,每种风险可以提供不同的处置方案block、review etc。 类似的思路也可以用于模型输出检查、tool call检查etc。 校验类:reference verify 以下适用于inline 引用,提供模型推理段落,inline推理+对应reference正文,判断搜索上文能否支持推理输出。 类似的思路也可以同于ool result校验agent结果,用在loop中检查task completed等等。
匹配字段正文