TensorZero提出代码助手自动评估方法
TensorZero 提出一种基于 Git 提交自动评估 AI 编程助手的方法:用 tree-sitter 将代码解析为语法树,再用树编辑距离(TED)衡量 LLM 生成代码与提交代码的差异,从而为 Cursor 等编码智能体的推理结果生成反馈。该方案开源,可在已部署 Cursor 集成的机器上运行。随后,TensorZero 团队把自研开源框架作为自托管代理接入 Cursor,成功观测并改写 Cursor 发往 LLM 的 API 调用。他们发现 Cursor 会先请求自家服务器再发起 LLM 调用,因此本地网关无法直连,最终用 Ngrok 加 Nginx 反向代理并处理 CORS 才打通链路。作者看到 Cursor 用于问答的系统提示词仅 642 token,并已用 Claude 4.0 Sonnet、GPT-4.1、o4 Mini 和 Gemini 2.5 Pro 做等比例随机分流测试。
匹配字段摘要