我们如何为 OpenRouter 构建可自我纠错的本地化系统

Robert Sun ·2026年11月12日

The OpenRouter homepage in Japanese.

OpenRouter 现已支持简体中文、西班牙语、葡萄牙语(巴西)、德语、法语、日语和韩语,以及英语。本地化从今天起进入 beta 阶段。要切换语言,请从账户菜单中选择一种语言,或直接访问类似 openrouter.ai/ja 或 openrouter.ai/ko/models.

The OpenRouter models page in Korean, with filters, tabs, and model metadata translated.

翻译一个网站并让译文保持最新很难,对我们来说尤其如此。OpenRouter 的网站有 16,918 条英文字符串,而且我们每天都会改动其中一些,所以一次性翻译不到一周就会过时。我们构建了一个循环来帮助大规模完成这项工作。每天,它会找出发生变更的字符串,翻译它们,在代码中校验,并由第二个模型对照英文核验含义。当某个译文未通过校验,或核验器将其拒绝时,循环会附上原因将其退回并重试。这个重试循环正是系统中自我纠错的部分。

仍有一些错误会漏过,由人工发现。当审校人员和读者报告错误时,我们会将其转化为术语表规则、风格说明或覆盖项,而每日审核发现的错误也会成为测试用例,未来每个模型都必须通过。整条流水线都运行在 OpenRouter 上。

译文与代码一起存放在 Git 中

在任何模型介入之前,译文需要有一个存放之处。我们使用开源的 General Translation 运行时来包裹 React 代码中的字符串。我们将译文作为 JSON 目录与代码一起提交,并在运行时从本地加载,因此请求路径中不涉及任何翻译服务。一个字符串在合并后的一天内就会被纳入翻译。在此之前,页面显示英文原文。每个译文条目还会存储其英文来源的指纹。当有人修改英文时,指纹不再匹配,该条目就会重新回到队列中。这条规则让每日运行能够找出所有过时的条目,而无需重新翻译整个目录。

流水线

该队列中的每个字符串在到达网站之前都要经过五个阶段。

How a string gets translated: new text goes to a translator model, then code checks, then a verifier model, then review, then live. Failed checks and verifier rejections go back to the translator, and fixes flagged by reviewers or readers go into the glossary.

1. 提取

一个脚本会扫描前端,并将每个被包裹的英文字符串写入源目录。每个条目都会记录其所在文件及其 UI 角色,例如按钮、标题或表头。角色很重要,因为同一个英文单词在不同位置可能需要不同的译文。按钮上的“Queue”是一条指令,而本文后面提到的一个缺陷,就是模型把它当作名词来翻译。

2. 翻译

我们将新增和变更的字符串分批发送给 GPT-6.1 Sol,每批最多 40 条,并使用 结构化输出 来按严格的 JSON schema 保存回复。每个请求都带有我们的全局和分语言风格说明、批次中任何产品术语的术语表规则,以及每个字符串的 UI 角色。

以下是一个简化的翻译请求示例,针对一个日语批次,风格说明和术语表规则已作删减。

{
  "model": "openai/gpt-6.1-sol",
  "messages": [
    {
      "role": "system",
      "content": "Translate OpenRouter UI strings into Japanese. ..."
    },
    {
      "role": "user",
      "content": "[{\"id\":\"q1\",\"role\":\"button\",\"text\":\"Queue\"}]"
    }
  ],
  "response_format": {
    "type": "json_schema",
    "json_schema": {
      "name": "translations",
      "strict": true,
      "schema": {
        "type": "object",
        "properties": {
          "translations": {
            "type": "array",
            "items": {
              "type": "object",
              "properties": {
                "id": { "type": "string" },
                "text": { "type": "string" }
              },
              "required": ["id", "text"],
              "additionalProperties": false
            }
          }
        },
        "required": ["translations"],
        "additionalProperties": false
      }
    }
  }
}

由于 OpenRouter 上的每个模型都接收相同的请求,因此尝试不同的翻译器只需更改模型 slug。这就是我们在本文后面进行模型对比的方式。

3. 校验

代码会拒绝破坏 ICU 占位符、复数分支、富文本标签或首尾空白的回复,也会拒绝以术语表禁止的形式呈现产品术语的回复。我们会把被拒绝的批次拆成更小的片段重新发送,并说明失败原因,默认最多重试 4 轮。该上限是一个可调设置,最高可设为 20。在最后一轮之后仍然失败的字符串会保留英文,并在拉取请求中被标记出来。

4. 校验

对同一模型的第二次调用充当校验器,它会对照英文阅读每一条译文,并按严重程度列出错误。任何严重或重大错误,例如漏译从句或意思颠倒,都会把该字符串连同迄今为止的所有异议一并退回给翻译器。翻译器在首次尝试之后最多可重试 3 次,最后一次重试会投入更多的推理力度。每个字符串的花费没有单独上限,因为重试次数限制已经对其形成了约束。算上校验重发,一个字符串最多可经历四次翻译尝试,每次尝试最多进行四轮校验,外加每次尝试后的一次校验器调用。这样最坏情况下,每个字符串每种语言大约需要 20 次模型调用。如果校验器宕机,流水线不会写入任何内容,该字符串会保持英文。读者看到一天英文,也好过看到一条未经校验的译文。

5. 回顾

每个每日批次都会以一个拉取请求的形式提交。AI 审核员阅读差异并发布发现的问题,然后由人工合并该拉取请求。

我们如何衡量

本文余下部分依赖三套评测套件,因此在数字出现之前,先了解每套套件测试什么会有所帮助。

  • 模型对比(254 个用例) 用不同的翻译模型运行流水线,并用生产校验器为每条回复打分。我们用它来选择翻译器。
  • 流水线对比(454 个用例) 将同一个模型运行两次,一次走完整流水线,一次只用两行提示词。代码校验、校验器、来自另外三个模型家族的评判,以及回译检查都会为其打分。
  • 缺陷套件(22 个用例) 包含每日审核在验证器放行后发现的真实错误。每个案例都禁止已上线的那个错误。

我们尝试过又放弃的方案

现在这条流水线看起来很简单,因为一旦评测衡量出初版设计中有三个部分的问题,我们就把它们去掉了。

更便宜的翻译器

我们首先测试了一个更小、更便宜的模型 GPT-6 Luna(openai/gpt-6-luna)。在模型对比中,它首次尝试就通过了 91.7% 的用例,而 GPT-6.1 Sol 为 99.2%。它最弱的语言是韩语和日语。它最严重的失败是那些我们的翻译框架 General Translation 无法编译的回复,例如它对“Legacy alias of {value}”的翻译。这些失败在每次重试中都持续存在。

较重的模型成本约为后者的3.4倍,在这254个用例中分别为1.94美元和0.57美元。我们愿意承担这个差价,因为一个始终无法收敛的错误字符串,修复起来比一开始就做对要花费更多时间和精力。

一个独立的评判模型

在验证器出现之前,我们用一个独立的评判模型为每条译文打分,凡是它标记为有问题或不确定的内容,我们都会重新翻译。为了检验它的效果,我们用一个基准测试集进行了标注,其中包含三类字符串:已知错误、修正后的译文(即对早先错误手工修复后的版本,理应通过)以及一个干净样本。评判模型确实抓到了真实存在的问题。在一次基准测试运行中,它将该次运行中 91% 的真实缺陷标记为不确定。它还把 14 条修正译文中的 11 条、以及 150 条干净样本中的 42 条标记了出来,因此它把大量本来合格的成果退回重译。

在验证器就位后,关闭评判模型使首次通过准确率从99.2%降至98.8%,最终结果保持不变。评判模型此前会将约45%的初稿退回重译。我们现在默认将其关闭。

把难以处理的字符串留给人工

起初,验证器在每次重试时都拒绝的某个字符串会一直保持未翻译状态,直到有人手动修复它。对目录进行完整重译——16,274 条字符串译成 7 种语言——后,仍留下 97 条这样的字符串(0.09%)。现在,流水线会按验证器的发现对遭拒绝的草稿进行排序,提交错误最少的那一版,并在拉取请求中标记出来以供审核。这个循环最终总会产出一个译文,即使该译文仍带有被标记的错误,而标记会让它呈现在合并拉取请求的人面前。

流水线在裸模型之外额外带来的改进

流水线带来的改进,大部分是明显错误变少了。为了衡量这一点,我们的评测让同一个模型对454个用例各跑两遍,一遍走完整流水线,一遍只用两行提示词,不带风格说明、术语表,也不重试。裸模型返回了一条格式错误的回复,剩下453对可供比较。

衡量裸模型完整流水线
未通过术语表或人工编写检查453 条中的第 147 条454 条中的第 4 条
验证器首次通过即接受通过校验的306条中有263条(85.9%)454 条中的 448 条(98.7%)
其他模型家族的三个评判模型合计发现的严重错误203109
双方在整体偏好上各自获胜的配对数量117139
含义在回译后保持不变90.8%89.3%

人工编写的检查是针对单个评测用例手写的规则。例如,中文里的“Queue”不能译成“队列”,也就是已上线版本中使用的名词形式。检查失败数从147降到4,这正是术语表和重试机制在发挥作用。

验证器首轮统计所用的基数不同。对于裸模型,基数是306条通过代码校验的字符串;对于流水线,基数是全部454条。验证器与翻译器来自同一模型家族,因此其通过率反映的是模型与自身判断一致的程度。两项工作我们都使用 GPT-6.1 Sol,因为在我们测试过的两个翻译器中它更准确。为了获得外部视角,评测还会把每一对译文在不加标注的情况下发送给来自其他模型家族的三个评判模型:Claude Opus 5.5、Gemini 4 Argon 和 DeepSeek V4 Pro。三个评判模型合计在流水线输出中发现109处严重错误,在裸模型输出中发现203处。每个评判模型发现的错误分别计数,因此三个评判模型都标记的同一字符串会在总数中计为三处。

在453对译文的整体偏好上,评判模型有139次选择了流水线,117次选择了裸模型,另有61对平局,136对的两份译文完全相同。这一差距远小于检查失败数和严重错误所显示的差距,因此流水线的价值主要在于它消除了那些具体的错误。

最后一行将每条回复回译成英文,并询问含义是否保留。裸模型得分为90.8%,流水线为89.3%。回译无法看出术语或语域,而这正是流水线所改变的主要内容,因此我们将这一结果视为平局。

反馈闭环

验证器在大多数错误上线前将其拦截,其余错误中的一部分则由读者发现。

Highlighted text on the Japanese homepage with the popover for sending feedback on it.

在“语言”对话框中开启“选择即报告”,然后高亮任意译文,添加备注并发送。每份报告都会附带语言、页面和确切的文本。模型会先对其进行分诊,从四种修复方案中选择一种,并在几分钟内上线修复。我们的 AI 审核员会检查该修复,最后由人工完成最终合并。

  • 含义错误。 同一天该字符串又回退成英文,随后得到修正后的译文。
  • 术语错误。 我们将该词条连同该语言可接受的译法和应拒绝的译法一起加入术语表。我们会固定 HIPAA、SOC 2、OAuth 和 SAML 等合规与协议名称,使流水线将它们保留为英文。
  • 语气或标点错误。 该规则会写入该语言的风格说明中。
  • 一条糟糕的字符串。 精确覆盖会锁定已批准的措辞,之后任何运行都无法更改它。

每日审核在验证器放行之后发现的错误会进入缺陷套件。目前该套件已有22个案例。其中包括把按钮上的“Queue”译成名词而此处需要动词、把“shadow traffic”译成道路交通,以及一个含义被颠倒的HIPAA设置。每个案例都禁止曾经上线的那处错误,因此未来任何模型、提示词或术语表的改动只要让它重新出现,评估就会失败。

成本是多少

我们最初定价时,将全部16,274条字符串完整重译为7种语言、共计113,918条译文,包含翻译与校验在内,费用约为430美元。我们得出这一数字的方法是:按每种语言的生产规模批量定价,再按比例放大。折算下来,每条字符串每种语言不到半美分。校验费用略高于一半,约为228美元,即每条字符串每种语言0.002美元。此后目录已增长至16,918条字符串,如今将其完整重译一次约需460美元。每日循环只发送发生变更的内容,某一天有677条变更字符串、涉及7种语言时,费用约为18美元。

这两个数字仅涵盖翻译和校验调用。它们不包括搭建流水线的工程时间、AI 审核员和分诊模型发起的调用,以及每天合并每个拉取请求的人员。

如今这 16,918 条字符串包含 136,429 个英文单词,因此 7 种语言合计 955,003 个单词,这使我们的成本约为每词 0.0005 美元。以下是按 Smartling 和 Gengo 公布的每词起价计算的同样完整重译费用,价格截至 2026 年 11 月 10 日。

选项费率全站,7 种语言
我们的流水线、翻译与校验约每词 0.0005 美元约 460 美元
Smartling 机器翻译每词 0.0075 美元约 7,200 美元
Smartling AI 翻译每词 0.06 美元约 57,300 美元
Gengo Advanced每词 0.09 美元约86,000美元
Smartling 人工翻译每词 0.12 美元约 114,600 美元
Gengo Advanced每词 0.18 美元约 171,900 美元
Smartling 人工翻译每词 0.20 美元约 191,000 美元

以上是标价;企业合同价格需另行协商,而且上表中每一行机器翻译都包含人工审核或项目管理,而我们的数字并未计入这些成本。最接近的同口径选项是 Smartling 的机器翻译,而我们的流水线成本约为其 6%。

哪些部分可以复用

如果你是在为自己的产品做本地化,这个设计中有四个部分可以直接沿用。

  • 将每条译文与其英文源文进行指纹比对,这样过时的条目就会自动重新排队。
  • 让代码在任何模型审查含义之前,先拒绝损坏的占位符、复数分支、标签和禁用术语。
  • 使用一个能指出每个错误及其严重程度的校验器,并将这些异议发回给译者。
  • 把每个人发现的每个错误都转化为术语表规则、风格说明、覆盖设置或评测用例。

向我们发送您的反馈

在 beta 阶段,部分措辞可能不够准确,最快的修正方式是通过语言对话框中的“选择并报告”功能进行反馈。我们会审核每一份报告,并将其转化为术语表规则、风格说明或覆盖设置。

常见问题

OpenRouter 支持哪些语言?

OpenRouter 提供英语、简体中文、西班牙语、巴西葡萄牙语、德语、法语、日语和韩语版本。本地化目前处于 beta 阶段。

如何更改 OpenRouter 上的语言?

从账户菜单中选择一种语言,或打开本地化地址,例如 openrouter.ai/ja。

哪些模型为 OpenRouter 提供翻译?

GPT-6.1 Sol(openai/gpt-6.1-sol)负责翻译每个字符串,随后对同一模型的第二次调用会对照英文进行校验。两者均通过 OpenRouter API 运行。

翻译整个网站需要多少钱?

将今天这 16,918 条字符串完整重译为 7 种语言,含翻译与校验在内,成本约为 460 美元,即每条字符串每种语言不到半美分。同样的工作在 Smartling 公布的机器翻译费率下约需 7,200 美元,而在公布的 AI 翻译和人工翻译费率下约需 57,300 美元至 191,000 美元。

如何报告错误的翻译?

在“语言”对话框中开启“选择并报告”,高亮显示有误的文本,添加备注并提交。