人工智能

使用 Kimi Code CLI 调用 Amazon Bedrock 上的模型

Kimi Code CLI 是由 Moonshot AI 开源的编码智能体;Moonshot AI 也是 Kimi 系列开放权重基础模型的开发者。此前,要使用 Kimi Code 调用 Amazon Bedrock 上的模型,需要使用 Amazon Bedrock API 密钥配置一个通用连接“提供商”。对许多 AWS 客户而言,这意味着要额外获取并保护一项凭证。

在 v2.7.0 中,Moonshot AI 为该 CLI 新增了原生 bedrock 提供商。现在,您可以配置该智能体使用标准 AWS 凭证链,包括命名配置文件和单点登录(SSO),而无需另行创建和管理 API 密钥。

本文将介绍如何使用现有 AWS 凭证,将 Kimi Code CLI 连接到 Amazon Bedrock 上的模型。我们以 Kimi K3.1 Pro Highspeed 为例,该模型支持流式传输、可配置推理、图像输入和客户端工具调用。

新增功能

Amazon Bedrock 为多家领先提供商的各种开放模型和专有模型提供按 token 付费的推理服务,并可通过 标准 API使用。数据处理会保留在 AWS 数据边界内,具体说明请参阅用户指南的 数据保护 部分。 模型卡 详细说明了每个模型支持的 API 和功能。

在旧版 Kimi Code CLI 中,您可以通过使用 type = "openai" 或 type = "openai_responses"的提供商连接 Amazon Bedrock。它们分别使用与 OpenAI 兼容的 Chat Completions 或 Responses API。采用这种方式时,您需要设置区域性 base_url 并提供一个 Amazon Bedrock API 密钥。该密钥可以是短期密钥或长期密钥,但它是一项需要您另行获取和管理的凭证。

原生提供商改变了这一配置方式:

  • 使用现有的 AWS 身份验证工作流。 该 bedrock 提供商可以通过标准 AWS 命令行界面(AWS CLI) 凭证链解析临时凭证。您可以使用默认凭证链,也可以选择命名配置文件,包括由 SSO 支持的配置文件。
  • 如有需要,可为每个模型覆盖协议。 提供商会根据模型 ID 推断 API 格式和区域端点,但您可以按照本文“覆盖端点 URL 和协议”一节中的说明进行更改。

AWS 建议使用短期凭证而非长期凭证。这种新方式减少了对手动管理 API 密钥的依赖,但您仍有责任保护 AWS 凭证并适当限定权限范围。

工作原理

原生提供商通过以下四个步骤处理身份验证和请求路由:

  1. 解析 AWS 凭证。 除非您配置了 Amazon Bedrock API 密钥,否则 bedrock 提供商会使用您环境中的标准 AWS 凭证链。您可以设置 AWS_PROFILE 来选择特定的 命名配置文件.
  2. 生成短期 bearer token。 提供商使用 @aws/bedrock-token-generator 创建短期 Amazon Bedrock API 密钥,并在必要时续期。您无需在 Kimi Code config.toml中放入任何 AWS 访问密钥或手动生成的 Amazon Bedrock 密钥。不过,如果您通过 api_key 或 api_key_env 提供显式密钥,则该密钥优先。
  3. 构建区域端点。 提供商会解析 AWS_REGION 或 AWS_DEFAULT_REGION 并为模型所推断的 API 构建相应的 bedrock-runtime 端点。对于 Kimi 模型,这会解析为推荐的、与 OpenAI 兼容的 Chat Completions 路径。
  4. 调用选定的推理配置文件。 模型别名会映射到 Amazon Bedrock 模型或 推理配置文件 ID。本示例使用全局推理配置文件 global.moonshotai.kimi-k3.1。 global. 前缀用于选择该配置文件,而 AWS_REGION 则决定接收请求的区域端点。

随后,CLI 会以流式方式返回模型响应,并可在编码任务期间使用模型的客户端工具调用支持。只有身份验证、授权、模型访问权限和网络连接全部成功,请求才能完成。提供商生成的临时 API 密钥有效期最长为 12 小时,或与您的 AWS 会话时长相同,以较短者为准。

先决条件

在本演练中,我们以 Kimi K3.1 Pro Highspeed 为示例模型,并通过 全局跨区域推理 进行访问,以获得最广泛的可用性和最低成本。使用该模型前,请查看 Amazon Bedrock 定价 以了解预期费用。

要完成本演练,您需要:

  • 一个 AWS 账户,并且该账户能够在受支持的源 AWS 区域中访问目标模型和推理配置文件。请查看 Kimi K3.1 Pro Highspeed 模型卡 以了解当前支持的区域和推理配置文件。
  • Kimi Code CLI v2.7.0 或更高版本。按照 Kimi Code CLI 安装指南 操作,并运行 kimi --version 以检查安装情况。
  • 还需要 AWS CLI,以便执行本文中的配置文件和身份检查命令。可选的 aws login 工作流需要 AWS CLI v2.32.0 或更高版本。
  • 一个 AWS 身份与访问管理(IAM) 身份(用户或代入的角色),并具有在所选 AWS 区域中调用目标模型和推理配置文件的权限。

以下 IAM 策略 仅针对 Kimi K3.1 Pro Highspeed 模型和全局推理配置文件,授予本演练所使用的权限。请将 ${AWS_REGION} 替换为您的源区域(例如,将 us-west-2 用于美国西部俄勒冈区域),并将 ${AWS_ACCOUNT_ID} 替换为您的 12 位 AWS 账户 ID:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "BedrockShortTermBearerToken",
      "Effect": "Allow",
      "Action": "bedrock:CallWithBearerToken",
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "bedrock:bearerTokenType": "SHORT_TERM"
        }
      }
    },
    {
      "Sid": "BedrockReadKimiK31InferenceProfile",
      "Effect": "Allow",
      "Action": "bedrock:GetInferenceProfile",
      "Resource": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
    },
    {
      "Sid": "BedrockInvokeKimiK31GlobalProfile",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
    },
    {
      "Sid": "BedrockInvokeKimiK31ModelsThroughGlobalProfile",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:${AWS_REGION}::foundation-model/moonshotai.kimi-k3.1",
        "arn:aws:bedrock:::foundation-model/moonshotai.kimi-k3.1"
      ],
      "Condition": {
        "StringEquals": {
          "bedrock:InferenceProfileArn": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
        }
      }
    },
    {
      "Sid": "BedrockInvokeKimiK31DefaultProject",
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel"
      ],
      "Resource": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:project/default",
      "Condition": {
        "StringEquals": {
          "bedrock:ModelArn": "arn:aws:bedrock:${AWS_REGION}:${AWS_ACCOUNT_ID}:inference-profile/global.moonshotai.kimi-k3.1"
        }
      }
    }
  ]
}

基础模型 ARN 有意不包含区域或账户 ID,这是全局跨区域路由所必需的。 BedrockInvokeKimiK31DefaultProject 语句仅在使用 openai_responses 协议时才需要;使用默认的 openai (Chat Completions)时不需要。

AWS 环境的安全是一项 共同责任。请按照 最小权限原则,尤其是在生产环境中。请考虑为 Kimi Code CLI 使用专用的 IAM 角色 ,并将其与您日常的 AWS 活动分开。

开始使用 bedrock 提供商

先决条件准备就绪后,请按照以下步骤配置 AWS 身份验证、添加提供商和模型,并发送测试请求。

步骤 1:配置 AWS 凭证

有 多种使用 AWS CLI 进行身份验证的方式,具体取决于您组织的设置。通过 命名配置文件,您可以配置多个 AWS 上下文并在它们之间切换。

例如:

  • 如果您通过 AWS IAM 身份中心使用 SSO,请运行 aws configure sso --profile YOUR_PROFILE_NAME 来设置配置文件,然后运行 aws sso login --profile YOUR_PROFILE_NAME 进行身份验证。
  • 要在 AWS CLI v2.32.0 或更高版本中使用 AWS 管理控制台凭证,请运行 aws login --profile YOUR_PROFILE_NAME。该 控制台凭证登录指南 还介绍了一种 credential_process 配置,适用于不直接支持缓存登录会话的工具。
  • 省略 --profile 参数,以使用默认 AWS 配置文件,而不是命名配置文件。

无论选择哪种方法,您的会话最终都会解析为一个 IAM 身份(用户或角色),该身份需要具备先决条件中所述的 Amazon Bedrock 权限。在 AWS CLI 配置文件中配置的区域适用于 AWS CLI 命令,但您仍须在步骤 2 中为 Kimi Code 显式设置区域。

验证 AWS CLI 是否解析为您预期的身份。如果使用默认配置文件,请省略 --profile YOUR_PROFILE_NAME :

aws sts get-caller-identity --profile YOUR_PROFILE_NAME

步骤 2:添加提供商和模型

  1. 在文本编辑器中打开或创建 ~/.kimi-code/config.toml 。如果您设置了 KIMI_CODE_HOME, 请使用 $KIMI_CODE_HOME/config.toml 。如果已有文件,请先备份,并将这些条目与当前设置合并,而不要覆盖无关的提供商或模型。
  2. 将 YOUR_SOURCE_REGION 替换为受支持的源区域(例如 us-west-2)。要使用命名配置文件,请替换 YOUR_PROFILE_NAME 并取消注释 AWS_PROFILE 行:
    default_model = "bedrock-kimi-k3-1"
    
    [providers.bedrock]
    type = "bedrock"
    
    [providers.bedrock.env]
    AWS_REGION = "YOUR_SOURCE_REGION"
    # AWS_PROFILE = "YOUR_PROFILE_NAME"
    
    [models.bedrock-kimi-k3-1]
    provider = "bedrock"
    model = "global.moonshotai.kimi-k3.1"
    max_context_size = 1000000
    capabilities = ["always_thinking", "thinking", "image_in", "tool_use"]

    模型别名 bedrock-kimi-k3-1 是 Kimi Code CLI 使用的本地名称。model 值是 Amazon Bedrock 全局推理配置文件 ID。该示例声明了 100 万 token 的上下文窗口,并明确指定了推理、图像输入和工具使用能力。它省略了 api_key, api_key_env,以及 AWS_BEARER_TOKEN_BEDROCK,因此该提供商会使用环境中的 AWS 凭证。已配置的 Amazon Bedrock 密钥将优先使用。

  3. 保存文件。 [providers.bedrock.env] 表会向提供商提供配置。它不会将变量导出到您的 shell 中。

步骤 3:发送请求并启动编码会话

  1. 运行一个小型的非交互式编码请求:
    kimi --model bedrock-kimi-k3-1 --prompt "Write a Python function that checks whether a string is a palindrome. Include a short usage example."
  2. 确认 CLI 能够流式返回响应,且不会出现身份验证、授权、区域、模型访问权限或网络错误。与提供商状态指示器相比,此请求能提供更有意义的连通性检查。
  3. 在项目目录中启动交互式会话:
    cd /path/to/your/project
    kimi

    由于您设置了 default_model,会话会自动选择 bedrock-kimi-k3-1 。让智能体解释该代码仓库或提出一项小改动。在批准之前,请审查其建议的文件修改和 shell 命令。

配置最佳实践

在撰写本文时,原生 Bedrock 提供商在配置方面有若干注意事项。遵循这些做法有助于避免状态信息含糊不清以及设置不匹配。

使用配置文件设置提供商

在撰写本文时,Kimi Code 的桌面端和网页端提供商创建界面尚未显示此凭证链设置所使用的全部提供商环境字段。请直接编辑 config.toml 以设置 Amazon Bedrock 提供商。有关更多详细信息,请参阅 Kimi Code 文档中的模型提供商 。

明确声明模型能力

Kimi Code 不会自动检测 Amazon Bedrock 上大多数模型(包括 Kimi 模型)的能力。请查看每个目标模型的 Amazon Bedrock 模型卡,并明确声明其能力,以便 Kimi Code 使用这些能力。

例如, Kimi K3.1 Pro 高速版 支持 always_thinking, thinking, image_in,以及 tool_use,但不支持 audio_in 或 video_in,这一点也反映在前文展示的 config.toml 示例中。

这些声明描述了客户端行为。对于每个目标模型和 Amazon Bedrock API 端点,您应仅包含其支持的能力。请为您的应用程序验证工具和图像工作流,而不要仅依赖能力标签。

保持区域设置一致,并尽可能优先使用跨区域推理

Bedrock 提供商要求明确指定 AWS_REGION 或 AWS_DEFAULT_REGION (在 Kimi Code 的 中) config.toml 或 shell 环境。它无法推断仅在其中配置的区域 ~/.aws/config ,或通过 aws configure.

当您使用跨区域推理配置文件(其前缀如 global., us.,或 in.)时,所配置的 Kimi Code 区域控制接收您请求的源区域。有关更多信息,请参阅 跨区域推理 (位于《Amazon Bedrock 用户指南》中)。

对于没有数据驻留要求的工作负载,请从全球推理配置文件开始。与许多其他模型一样,此模型通过全球推理调用时的价格比通过地理区域配置文件调用低 10%。请查看 Amazon Bedrock 定价 ,了解当前费率和可选地理区域。

根据需要覆盖端点 URL 和协议

在某些情况下,提供商的自动检测功能可能会误判您希望用于特定模型的 API 协议或目标 URL。例如,要通过 VPC 端点使用 Amazon Bedrock,您需要设置不同的 URL;Mantle 端点也是如此。 VPC 端点 或 Mantle 端点.

在 Kimi Code 中 config.toml,您可以:

  • 将 protocol 字段设置为 openai (Chat Completions), openai_responses或 anthropic (Messages),以将模型配置为使用特定的受支持传输协议。请参阅 模型卡片 ,了解哪些模型支持哪些 API。
  • 设置 base_url 字段来更改目标 URL,该 URL 必须包含任何附加的 API 路径,例如 /openai/v1 或 /anthropic.

在以下示例中,我们展示了一项配置,用于连接到同一模型,但通过 Amazon Bedrock 使用 OpenAI Responses API: VPC 端点 ,您已设置:

[models.bedrock-kimi-k3-1]
provider = "bedrock"
model = "global.moonshotai.kimi-k3.1"
max_context_size = 1000000
capabilities = ["always_thinking", "thinking", "image_in", "tool_use"]
protocol = "openai_responses"
base_url = "https://vpce-EXAMPLE-VPCEID.bedrock-runtime.us-west-2.vpce.amazonaws.com/openai/v1"

将连接状态视为配置指示信息

在 Kimi Code 桌面版和 Web 应用中,提供商列表可能会显示 connected 对于 bedrock 提供商显示为已连接。该状态并不能验证所配置的 AWS 凭证、IAM 权限、区域、模型访问权限或网络路径。不要将其视为模型请求成功的证明。请使用非交互式提示测试完整链路,如果失败,则诊断实际响应。

清理

如果您为在 Amazon Bedrock 上试用 Kimi K3.1 Pro 创建了新的 AWS IAM 身份或分配了新权限,请记得在测试完成后将其删除。

您可能还需要还原您设置的所有本地 Kimi Code CLI 提供商配置或 AWS CLI 配置文件。如果不再需要这些 CLI,您甚至可以将其完全卸载。有关详细信息,请参阅 Kimi Code 和 AWS CLI 的卸载指南。请记住,删除本地 AWS 配置或 CLI 本身并不会撤销 IAM 权限或终止有效的 AWS 会话。

我们展示的这些模型,其 Amazon Bedrock 推理服务按 token 计费,因此无需清理任何持续部署的云基础设施。

结论

我们展示了 Moonshot AI 在 Kimi Code CLI v2.7.0 中的原生 bedrock 提供商如何通过标准 AWS 凭证链连接到 Amazon Bedrock 上的 Kimi K3.1 Pro Highspeed。您不再需要单独管理 Amazon Bedrock API key。

Amazon Bedrock 让您能够通过标准 API 访问领先提供商的开放式和专有 AI 模型。其治理控制和 合规性验证 计划甚至可以支持受到严格监管的工作负载。

如果您已经在使用 Kimi Code CLI,并希望在 AWS 上运行推理,请立即升级并试用全新简化的身份验证方式。

有关 Amazon Bedrock 上 Kimi K3.1 Pro 的更多信息,请参阅我们的 发布博客文章 以及 Moonshot AI 的 AWS 示例代码仓库。要了解各模型支持的 API 和功能,请参阅 模型卡片 (位于《Amazon Bedrock 用户指南》中)。如需与 Amazon Bedrock 团队讨论您的使用案例,请 联系我们.


关于作者