在 LiteLLM 中使用 6bee.ai

LiteLLM 通过 OpenAI 兼容通道连接 6bee.ai：模型名前加 openai/，再传入接口地址。

开始之前

用已验证的邮箱注册账户，预付费充值后，在控制台的「API 密钥」页创建密钥，并妥善保管。

模型 ID 可以在控制台查看，也可以用 GET https://api.6bee.ai/v1/models 获取。把 <模型 id> 换成其中一个。

Python SDK

app.py

from litellm import completion   # pip install litellm

reply = completion(model="openai/<模型 id>", api_base="https://api.6bee.ai/v1",
                   api_key="<你的密钥>", max_tokens=2048,
                   messages=[{"role": "user", "content": "解释这段报错堆栈"}])
print(reply.choices[0].message.content)

openai/ 前缀用来选择 OpenAI 兼容通道，不会发给接口。

LiteLLM 代理

config.yaml

model_list:
  - model_name: 6bee
    litellm_params:
      model: openai/<模型 id>
      api_base: https://api.6bee.ai/v1
      api_key: os.environ/SIXBEE_API_KEY

用 litellm --config config.yaml 启动。代理的客户端之后请求的模型名是 6bee。

代理后面的所有调用共用同一个 6bee.ai 密钥、余额和限额。服务协议不允许未经许可转售访问权限或共享密钥。

限额

上下文: 输入加输出不超过模型窗口：按模型不同，为 128K 至 1M token。
输出: max_tokens 最高到模型的输出上限：按模型不同，为 16,384 至 131,072。超出时自动降到上限，不会拒绝请求。不传时默认 8,192 至 32,768。
输入: 滚动每分钟 100 万未命中缓存的 token，缓存命中不计。
请求频率: 每分钟 60 次。
并发: 同时 2 个请求。
请求体: 不超过 8 MiB，n 必须为 1。

超出限额返回 HTTP 429 和 Retry-After；请求放不进上下文时返回 400。输出上限被降低时，响应头 X-6bee-Output-Cap 会注明实际上限；在 /v1/messages 上，thinking 预算会一并降低。

排错

HTTP 401: 密钥缺失或不正确。从控制台重新复制，不要带空格或引号。
提示模型不存在: 模型 ID 不匹配。用 GET /v1/models 查看可用的 ID，或到控制台核对。
HTTP 429: 超出了账户限额（请求频率、输入 token 或并发）。响应头 Retry-After 给出需要等待的秒数。
长会话中出现 HTTP 400: 请求已经放不进模型的上下文窗口。压缩或清空对话，或换用窗口更大的模型。
因余额不足被拒绝: 每次请求会先预扣「输入 + max_tokens 输出」。充值，或调低 max_tokens。