知识库
大语言模型基础
本文介绍大语言模型与 LLM API 的基础概念,帮助您在正式接入前建立必要的背景认知。
什么是大语言模型
大语言模型(Large Language Model,简称 LLM)是基于深度学习的人工智能模型,使用海量文本数据训练,能够理解、生成和预测人类语言。其核心特征:
- 大规模参数:参数量从数十亿到数万亿不等,规模增长带来能力涌现。
- 预训练(Pre-training):先在通用语料上进行大规模自监督学习,获得基础语言与知识能力。
- 后训练与对齐:再通过指令微调和人类反馈,让模型学会遵循指令、符合安全预期。
常见用途:
- 文本生成:撰写文章、邮件、代码、剧本。
- 问答系统:智能客服、知识库检索。
- 翻译与摘要:多语言互译,提取长文档的关键信息。
- 推理:逻辑分析、数学解题、任务规划。
- 智能体(Agent):调用工具、操作外部系统,自动完成多步任务。
什么是 LLM API
LLM API 是模型服务方提供的编程接口,让应用通过 HTTP 请求与模型交互,基本流程为:应用程序 → HTTP 请求 → API 服务 → 模型推理 → HTTP 响应 → 应用程序。
行业普遍采用 OpenAI 兼容的接口格式,Yomi API 也是如此:接口地址统一为 https://api.yomiapi.com/v1,请求头携带 Authorization: Bearer <API密钥> 即完成认证,主流 SDK 只需修改 base_url 即可直接使用。
主要接口类型
平台提供的主要端点如下,与 OpenAI 接口规范保持兼容:
| 接口 | 端点 | 典型用途 |
|---|---|---|
| 对话补全 | /v1/chat/completions | 聊天、问答、Agent,最常用 |
| Responses | /v1/responses | OpenAI Responses 格式 |
| Claude 原生 | /v1/messages | Anthropic Messages 格式 |
| 文本补全 | /v1/completions | 旧版续写,兼容保留 |
| 图像 | /v1/images/generations/v1/images/edits | 文生图、图像编辑 |
| 嵌入 | /v1/embeddings | 向量化,用于语义搜索、RAG |
| 语音 | /v1/audio/* | 语音转写、翻译、合成 |
| 内容审核 | /v1/moderations | 文本安全过滤 |
| 重排序 | /v1/rerank | 检索结果重排 |
| 实时接口 | /v1/realtime | WebSocket 实时对话 |
| 模型列表 | /v1/models | 查询可用模型 |
平台还提供 Gemini 原生格式端点,具体路径见 API 参考章节。平台暂不支持微调(fine-tuning)与 Files 文件管理接口。
消息角色
对话补全请求中的 messages 数组由不同角色的消息组成:
| 角色 | 说明 | 用途 |
|---|---|---|
system | 系统消息 | 设定 AI 的行为与规则 |
user | 用户消息 | 用户的输入 |
assistant | 助手消息 | AI 的回复 |
tool | 工具消息 | 工具调用的返回结果 |
核心参数详解
temperature(温度)
控制输出的随机性,常用取值 0 到 2:
- 0:输出高度确定,多次调用结果接近一致。
- 0.1-0.3:低随机性,适合代码生成、事实问答。
- 0.7-0.9:中等随机性,适合创意写作。
- 1.0 以上:高随机性,更有创意但稳定性下降。
max_tokens(输出上限)
限制单次生成的最大 token 数,用于控制成本与响应长度;设置过小可能导致回答被截断。
stop(停止序列)
指定一个或多个停止标记,模型生成到该文本时立即停止,常用于约束输出格式。
stream(流式输出)
设置 stream: true 后,响应以 Server-Sent Events(SSE)格式逐块返回,无需等待全文生成完毕即可展示内容,是对话类应用的推荐做法。
函数调用(Function Calling)
通过 tools 参数声明可用的工具函数,模型会自行判断何时调用、调用哪个函数并给出参数,适合需要查询数据、调用外部服务等与外部系统交互的场景。
错误处理
接口返回标准 HTTP 状态码,常见错误与处理方式:
| 错误码 | 说明 | 处理方式 |
|---|---|---|
| 400 | 请求格式错误 | 检查参数与请求体 |
| 401 | 认证失败 | 检查 Authorization 头与密钥 |
| 403 | 权限不足 | 确认账户状态与模型权限 |
| 429 | 请求过多 | 降低频率,指数退避后重试 |
| 500 | 服务器错误 | 稍后重试 |
| 503 | 服务不可用 | 稍后重试 |
速率限制随模型与线路不同,以模型广场展示的线路信息为准。
Token 与计费
Token 是模型处理文本的最小单位:英文中一个常见单词约为 1 个 token,中文一个汉字约为 1 到 2 个 token。
平台按量计费,无月费:费用 = 输入 tokens × 输入单价 + 输出 tokens × 输出单价,不同模型单价不同。消费明细可在用户中心的「用量统计」中查看。
