知识库

进阶指南

长文本处理

当前主流模型的上下文窗口已相当可观，以平台在售型号为例:claude-sonnet-5 为 1M,gpt-5.6-sol 为 1.05M,kimi-k3 为 1M。即便如此，把超长文本整体塞入上下文仍会带来成本、延迟与中段信息被忽略的问题，常用策略:

分块处理(Chunking):将长文切成语义完整的片段分别处理。
递归摘要(Map-Reduce):先对各块分别摘要，再汇总生成全局结论。
滑动窗口:相邻块之间保留部分重叠，避免边界信息丢失。
检索增强(RAG):只把与问题相关的片段检索出来送入模型，兼顾成本与效果。

实践要点：分块大小常取数百至两千 tokens,块间保留约一到两成重叠;能用检索解决的优先用检索，确需全局理解时再选用 kimi-k3、glm-5.2 这类长上下文模型。

多模态交互

多模态交互指在请求中混合文本、图像、音频等多种输入。以平台在售型号为例：图像理解可用 claude-sonnet-5、gpt-5.6-sol 等;视频与音频理解、实时语音对话的具体可用模型以模型广场（控制台「模型服务」）为准。

图像理解的典型应用:OCR 文字识别、文档与表格分析、图表解读、代码截图分析、产品设计评审。实践中注意控制图片分辨率与体积(压缩后再上传),并留意隐私与版权风险。

安全防护

构建 LLM 应用时，安全需要与功能同等对待。常见风险:

提示注入(Prompt Injection):攻击者在用户输入或外部内容中夹带指令，诱导模型偏离预设行为。
数据泄露:敏感信息被拼入提示词后流出，或残留在日志中。
有害内容:模型被诱导生成违规内容。
滥用刷量:接口被恶意调用，产生额外费用。

对应的防护手段：校验并清洗用户输入、将系统指令与用户内容明确分离、对输出做内容过滤(可配合 /v1/moderations)、为接口加速率限制、完善日志与告警，并遵循所在地区的数据合规要求。

切勿在前端代码或公开仓库中硬编码 API 密钥;对一切用户输入与外部抓取内容保持不信任假设，防范提示注入。

工程实践

性能调优

关注四个核心指标：首字延迟(TTFT)、整体延迟、吞吐量(QPS)与每秒输出 tokens。常用优化手段：按任务难度选择模型(简单任务用 deepseek-v4-flash 这类轻量型号)、开启流式输出、合理并发与连接复用、缓存高频重复请求、精简提示词长度。

流式输出

设置 stream: true 后，响应以 SSE 逐块返回，首字延迟大幅下降，用户可以边生成边阅读，还能中途取消。对话类产品建议默认开启，并处理好中断恢复与资源清理。

错误处理与重试

对 429、500、503 等临时性错误采用指数退避重试，并设置最大重试次数与请求超时;对 400、401 这类确定性错误直接修正请求而非重试。重试之外准备降级方案：切换备用模型、返回缓存结果或给出友好的静态提示。速率限制随线路不同，以模型广场线路信息为准。

监控与日志

建议记录结构化日志(JSON 格式)并携带追踪 ID,注意脱敏。核心监控维度：性能(延迟、吞吐)、可用性(成功率、错误率)、成本(token 用量、费用)与质量(用户反馈)。为错误率、延迟和成本分别配置告警阈值，问题才能在用户抱怨之前被发现。

生态工具

LangChain

LangChain 是构建 LLM 应用的开源框架，提供模型封装、提示词模板、链式编排(LCEL)、Agent、记忆与检索器等组件，适合快速搭建 RAG 与多步骤工作流。平台接口与 OpenAI 兼容，把 base_url 指向平台即可接入:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="deepseek-v4-flash",
    api_key="YOUR_API_KEY",
    base_url="https://api.yomiapi.com/v1",
)
print(llm.invoke("你好").content)

Hugging Face

Hugging Face 是规模领先的开源模型社区与托管平台，核心产品包括模型与数据集 Hub、Transformers 库、PEFT 微调工具与 Spaces 演示托管。自部署开源模型时常配合 vLLM 或 Text Generation Inference 提供推理服务;其开源嵌入模型(如 BAAI/bge-m3)也常与平台的生成接口搭配用于 RAG。