视频理解

支持模型

• 能力说明: 视频理解依赖多模态模型的视觉能力（视频抽帧或视频部件传入）。当前在售模型以文本对话为主，视频理解的可用性与效果以模型广场（控制台「模型服务」）为准。

传入方式

在 content 内容部件数组中使用 video_url 部件传入视频:

• 视频 URL: 传入公网可访问的视频地址，常见格式如 mp4、mov、mpeg、avi 均可。
• Base64 编码: 本地视频文件可编码为 data:video/mp4;base64,... 形式的 data URL 传入。

代码示例

Python

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.yomiapi.com/v1"
)
response = client.chat.completions.create(
    model="claude-sonnet-5",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "总结这段视频的主要内容,并按时间顺序列出关键场景"},
            {"type": "video_url", "video_url": {"url": "https://example.com/demo.mp4"}}
        ]
    }]
)
print(response.choices[0].message.content)

cURL

curl https://api.yomiapi.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-sonnet-5",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "这段视频里发生了什么？"},
        {"type": "video_url", "video_url": {"url": "https://example.com/demo.mp4"}}
      ]
    }]
  }'

使用场景

• 内容总结: 自动生成视频摘要、章节划分与字幕素材。
• 教学视频分析: 提取课程要点、生成练习题或笔记。
• 监控片段分析: 识别画面中的对象、动作与异常事件。
• 营销视频评估: 分析画面节奏、信息传达与合规风险。

使用建议

• 控制体积: 视频越长、码率越高，请求耗时与 token 消耗越大;建议先压缩或截取关键片段再上传。
• 长视频分段: 较长视频拆成多段分别分析，再让模型汇总各段结论，结果更稳定。
• 提问具体化: 指明关注对象或时间段(如「第一分钟内出现了哪些人物」),比开放式提问更准确。