1. 流式输出 (Stream Mode)
为了实现类似 ChatGPT 网页端的“打字机”效果,建议在请求中使用流式输出。- 配置方式:在请求体中设置
"stream": true。 - 技术优势:
- 首字响应快:用户无需等待整个长段落生成完毕即可看到第一行字。
- 减少超时风险:在生成超长文本时,持续的数据流可以保持连接活跃。
2. 多模态视觉能力 (Vision)
通过 GPT-4o 或 Gemini 系列模型,您可以直接上传图片并进行分析。- 实现方式:在
messages数组中传入image_url。 - 适用场景:识图答疑、提取发票信息、网页截图分析。
- 计费说明:图片会根据分辨率折算为固定数量的 Token(通常一张图约为 100-800 Token),详情见费率表。
3. 函数调用 (Function Calling / Tools)
允许模型根据用户需求调用您预设的外部工具(如查询天气、搜索数据库、执行代码)。- 流程规范:
- 在请求中定义
tools字段。 - 模型返回
tool_calls。 - 您的程序执行工具逻辑后,将结果返回给模型。
- 在请求中定义
- 优势:让 AI 能够结合外部工具处理实时数据和业务数据,降低单纯依赖模型回答带来的不确定性。
4. 强制 JSON 格式输出 (JSON Mode)
如果您在开发自动化系统,需要模型返回结构化数据而非自然语言,可以使用此模式。- 配置方式:
- 在请求中设置
"response_format": { "type": "json_object" }。 - 并在 System Prompt 中明确告知模型:“必须返回 JSON 格式”。
- 在请求中设置
- 优势:降低代码解析错误的概率。
5. 长度与性能控制
- Max Tokens:建议根据业务需求合理设置输出长度限制,防止模型因过度发散导致意外的 Token 消耗。
- Temperature (温度):
- 0.0 - 0.3:适合严谨的任务(如代码、翻译、事实查询)。
- 0.7 - 1.0:适合创意写作、角色扮演。
6. 模型特定功能
- Claude 思考模式 (Thinking):对于支持推理的模型,可按平台当前支持能力启用对应的思考模式。
- Gemini 长上下文:部分模型支持长上下文输入,适合长文档或长视频分析。