流式输出
为了实现类似 ChatGPT 网页端的“打字机”效果，建议在请求中使用流式输出。- 配置方式：在请求体中设置
"stream": true。 - 技术优势：
- 首字响应快：用户无需等待整个长段落生成完毕即可看到第一行字。
- 减少超时风险：在生成超长文本时，持续的数据流可以保持连接活跃。
图片理解
部分多模态模型可以接收图片并进行分析。请先在模型广场确认模型能力。- 实现方式：在
messages数组中传入image_url。 - 适用场景：识图答疑、提取发票信息、网页截图分析。
- 计费说明：图片计费方式由所选模型决定，调用前请查看模型广场。
工具调用
允许模型根据用户需求调用您预设的外部工具（如查询天气、搜索数据库、执行代码）。- 流程规范：
- 在请求中定义
tools字段。 - 模型返回
tool_calls。 - 您的程序执行工具逻辑后，将结果返回给模型。
- 在请求中定义
- 优势：让 AI 能够结合外部工具处理实时数据和业务数据，降低单纯依赖模型回答带来的不确定性。
JSON 格式输出
如果您在开发自动化系统，需要模型返回结构化数据而非自然语言，可以使用此模式。 仅在所选模型支持 JSON Mode 时使用。- 配置方式：
- 在请求中设置
"response_format": { "type": "json_object" }。 - 并在 System Prompt 中明确告知模型：“必须返回 JSON 格式”。
- 在请求中设置
- 优势：降低代码解析错误的概率。
长度与性能控制
- Max Tokens：建议根据业务需求合理设置输出长度限制，防止模型因过度发散导致意外的 Token 消耗。
- Temperature (温度)：较低数值通常更稳定，较高数值通常更有随机性。并非所有模型都支持该参数。
模型特定功能
- 思考模式：仅在模型支持时启用对应参数。
- 长上下文：上下文长度由具体模型决定，请以模型广场说明为准。