找到 7 筆
OpenAI API 現在可以選擇 12 小時 prompt caching，快取輸入繼續按更低費率計費。該選項面向全天複用上下文的持久型 agent（如 dots）：共享指令、工具和上下文可以保留在快取中更久，即使兩次請求相隔數小時，仍可命中快取並支付 cached-input 價格。對需要長時間維持同一套上下文的 API 呼叫方，這意味著可在 12 小時內跨多次請求複用同一套上下文。
月之暗面的 Kimi K3 已在 Amazon Bedrock 上線，可用於編碼、文件分析和長流程 agent 工作流，並支援顯式 prompt caching。使用者可沿用 Bedrock 的訪問、加密與審計控制，通過 AWS 官方模型卡文件開始接入。
模型雲服務商 Neuralwatt 分析一個月流量發現，同一模型下不同 agent harness 的 prompt 快取命中率差異明顯，未快取輸入佔 1.6%–11.1%，而一次快取未命中會讓請求能耗約為全快取時的兩倍，GLM-5.3 上接近 2.5 倍。命中率 92% 相當於每 100 個輸入 token 有 8 個未快取，97% 時只有 3 個，prefill 工作量相差 2.7 倍。
Anthropic 推出 Claude Haiku 5.5（claude-haiku-5-5），面向高併發與低延遲場景，支援 1M token 上下文、128k 最大輸出，並預設開啟帶 effort 引數的自適應思考。這是一次破壞性升級：手工 extended thinking（budget_tokens）、temperature/top_p/top_k 取樣引數與 assistant 訊息預填都會返回 400 錯誤，需按遷移指南改寫。
OpenAI 於 2026 年 10 月 2 日發布 GPT-6 系列模型指南，該系列包含三款模型：GPT-6 Astra（輸入 $10/輸出 $50 每百萬 token）、GPT-6.1 Sol（輸入 $2/輸出 $10）和 GPT-6 Luna（輸入 $0.1/輸出 $0.5）。指南建議按任務難度匹配模型與推理等級，並利用提示快取（快取輸入最高便宜 95%）和壓縮控制成本，同時提供 Fast 與 Ultrafast 加速模式。
OpenAI 的 Decisions API 新增原生 GPT-Live 整合，語音應用可以在使用者說話時即時作出反應。同時加入提示快取，在複用上下文時降低成本；支援直接傳入原生 JSON 結構化資料；並可在單條問題的指令中附帶圖片，把多張圖片與同一參考圖對比。單次請求可提交的問題數量上限提升到 400 條，較此前翻倍。
OpenAI 開發者帳號宣布，提示快取的保留時長現在可以選擇 12 小時，也可以繼續使用預設的 30 分鐘，或在同一次請求裡混用兩種時長：共享指令用 12 小時，較新的對話內容用 30 分鐘。官方表示，如果一整天都要反覆複用同一段上下文，反覆命中快取省下的錢可能明顯超過 12 小時快取多出的成本。