Box 將 Nvidia Nemotron 嵌入檢索系統,查詢快 4 倍
Box 在開發者大會上發布 Box Content Retrieval,把 Nvidia 的 Nemotron 嵌入模型裝進產品核心,讓 agent 檢索文件時更快、更準、更省。Nvidia 生成式 AI 軟體副總裁 Kari Briski 預計查詢速度提升 4 倍、錯誤減少 20%、token 消耗減少 90%。
給出了 4 倍速度、20% 更少錯誤、90% 更少 token 的具體預期,顯示開放權重嵌入模型被直接嵌入企業檢索產品核心,對搭建 RAG 與 agent 檢索鏈路的開發者有參考價值。
原標題:Box taps Nvidia’s Nemotron for new agent-first content retrieval system
閱讀原文
| 評分 | 48 / 63(平均 55,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
NVIDIA 部落格介紹 Nemotron 推廣者,模型分 Lightning 與 Ultra 兩檔
NVIDIA 部落格刊出對自家深度學習產品研究工程師 Chris Alexiuk 的報導,他是 Nemotron 開源多模態模型家族最積極的推廣者。按他的說法,Nemotron 3.5 Lightning 面向高頻、重複性的執行類任務,Nemotron Ultra 則用於長時間執行的自主 agent、深度研究與企業級任務。
輝達開源 Nemotron 3.5 Super VL 與兩款 Bolt 邊緣模型
輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL,主打多模態 agentic 任務,官方稱其準確率接近自家最大推理模型、引數量約為五分之一,吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型:Bolt 74B-A9B 24GB 採用原生 2-bit 量化,可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent,現已可用;Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置,10 月 23 日發布。
Shopify 用 Nemotron 3.5 後訓練,推理成本降 90%
Shopify 用 NVIDIA Nemotron 3.5 Lightning 後訓練出的 GraphQL 子智慧體已接入商家助手 Sidekick,官方稱在內部基準上準確率超過一款領先前沿模型,服務成本降低 90%、回應快 7 倍。配合 NVIDIA CCluster 的 vLLM 推理最佳化,目錄豐富、購物模擬、品類分類、推薦等五個場景效能提升 4.5 倍,推理成本最多降 12 倍。