IP屬地：重慶
-
KV Cache優(yōu)化實踐：深入理解 KV Cache 的作用及優(yōu)化方法
在大模型LLM推理部署中，很多開發(fā)者都會遇到一個共性瓶頸：模型權重占用顯存固定，但一旦開啟長上下文、多并發(fā)請求，GPU顯存瞬間被占滿，出現(xiàn)OOM...
-
ACP 大模型應用開發(fā)之在生產(chǎn)環(huán)境的具體優(yōu)化實踐二本篇文章會接上一篇繼續(xù)更新關于大模型落地在生產(chǎn)環(huán)境相關的一些優(yōu)化實踐策略，可以從各個方面去優(yōu)化落地。 三、成本優(yōu)化 3.1 優(yōu)化系統(tǒng)性能時節(jié)約成...
-
ACP 大模型應用開發(fā)之在生產(chǎn)環(huán)境的具體優(yōu)化實踐一前言 將大模型應用從開發(fā)和測試階段轉(zhuǎn)移到實際業(yè)務場景，是一個復雜且關鍵的過程，涉及業(yè)務選型、系統(tǒng)架構(gòu)、運維與合規(guī)等多方面考量。 功能性需求定義大...
-
ACP 大模型應用開發(fā)之 vLLM 部署與壓測實戰(zhàn)前言 微調(diào)解決的是「模型會不會做你的任務」；部署解決的是「業(yè)務能不能穩(wěn)定、低成本地調(diào)用它」。 很多團隊微調(diào)完成后卡在中間一步：Java 服務仍調(diào)...
-
ACP大模型應用開發(fā)之用 Skill 將能力固化為可復用流程整理（上）
?? 前言 Memory 讓 Agent 記住了你的偏好，但具體的工作方法每次還是要在對話里重新交代。Skill 就是解決這個問題的：把「在什么情...
-
ACP 大模型應用開發(fā)之用蒸餾讓小模型掌握專業(yè)能力實戰(zhàn)下寫在前面：接上篇之后要做什么 上篇走完「教師模型打標 → 過濾 → Baseline」，基座 0.6B 的 JSON 合規(guī)率和路由準確率往往慘不...
-
ACP 大模型應用開發(fā)之用蒸餾讓小模型掌握專業(yè)能力實戰(zhàn)上篇代碼策略：能落在 Java 工程里的部分（教師 API 調(diào)用、標注校驗、評測指標、數(shù)據(jù)加載）用 JDK 17 + Jackson + HttpC...
-
ACP 大模型應用開發(fā)-Agent 評測驅(qū)動開發(fā)之從端到端測評與白盒評測承接：RAG 自動化評測體系[http://m.itdecent.cn/p/0de7ffc44beb]（先學會度量「答案質(zhì)量」，再度量「過...
-
ACP 大模型應用開發(fā) | 注冊加載生成skill與社區(qū)復用skill（下）承接：上篇：從審查痛點到高質(zhì)量 Skill[http://m.itdecent.cn/p/0169231762cb?v=177917375...