本篇文章會接上一篇繼續(xù)更新關于大模型落地在生產(chǎn)環(huán)境相關的一些優(yōu)化實踐策略，可以從各個方面去優(yōu)化落地。 三、成本優(yōu)化 3.1 優(yōu)化系統(tǒng)性能時節(jié)約成本 第二章中許多性能手段同時降...
IP屬地：河南
-
ACP 大模型應用開發(fā)之在生產(chǎn)環(huán)境的具體優(yōu)化實踐二 -
ACP 大模型應用開發(fā)之 vLLM 部署與壓測實戰(zhàn)前言 微調(diào)解決的是「模型會不會做你的任務」；部署解決的是「業(yè)務能不能穩(wěn)定、低成本地調(diào)用它」。 很多團隊微調(diào)完成后卡在中間一步：Java 服務仍調(diào)云端大模型 API，微調(diào)成果沒...
-
ACP大模型應用開發(fā)之用 Skill 將能力固化為可復用流程整理（上）
?? 前言 Memory 讓 Agent 記住了你的偏好，但具體的工作方法每次還是要在對話里重新交代。Skill 就是解決這個問題的：把「在什么情況下，正確做法是什么」固化為可...
-
ACP 大模型應用開發(fā)之用蒸餾讓小模型掌握專業(yè)能力實戰(zhàn)下寫在前面：接上篇之后要做什么 上篇走完「教師模型打標 → 過濾 → Baseline」，基座 0.6B 的 JSON 合規(guī)率和路由準確率往往慘不忍睹，而教師模型已經(jīng)穩(wěn)定。本篇...
-
ACP 大模型應用開發(fā)之用蒸餾讓小模型掌握專業(yè)能力實戰(zhàn)上篇代碼策略：能落在 Java 工程里的部分（教師 API 調(diào)用、標注校驗、評測指標、數(shù)據(jù)加載）用 JDK 17 + Jackson + HttpClient 實現(xiàn)；LoRA 訓...
-
ACP大模型應用開發(fā)工程師-RAG 自動化評測體系學習-java轉(zhuǎn)AI應用開發(fā)學習面向 Java 高級開發(fā) 的技術筆記：先把 Ragas、TruLens、DeepEval 等「以 Python 生態(tài)見長」的框架放在同一張認知地圖里；第三節(jié)展開 Answer...
-
ACP 大模型應用開發(fā)-Agent 評測驅(qū)動開發(fā)之從端到端測評與白盒評測承接：RAG 自動化評測體系[http://m.itdecent.cn/p/0de7ffc44beb]（先學會度量「答案質(zhì)量」，再度量「過程與工具路徑」）。 ?? 前言 ...
-
ACP 大模型應用開發(fā) | 用 Skill 將能力固化為可復用流程（上）?? 前言 Memory 讓 Agent 記住了你的偏好，但具體工作方法每次還要在對話里重新交代。Skill 把「在什么情況下、正確做法是什么」固化為可觸發(fā)的專屬流程。 0 為...
-
ACP 大模型應用開發(fā) | 注冊加載生成skill與社區(qū)復用skill（下）承接：上篇：從審查痛點到高質(zhì)量 Skill[http://m.itdecent.cn/p/0169231762cb?v=1779173759014]。 ?? 前言 上篇你...