發(fā)簡(jiǎn)信
IP屬地：四川
-
理解AI智能體的四大能力
一：感知能力 階段1、單純的大模型是依靠海量的文本數(shù)據(jù)訓(xùn)練出啦的，基礎(chǔ)的感知方式就是接收用戶輸入的文本 階段2、間接多模態(tài)感知：利用OCR這種中...
-
知識(shí)蒸餾 Distilling the knowledge1 、什么是知識(shí)？ 通常認(rèn)為，知識(shí)是模型學(xué)習(xí)到的參數(shù)（比如卷積的權(quán)重） 2 、什么是蒸餾？ 將知識(shí)從大模型（教師模型）轉(zhuǎn)移到更適合部署的小模型（...
-
模型壓縮 4 大方法概述模型壓縮的主要目標(biāo)是將一個(gè)龐大而復(fù)雜的預(yù)訓(xùn)練模型轉(zhuǎn)化為一個(gè)精簡(jiǎn)的小模型,使其在保持較高性能的前提下,顯著減少模型的存儲(chǔ)空間和計(jì)算量。一方面考慮將...
-
敏捷軟件開發(fā)--原則
1. 單一職責(zé)原則（Single Responsibility Principle, SRP） 每個(gè)類應(yīng)該只有一個(gè)職責(zé)，且該職責(zé)應(yīng)該完全封裝在類...
-
人人都能懂的Transformer架構(gòu)Transformer架構(gòu)用做樣本數(shù)據(jù)的訓(xùn)練以及訓(xùn)練預(yù)輸出文字的預(yù)測(cè)，在訓(xùn)練的時(shí)候輸入一些樣本的數(shù)據(jù)，然后把這些數(shù)據(jù)第一步轉(zhuǎn)換成對(duì)應(yīng)的數(shù)字(In...
-
Transformer架構(gòu)簡(jiǎn)單分析下Transformer架構(gòu)，即大語(yǔ)言模型底層基于什么樣的架構(gòu)訓(xùn)練出來(lái)的 在進(jìn)行訓(xùn)練之前，首選需要進(jìn)行3個(gè)步驟 1、把文字?jǐn)?shù)字化 2、把...
-
大模型訓(xùn)練關(guān)鍵兩步大模型的核心原理是基于深度學(xué)習(xí)，通過(guò)多層神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)建模和特征提取。目前大部分的大模型采用的是Transformer架構(gòu)，它采用了自注意力機(jī)...
-
Fine-tuning
上一篇介紹了RAG(檢索增強(qiáng)生成)，這篇文章介紹LLM進(jìn)行特定領(lǐng)域的知識(shí)或?qū)Ｓ袛?shù)據(jù)需要進(jìn)行特定的另一種方式Fine-tuning Fine-tu...
-
RAG（檢索增強(qiáng)生成）上一篇文章介紹了LLM，LLM的知識(shí)僅限于其所訓(xùn)練的數(shù)據(jù)。想讓LLM了解特定領(lǐng)域的知識(shí)或?qū)Ｓ袛?shù)據(jù)需要進(jìn)行特定的處理，目前有三種方式： 1、RAG...