整了半天的latex表格，原來中間的間隔的豎直線修改下toprule,bottomrule,midrule，不要用hline就好了。
發(fā)簡信
IP屬地：北京
-
用python將excel的有效內(nèi)容+格式存儲(chǔ)成png圖像
轉(zhuǎn)載：https://www.cnblogs.com/cgmcoding/p/16517494.html[https://www.cnblogs.com/cgmcoding/...
-
不蠢不蠢~~有時(shí)候有些問題看似簡單但是會(huì)給人意想不到的啟發(fā)~加油朋友！
Alpaca-LoRA 的安裝
嘗到了gpt的甜頭，覺得可以結(jié)合自己的任務(wù)訓(xùn)練下，因?yàn)橛米约旱姆?wù)器沒有那么大的gpu，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑！！真的很多坑，安裝...
-
不好意思最近忙都沒有登陸看，很開心能解決你的問題，跑起來你可以看官網(wǎng)里，有詳細(xì)的訓(xùn)練方式，我的是用這個(gè)命令跑的：python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca' \
--batch_size 32 \
--micro_batch_size 4 \
--num_epochs 3 \
--learning_rate 1e-4 \
--cutoff_len 512 \
--val_set_size 2000 \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.05 \
--lora_target_modules '[q_proj,v_proj]' \
--train_on_inputs \
--group_by_length
因?yàn)槲业腉PU不夠大，我調(diào)整了batchsize，并且調(diào)整了源代碼里的部分，因?yàn)樵创a是128反向傳播一次，因此我設(shè)置了梯度累計(jì)，把我的32設(shè)置成4次誤差累加后再反向傳播，這樣就和源碼一致。
如果你的空間都合適的話，用這個(gè)代碼也行，python finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path 'yahma/alpaca-cleaned' \
--output_dir './lora-alpaca'
這個(gè)是可以直接跑的。歡迎隨時(shí)交流哈~Alpaca-LoRA 的安裝
嘗到了gpt的甜頭，覺得可以結(jié)合自己的任務(wù)訓(xùn)練下，因?yàn)橛米约旱姆?wù)器沒有那么大的gpu，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑！！真的很多坑，安裝...
-
CUDA out of memory
顯存不足的情況下，總結(jié)了以下幾種方法，任何情況都能用其中一個(gè)解決。 一、降低batch_size ，訓(xùn)練時(shí)間就會(huì)長點(diǎn)，一般這個(gè)都能解決；二、在測試和驗(yàn)證代碼中加入以下代碼： ...
-
給gpt喂自己的數(shù)據(jù)！
上一篇文章說完了安裝，這下我要喂自己的數(shù)據(jù)了。 1. 準(zhǔn)備數(shù)據(jù) 首先要按照給的格式創(chuàng)建自己的json數(shù)據(jù)，這個(gè)比較好創(chuàng)建，之前沒用過json搜一下就行了。原文的格式如下： 這...
-
Alpaca-LoRA 的安裝
嘗到了gpt的甜頭，覺得可以結(jié)合自己的任務(wù)訓(xùn)練下，因?yàn)橛米约旱姆?wù)器沒有那么大的gpu，后來等到lora終于可以跑自己的數(shù)據(jù)了~不過安裝過程中遇到了很多坑??！真的很多坑，安裝...
-
-
Dijkstra最短路徑
回顧下最短路徑算法，感覺找了一堆沒有寫的特別簡單明了的，還是輾轉(zhuǎn)看了好幾個(gè)人的才找到一個(gè)寫的很清楚的，這里再總結(jié)一下方便以后自己回顧。 以上面的圖為例，找0到其他1-6個(gè)點(diǎn)的...
-
數(shù)組合并中符號的區(qū)別
記錄一波在使用python數(shù)組時(shí)候的一些特別之處，符號不同效果不同。目的是將兩個(gè)數(shù)據(jù)合成一個(gè)。1、[ ]的效果 可見用[dataset1,dataset2]合并的方法只是單純...
-
數(shù)學(xué)知識在實(shí)際中的意義在實(shí)驗(yàn)中通常會(huì)自己設(shè)計(jì)損失函數(shù)、優(yōu)化函數(shù)等，通常會(huì)用到對數(shù)、分?jǐn)?shù)、梯度等，不明白函數(shù)的實(shí)際意義在設(shè)計(jì)的時(shí)候就一臉懵，因此本文就幾種常見的函數(shù)進(jìn)行實(shí)際意義的解釋，方便后期自身學(xué)...
-
2022-02-18
今天解決一個(gè)藍(lán)牙的問題搞了一下午，還以為是驅(qū)動(dòng)各種問題，結(jié)果。。。解決方法令人震驚！問題：1、藍(lán)牙用著用著就消失了，無法使用；2、設(shè)備管理器里找不到藍(lán)牙；3、設(shè)置里找不到藍(lán)牙...
-
-
對抗網(wǎng)絡(luò)GANs介紹
原文出自：https://www.tmtpost.com/2609145.html，這里做個(gè)基本了解。 生成對抗網(wǎng)絡(luò)（Generative Adversarial Netwo...
-
pytorch中ipdb的調(diào)試功能
在pytorch中使用ipdb可以對程序?qū)崿F(xiàn)單步調(diào)試等，使用命令pip install ipdb安裝即可。在需要調(diào)試的代碼前面加上ipdb.set_trace()即可，當(dāng)程序...
-
pytorch中多GPU并行設(shè)置
當(dāng)使用GPU時(shí)，程序默認(rèn)從device[0]開始運(yùn)行，但是如果遇到第一塊就被占滿的情況，那么程序直接報(bào)錯(cuò)GPU溢出，但其實(shí)第二塊第三塊空閑，因此可以通過設(shè)置GPU的Index...
-
pytorch中的自定義數(shù)據(jù)處理
pytorch在數(shù)據(jù)中采用Dataset的數(shù)據(jù)保存方式，需要繼承data.Dataset類，如果需要自己處理數(shù)據(jù)的話，需要實(shí)現(xiàn)兩個(gè)基本方法。：.getitem:返回一條數(shù)據(jù)或...
