前提
官方默認使用的是阿里的通義千問7B大模型,且官方推薦使用30系或者40系顯卡(都是消費級顯卡,專業(yè)級顯卡還不知道行不行),在自己電腦顯卡達不到7B大模型的運行門檻的時候,需要額外下載小一點的模型,或者配置在線的OpenAI的api(要花錢的)。參考以下鏈接修改使用的模型:
https://github.com/netease-youdao/QAnything/blob/master/docs/QAnything_Startup_Usage_README.md
當然大部分人可能都沒有官方推薦的需要20多的顯存的顯卡,也就是3090或4080以上的顯卡,那么也就只能選擇小一點的模型來跑了?;蛘甙凑展芊降恼f法,如果要使用在線的OpenAI的api,也需要1050ti以上的顯卡。

此處附上我本地所運行的截圖

一、環(huán)境搭建中的問題
1、安裝wsl
虛擬環(huán)境開啟
控制面板\程序\程序和功能?啟用或關(guān)閉Windows功能

wsl --install -d Ubuntu
其余的一些操作包括遷移wsl文件(wsl默認下載的東西都在C盤),以及將wsl安裝的Ubuntu設(shè)置為默認等在網(wǎng)上均有教程
當遇到wsl相關(guān)的命令無法運行、或嘗試運行Qanything中的run.sh腳本卻報錯時,就是子系統(tǒng)沒安裝的問題。
2、其余環(huán)境的搭建
包括顯卡驅(qū)動等相關(guān)軟件在github有提示,按提示進行安裝

二、運行時的相關(guān)問題
1、網(wǎng)絡問題
玩大模型最讓人抓狂的就是網(wǎng)絡問題
下載速度慢的建議是,盡量不要用WiFi或手機熱點(別問我為什么知道),巨慢,電腦最好插著網(wǎng)線,且是100M寬帶以上
偶爾會有網(wǎng)絡連接不上的報錯,這種情況下則需要科學上網(wǎng),科學上網(wǎng)然后再重新跑一遍就好了
基本上只要是需要科學上網(wǎng)的,在你沒有科學上網(wǎng)的情況下都會報錯,慢的原因都是單純的網(wǎng)速慢
2、mysql容器問題
運行過程中有遇到報錯,按提示查看日志后,日志中說是mysql連接數(shù)過多,通常情況下就是去修改配置文件了,找到容器掛載的配置文件,進行修改增加連接數(shù)等等。但是在進入mysql容器中,查看實際的連接數(shù)的時候,卻有一行提示,寫著是mysql: [Warning] World-writable config file ‘/etc/mysql/conf.d/mysql.cnf‘ is ignored。所以實際上并不是這個問題,而是電腦中掛載的配置文件具有全局可寫權(quán)限,因此忽略了該文件。MySQL 引擎非常注重安全性和數(shù)據(jù)完整性。如果配置文件具有全局可寫權(quán)限,任何用戶都可以修改該文件,包括惡意用戶。這可能導致潛在的安全風險和數(shù)據(jù)損壞。為了提高安全性,當 MySQL 檢測到掛載的配置文件具有全局可寫權(quán)限時,它會發(fā)出警告并忽略該文件。這樣做是為了確保只有授權(quán)的用戶能夠修改配置文件并對 MySQL 進行更改。
所以這個問題的解決方案是修改文件的權(quán)限,直接在電腦中修改即可

以上大概就是全部的疑難雜癥了,雖然最后還是沒跑起來。(docker desktop里面顯示占用的cpu已經(jīng)達到接近400%,于是全部容器都宕機了,可能是配置問題吧,之后如果跑起來了會再更新)
