windows有道云Qanything部署問題

前提

官方默認使用的是阿里的通義千問7B大模型,且官方推薦使用30系或者40系顯卡(都是消費級顯卡,專業(yè)級顯卡還不知道行不行),在自己電腦顯卡達不到7B大模型的運行門檻的時候,需要額外下載小一點的模型,或者配置在線的OpenAI的api(要花錢的)。參考以下鏈接修改使用的模型:
https://github.com/netease-youdao/QAnything/blob/master/docs/QAnything_Startup_Usage_README.md

當然大部分人可能都沒有官方推薦的需要20多的顯存的顯卡,也就是3090或4080以上的顯卡,那么也就只能選擇小一點的模型來跑了?;蛘甙凑展芊降恼f法,如果要使用在線的OpenAI的api,也需要1050ti以上的顯卡。

6f0b38fe592840d7bb4b073a420144f.png

此處附上我本地所運行的截圖


85e44faf444f68f007c5bfb89597893.png

一、環(huán)境搭建中的問題

1、安裝wsl

虛擬環(huán)境開啟
控制面板\程序\程序和功能?啟用或關(guān)閉Windows功能


image.png

wsl --install -d Ubuntu

其余的一些操作包括遷移wsl文件(wsl默認下載的東西都在C盤),以及將wsl安裝的Ubuntu設(shè)置為默認等在網(wǎng)上均有教程
當遇到wsl相關(guān)的命令無法運行、或嘗試運行Qanything中的run.sh腳本卻報錯時,就是子系統(tǒng)沒安裝的問題。

2、其余環(huán)境的搭建

包括顯卡驅(qū)動等相關(guān)軟件在github有提示,按提示進行安裝

image.png

二、運行時的相關(guān)問題

1、網(wǎng)絡問題

玩大模型最讓人抓狂的就是網(wǎng)絡問題

下載速度慢的建議是,盡量不要用WiFi或手機熱點(別問我為什么知道),巨慢,電腦最好插著網(wǎng)線,且是100M寬帶以上

偶爾會有網(wǎng)絡連接不上的報錯,這種情況下則需要科學上網(wǎng),科學上網(wǎng)然后再重新跑一遍就好了

基本上只要是需要科學上網(wǎng)的,在你沒有科學上網(wǎng)的情況下都會報錯,慢的原因都是單純的網(wǎng)速慢

2、mysql容器問題

運行過程中有遇到報錯,按提示查看日志后,日志中說是mysql連接數(shù)過多,通常情況下就是去修改配置文件了,找到容器掛載的配置文件,進行修改增加連接數(shù)等等。但是在進入mysql容器中,查看實際的連接數(shù)的時候,卻有一行提示,寫著是mysql: [Warning] World-writable config file ‘/etc/mysql/conf.d/mysql.cnf‘ is ignored。所以實際上并不是這個問題,而是電腦中掛載的配置文件具有全局可寫權(quán)限,因此忽略了該文件。MySQL 引擎非常注重安全性和數(shù)據(jù)完整性。如果配置文件具有全局可寫權(quán)限,任何用戶都可以修改該文件,包括惡意用戶。這可能導致潛在的安全風險和數(shù)據(jù)損壞。為了提高安全性,當 MySQL 檢測到掛載的配置文件具有全局可寫權(quán)限時,它會發(fā)出警告并忽略該文件。這樣做是為了確保只有授權(quán)的用戶能夠修改配置文件并對 MySQL 進行更改。

所以這個問題的解決方案是修改文件的權(quán)限,直接在電腦中修改即可


image.png

以上大概就是全部的疑難雜癥了,雖然最后還是沒跑起來。(docker desktop里面顯示占用的cpu已經(jīng)達到接近400%,于是全部容器都宕機了,可能是配置問題吧,之后如果跑起來了會再更新)

image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容