線上服務(wù)的nginx突然又開始偶發(fā)性的報(bào)錯:no live upstreams while connecting to upstream,客戶端收到的都是nginx的502.
實(shí)際上upstream服務(wù)一切正常,沒有任何異常的log. 問題大概率出現(xiàn)在nginx和upstream的連接上,因?yàn)槭褂昧薻eepalive長連接.
進(jìn)一步觀察出現(xiàn)error的時間都是觸發(fā)nginx -s reload的時間(因業(yè)務(wù)需要,要每5分鐘對nginx log進(jìn)行切分),所以懷疑是nginx重啟導(dǎo)致和upstream之間的長連接斷開導(dǎo)致的.
解決方案就是將max_fails調(diào)大:
server 172.21.16.46:1718 max_fails=30 fail_timeout=15s;
server 172.21.16.44:1718 max_fails=30 fail_timeout=15s;
其中的原理比較復(fù)雜,這篇文章介紹的非常詳細(xì):
長連接報(bào)錯問題排查過程

FireShot Capture 008 - Nginx upstream長連接報(bào)錯問題排查過程 - Unifix - Medium - heshaobo2012.medium.com.png