2018年愛飛狗第一個(gè)版本上線，運(yùn)營到2019年中關(guān)閉。爬蟲以及數(shù)據(jù)一直沒有中斷，只是不想去做產(chǎn)品維護(hù)了而已。2020年底，自己重新將這個(gè)產(chǎn)品定位為自己的一個(gè)技術(shù)實(shí)踐的產(chǎn)物，...
發(fā)簡信
IP屬地：福建
-
愛飛狗技術(shù)架構(gòu)升級(jí) -
淘寶買家訂單導(dǎo)出最近想分析一下2018年10月第一次入了偉力的12428小車以后在模型上的消費(fèi)，但是從2018年到今年很多的訂單。本想自己截圖一下然后計(jì)算的，但發(fā)現(xiàn)非常的麻煩。淘寶又沒有工具...
-
新3D打印機(jī)到貨Creality Ender 515年的時(shí)候，腦袋一熱，買了一個(gè)3D打印機(jī)。當(dāng)時(shí)沒有了解清楚情況，誤買了杭州銘展網(wǎng)絡(luò)科技的MBot3D Cube打印機(jī)。以為是個(gè)MakerBot 3D的打印機(jī)。后來研究了一些...
-
IO模型演進(jìn)變化史：使用libevent和libev
構(gòu)建現(xiàn)代的server應(yīng)用程序須要以某種方法同一時(shí)候接收數(shù)百、數(shù)千甚至數(shù)萬個(gè)事件，不管它們是內(nèi)部請求還是網(wǎng)絡(luò)連接，都要有效地處理它們的操作。有很多解決方式，但事件驅(qū)動(dòng)也被廣泛...
-
HIVE快速入門教程1簡介
Apache Hive可以幫助您快速查詢和管理大型數(shù)據(jù)集。 它是Hadoop生態(tài)系統(tǒng)的ETL工具。 在本教程中，您將學(xué)習(xí)Hive的重要主題，如HQL查詢，數(shù)據(jù)提取，分區(qū)，bu...
-
你要的免費(fèi)Proxy資源全在這里了
地址：https://github.com/derekhe/ProxyPool 介紹 在《爬蟲實(shí)戰(zhàn)：從數(shù)據(jù)到產(chǎn)品》一書中，我講到了一個(gè)基于ProxyBroker的代理池。經(jīng)過...
-
使用k3s減少k8s成本
愛飛狗后臺(tái)的數(shù)據(jù)爬蟲以及數(shù)據(jù)服務(wù)器資源都部署在k8s上，使用rancher搭建。在不影響太多性能的情況下盡量選擇最低配置的機(jī)器。對于內(nèi)存不足的情況適當(dāng)?shù)氖褂媒粨Q文件代替（sw...
