今天來說一個實(shí)用的工具:網(wǎng)站克隆。這樣的功能對于技術(shù)人員來說,不算什么大的功能,大家可以用N種辦法來實(shí)現(xiàn),各有各的奇技淫巧。今天主要介紹的是A哥的克隆工具curlMulti。借用這個功能,非技術(shù)人員也可以快速的克隆整個站點(diǎn)。
工具鏈接:
工具特點(diǎn):
- 抓取網(wǎng)站的各項(xiàng)資源html\Css\Js\RAR壓縮文件等
- 并行抓取,抓取速度快的驚人
傻瓜式操作流程
Mac演示,mac自帶了php,所以整體操作非常簡單
1:下載工具 - v2.3.3

下載v2.3.3版本
2:準(zhǔn)備工作

打開文件
修改兩行代碼:

Paste_Image.png
正常情況,改網(wǎng)址就ok。如果需要克隆的站很大很大,需要在第一行加代碼:
ini_set('memory_limit', '2048M');
3:執(zhí)行克隆
打開終端

打開終端1

打開終端2
在終端執(zhí)行如下操作:
- 右鍵site_clone1.php文件,”顯示簡介“,如圖選中文本, 復(fù)制(Ctrl+c)

找到路徑
-
在終端輸入: "cd ",然后Ctrl+v粘貼剛才復(fù)制的內(nèi)容,回車 (輸入字符不帶雙引號)
我的終端是這樣的,可以做為參考:

Paste_Image.png
- 在終端輸入:
php site_clone1.php
到這里,克隆已經(jīng)開始了。謹(jǐn)記,終端窗口不要關(guān)閉。(如果想讓關(guān)閉窗口后繼續(xù)克隆,請聯(lián)系我)
如果要克隆的網(wǎng)站比較小,如小說站,半小時就可以搞定(每秒克隆100+頁面毫無壓力)
網(wǎng)站存放目錄

網(wǎng)站目錄
雙擊index.html就可以打開已經(jīng)克隆下來的網(wǎng)站。
附:如果想要更快的克隆,如下操作:

修改并發(fā)數(shù)
可以自己感受一下改成500的效果,估計(jì)局域網(wǎng)中正在打游戲的同學(xué)就要開罵了,哈哈!好吧,我估計(jì)不會有人想測試500并發(fā)的效果,因?yàn)榫钟蚓W(wǎng)真會卡死。但是呢,如果真要測試500并發(fā),那需要在終端多執(zhí)行一行命令:
ulimit -n 1000