如何快速克隆一個網(wǎng)站

今天來說一個實(shí)用的工具:網(wǎng)站克隆。這樣的功能對于技術(shù)人員來說,不算什么大的功能,大家可以用N種辦法來實(shí)現(xiàn),各有各的奇技淫巧。今天主要介紹的是A哥的克隆工具curlMulti。借用這個功能,非技術(shù)人員也可以快速的克隆整個站點(diǎn)。

工具鏈接:

github

工具特點(diǎn):

  • 抓取網(wǎng)站的各項(xiàng)資源html\Css\Js\RAR壓縮文件等
  • 并行抓取,抓取速度快的驚人

傻瓜式操作流程

Mac演示,mac自帶了php,所以整體操作非常簡單

1:下載工具 - v2.3.3

下載v2.3.3版本

2:準(zhǔn)備工作

打開文件

修改兩行代碼:


Paste_Image.png

正常情況,改網(wǎng)址就ok。如果需要克隆的站很大很大,需要在第一行加代碼:

ini_set('memory_limit', '2048M');

3:執(zhí)行克隆

打開終端

打開終端1

打開終端2

在終端執(zhí)行如下操作:

  • 右鍵site_clone1.php文件,”顯示簡介“,如圖選中文本, 復(fù)制(Ctrl+c)
找到路徑
  • 在終端輸入: "cd ",然后Ctrl+v粘貼剛才復(fù)制的內(nèi)容,回車 (輸入字符不帶雙引號)

    我的終端是這樣的,可以做為參考:

Paste_Image.png
  • 在終端輸入:

php site_clone1.php

到這里,克隆已經(jīng)開始了。謹(jǐn)記,終端窗口不要關(guān)閉。(如果想讓關(guān)閉窗口后繼續(xù)克隆,請聯(lián)系我)

如果要克隆的網(wǎng)站比較小,如小說站,半小時就可以搞定(每秒克隆100+頁面毫無壓力)

網(wǎng)站存放目錄

網(wǎng)站目錄

雙擊index.html就可以打開已經(jīng)克隆下來的網(wǎng)站。

附:如果想要更快的克隆,如下操作:

修改并發(fā)數(shù)

可以自己感受一下改成500的效果,估計(jì)局域網(wǎng)中正在打游戲的同學(xué)就要開罵了,哈哈!好吧,我估計(jì)不會有人想測試500并發(fā)的效果,因?yàn)榫钟蚓W(wǎng)真會卡死。但是呢,如果真要測試500并發(fā),那需要在終端多執(zhí)行一行命令:

ulimit -n 1000

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 179,326評論 25 708
  • Composer Repositories Composer源 Firegento - Magento模塊Comp...
    零一間閱讀 4,021評論 1 66
  • 蠻久沒在簡書上碼字了,仔細(xì)想想,心里頗多愧疚…… 嗯,或許“愧疚”這個詞不太合適,但暫時想不到更合適的,暫且先用它...
    聆歌閱讀 499評論 0 1
  • 昨晚給孩子洗澡感冒了,咳了一晚,早晨睡了懶覺8點(diǎn)才醒。 做飯空隙收拾家務(wù),做完作業(yè)之余給他布置一份數(shù)學(xué)試卷,這粗心...
    瑜峰baby閱讀 278評論 0 0
  • 1. 為什么使用資源庫 之前,我們新建轉(zhuǎn)換或者作業(yè)的時候,都是直接保存在本地,而如果我們是多人開發(fā)的話,除了使用S...
    橘貓吃不胖閱讀 7,192評論 0 50

友情鏈接更多精彩內(nèi)容