歡迎使用Hawk
Advanced Crawler ETL tool written in C#/WPF
- GitHub文檔鏡像
- 歡迎使用Hawk
- 快速教程
- 主要組件介紹
- 核心功能:
- [模塊和算子]
- 常見問題
- 更新日志作者和捐贈列表
- 專題:
- 案例:
- 發(fā)布文章:
- 故事:
歡迎使用Hawk! HAWK無需編程，可見即所得的圖形化數(shù)據(jù)采集和清洗工具，依據(jù)GPL協(xié)議開源。
項目主頁: https://github.com/ferventdesert/Hawk
項目文檔: https://ferventdesert.github.io/Hawk/
下載地址: https://github.com/ferventdesert/Hawk/releases
國內(nèi)備份下載地址： https://gitee.com/deserthawk/Hawk/attach_files
示例工程文件: https://github.com/ferventdesert/Hawk-Projects/Hawk3
教學視頻地址： https://space.bilibili.com/312273788/channel/detail?cid=68345
1.介紹
Hawk的含義為“鷹”，能夠高效，準確地捕殺獵物。它的思想來源于Lisp語言，功能模仿了Linux工具awk。
特點如下：
- 智能分析網(wǎng)頁內(nèi)容，無需編程
- 所見即所得，可視化拖拽，快地實現(xiàn)轉(zhuǎn)換和過濾等數(shù)據(jù)清洗操作
- 能從各類數(shù)據(jù)庫和文件實現(xiàn)導入導出
- 任務可以被保存和復用
- 其最適合的領(lǐng)域是爬蟲和數(shù)據(jù)清洗，但其威力遠超于此。
HAWK使用C# 編寫，其前端界面使用WPF開發(fā)，因此只能運行于windows平臺，但提供命令行入口供自動化部署。
以下介紹全部基于最新的Hawk3，請使用老版本的同學盡快通過下面的地址升級最新版。
以獲取大眾點評的所有北京美食為例，使用本軟件可在10分鐘內(nèi)完成配置，在1小時之內(nèi)自動并行抓取全部內(nèi)容，并能監(jiān)視任務工作情況。而手工編寫代碼，即使是使用python，一個熟練的程序員也可能需要一天以上：
2.聯(lián)系作者
開發(fā)者： 沙漠之鷹(desert), 升哥
Hawk的支持QQ群：546750531，可通過掃描二維碼進入： （若存在QQ搜不到的情況，請加沙漠君的QQ號：424194253，我把你拖入群聊，或關(guān)注微信公眾號：沙漠之鷹），
如果Hawk幫到了你，歡迎給Hawk的GitHub點個star。 關(guān)注“沙漠之鷹”公眾號，或通過支付寶給Hawk作者打賞！
這里是貢獻者的捐贈列表。
3.教學視頻和相關(guān)資源
Hawk5的最新教學視頻都在這里：（終于放在了友愛且無廣告的B站）
https://space.bilibili.com/312273788/channel/detail?cid=68345
目錄如下：
- 入門介紹: Hawk是什么，有哪些資源和文檔，如何入門
- 任務市場和基本操作: 如何下載現(xiàn)成的任務，界面布局
- 網(wǎng)頁采集器(1) 多文檔模式 手氣不錯，抓取列表型網(wǎng)頁
- 網(wǎng)頁采集器(2) 單文檔模式 抓取詳情型網(wǎng)頁，大眾點評
- 網(wǎng)頁采集器(3) 動態(tài)嗅探 抓取瀑布流，共享參數(shù)，
- 數(shù)據(jù)清洗(1) 入門： 模塊的分類，基本操作
- 數(shù)據(jù)清洗(2) 抓取新聞網(wǎng)頁： 列表+詳情頁， 子任務的簡單使用
- 數(shù)據(jù)清洗(3) 如何下載文件 下載報紙PDF和圖片，
- 數(shù)據(jù)清洗(4) 如何讀寫數(shù)據(jù)表/數(shù)據(jù)庫/文件
- 數(shù)據(jù)清洗(5) 失敗后如何回補數(shù)據(jù)
- 子任務專輯
- 抓取手機app 萬眾期待的功能
- 多文檔模式和行列轉(zhuǎn)換 如何用正則提取多個內(nèi)容等
- 增加代理和反反爬蟲
- 編譯和二次開發(fā)
- 答疑和高級操作
友情提示：由于軟件更新頻繁，界面有較大變化。但Hawk1到Hawk3在操作思路上基本一致，只是文案和布局上有少許區(qū)別，因此老版本的視頻同樣可做重要的參考資料。視頻地址如下：
https://www.bilibili.com/video/av47601331/
4.如何閱讀文檔
由于Hawk使用非常靈活，建議您以如下方式閱讀本文檔:
- 先嘗試最簡單的例子，根據(jù)興趣閱讀下面的快速入門，一步一步按照步驟操作。
- 鏈家二手房： 學習基本操作，手氣不錯和基本數(shù)據(jù)清洗
- 大眾點評： 了解翻頁，清洗的動態(tài)傳值
- 百度百家？動態(tài)嗅探的用法
- 做兩個例子后，閱讀
Hawk一頁紙技巧，必讀，3分鐘讓您獲得大量實用的經(jīng)驗 - 成為老司機后，即可閱讀之后的詳細內(nèi)容，網(wǎng)頁采集器，動態(tài)嗅探等內(nèi)容后，也有對應的例子
- 有任何困惑，都可以在
常見問題中找到
