解讀2016之大數(shù)據(jù)篇:跨越巔峰,邁向成熟 http://www.infoq.com/cn/articles/interpretation-of-2016-of-the-big-data
WhereHowsWhereHows是LinkedIn在2016年開源的一套數(shù)據(jù)目錄發(fā)現(xiàn)和數(shù)據(jù)世系管理的平臺??梢援?dāng)作企業(yè)的中心元數(shù)據(jù)管理系統(tǒng),對接不同的數(shù)據(jù)存儲和數(shù)據(jù)處理系統(tǒng),從而能夠全面的管理企業(yè)數(shù)據(jù)目錄、數(shù)據(jù)結(jié)構(gòu)以及數(shù)據(jù)世系。
Alation是一套企業(yè)級的數(shù)據(jù)管理和數(shù)據(jù)發(fā)現(xiàn)的平臺,與WhereHows不同的是Alation并不是一個開源的平臺,而是一套商用的平臺。除了基礎(chǔ)的數(shù)據(jù)管理、數(shù)據(jù)發(fā)現(xiàn),這個平臺還支持多角色的協(xié)作,因為對于數(shù)據(jù)相關(guān)的工作,更好的協(xié)作才能提高生產(chǎn)的效率。Alation公司是成立于2012年的一家創(chuàng)業(yè)公司,2015年獲得了900萬美金的A輪融資。
LinkedIn 開源其數(shù)據(jù)發(fā)現(xiàn)和管理工具 WhereHows – 開源派 http://osp.io/archives/1571
LinkedIn 近期開源了一個元數(shù)據(jù)中心工具 WhereHows,已經(jīng)在 LinkedIn 內(nèi)部長期使用。WhereHows 方便內(nèi)部員工發(fā)現(xiàn)公司內(nèi)部的數(shù)據(jù),跟蹤數(shù)據(jù)集的移動和查看各種內(nèi)部工具和服務(wù)的動向。
WhereHows 是 LinkedIn 構(gòu)建的數(shù)據(jù)發(fā)現(xiàn)和大數(shù)據(jù)宗系工具,集成了所有主要的數(shù)據(jù)處理系統(tǒng),可以進行目錄收集和元數(shù)據(jù)操作。
WhereHows 可以解決很多公司面臨的大數(shù)據(jù)內(nèi)部分享的問題,提供一個平臺讓員工進行企業(yè)有價值的數(shù)據(jù)發(fā)現(xiàn)和進行一些更深度的分享。在當(dāng)前,LinkedIn 的 WhereHows 存儲的數(shù)據(jù): 50,000 數(shù)據(jù)集,14,000 評論和 3500 萬作業(yè)執(zhí)行。
LinkedIn 是 Hadoop 的用戶,但也支持其他系統(tǒng),比如 Oracle 數(shù)據(jù)庫,Informatica 等等。
WhereHows 提供給開發(fā)者兩種訪問方式:API(數(shù)據(jù)處理)和 Web 接口(數(shù)據(jù)發(fā)現(xiàn)和社區(qū)協(xié)作),允許員工查看一個數(shù)據(jù)集的宗系,進行注釋或者其他操作。

//
GitHub - linkedin/WhereHows: Data Discovery and Lineage for Big Data Ecosystem https://github.com/linkedin/WhereHows
//wiki
Home · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki
//Getting-Started
Getting Started · linkedin/WhereHows Wiki · GitHub https://github.com/LinkedIn/Wherehows/wiki/Getting-Started
//
Set Up New Metadata ETL Jobs · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Set-Up-New-Metadata-ETL-Jobs
//
Backend API · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Backend-API#etl-job-post
//Architecture
Architecture · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Architecture
//
Quick Start with VM · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Quick-Start-With-VM
//WhereHows-VM_免費高速下載|百度網(wǎng)盤-分享無限制 http://pan.baidu.com/s/1qXi2XWg?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0#list/path=%2FWhereHows-VM
//
Multiproduct Metadata ETL · linkedin/WhereHows Wiki · GitHub https://github.com/linkedin/WhereHows/wiki/Multiproduct-Metadata-ETL
WhereHows首頁、文檔和下載 - 數(shù)據(jù)發(fā)現(xiàn)和管理工具 - 開源中國社區(qū) https://www.oschina.net/p/wherehows
WhereHows 是 LinkedIn 公司一個用于大數(shù)據(jù)發(fā)現(xiàn)和管理的工具,集成了所有主要的數(shù)據(jù)處理系統(tǒng),可以進行分類收集和元數(shù)據(jù)操作。方便內(nèi)部員工發(fā)現(xiàn)公司內(nèi)部的數(shù)據(jù),跟蹤數(shù)據(jù)集的移動和查看各種內(nèi)部工具和服務(wù)的動向。
WhereHows 可以解決很多公司面臨的大數(shù)據(jù)內(nèi)部分享的問題,提供一個平臺讓員工進行企業(yè)有價值的數(shù)據(jù)發(fā)現(xiàn)和進行一些更深度的分享。當(dāng)前 LinkedIn 的 WhereHows 存儲的數(shù)據(jù): 50,000 數(shù)據(jù)集,14,000 評論和 3500 萬作業(yè)執(zhí)行。
LinkedIn開源元數(shù)據(jù)管理工具WhereHows - IT經(jīng)理網(wǎng) http://www.ctocio.com/ccnews/20483.html
職業(yè)社交平臺LinkedIn今天開源了元數(shù)據(jù)管理工具WhereHows(GitHub),該工具可以幫企業(yè)員工發(fā)現(xiàn)和分享企業(yè)內(nèi)部的元數(shù)據(jù)。
LinkedIn部署了很多數(shù)據(jù)存儲和處理系統(tǒng),包括Teradata的數(shù)據(jù)倉庫、開源的Hadoop分布式文件系統(tǒng),開源的Hive數(shù)據(jù)倉庫以及自己開發(fā)的開源試試分析軟件Pinot。而WhereHows則能幫LinkedIn的員工檢索和分享LinkedIn的HDFS系統(tǒng)中超過25000個共享數(shù)據(jù)集。在數(shù)據(jù)爆炸的今天,隨時掌握企業(yè)內(nèi)部有價值信息的情況(元數(shù)據(jù))非常重要,這能大大提高企業(yè)員工的信息搜索和分享深度,盤活整個企業(yè)的數(shù)據(jù)資產(chǎn)。
LinkedIn此前也開源過很多大數(shù)據(jù)工具,例如上文提到的Pinot,以及Azkaban、Kafka、Samza和Voldemort等,但在數(shù)據(jù)發(fā)現(xiàn)和數(shù)據(jù)目錄方面的工具,WhereHows還是頭一個。對于那些數(shù)據(jù)架構(gòu)復(fù)雜的企業(yè)來說,WhereHows具有很高的實用價值。而對于LinkedIn來說,開源高價值高人氣的工具能夠幫助公司吸引優(yōu)秀人才,這一點比什么都重要。
WhereHows的詳細文檔在這里。