文·blogchong
討論哪個大數(shù)據(jù)崗位會火之前，我們先來簡單的分析一下大數(shù)據(jù)領(lǐng)域的行情。
具體的大數(shù)據(jù)的發(fā)展歷程，可以參考《閑話國內(nèi)大數(shù)據(jù)發(fā)展簡史&產(chǎn)業(yè)化落地》一文，這里重點說一下當(dāng)前的情況。
2016年，互聯(lián)網(wǎng)行業(yè)遇到了資本寒冬，拋開大公司不說，一些中小型的公司不斷的縮減預(yù)算，因為很難融到錢。
但是從大數(shù)據(jù)這個角度出發(fā)去看的話，會發(fā)現(xiàn)即使其他類型的技術(shù)崗位行情不太好，但大數(shù)據(jù)領(lǐng)域一直還是不錯的，這一方面國內(nèi)大數(shù)據(jù)政策推動的原因，另一方面是中小型的公司想拿到錢那必須有可談的技術(shù)故事，是的，那就是數(shù)據(jù)，或者說數(shù)據(jù)驅(qū)動。
所以，不管怎么說，17年，整體大數(shù)據(jù)領(lǐng)域的整體市場需求還是偏良性的(相對于其他技術(shù)類型來說)。
但是，受14年開始，大數(shù)據(jù)培訓(xùn)市場批量水流線生產(chǎn)大數(shù)據(jù)工程師的影響，目前大數(shù)據(jù)需求市場會有些小混亂，所謂混亂是指技術(shù)水平參差不齊，包括大量打著大數(shù)據(jù)旗號的傳統(tǒng)數(shù)據(jù)庫工程師(這個很大一部分原因也是培訓(xùn)機(jī)構(gòu)造成的)；企業(yè)需求招聘不清晰、對大數(shù)據(jù)崗位定位混亂。
這種亂象，從身邊獲取的簡歷，各種招聘現(xiàn)象，以及各種大數(shù)據(jù)討論社群的相關(guān)話題討論中可以看出。
并且這種亂象會持續(xù)比較長的一段時間，直到接受正統(tǒng)知識體系教育科班大數(shù)據(jù)工程師們充斥需求市場，降低大數(shù)據(jù)速成工種比例，以及企業(yè)公司對大數(shù)據(jù)有足夠的認(rèn)知之后，才會逐漸消失，市場價格才會逐漸趨于良性(當(dāng)然，那個時候大數(shù)據(jù)領(lǐng)域的技術(shù)福利就會下降了)。
還是以2017年說事，受大數(shù)據(jù)培訓(xùn)市場進(jìn)一步影響，以及受各大院校16年開始往大數(shù)據(jù)市場池子投放正規(guī)軍的影響，低門檻的大數(shù)據(jù)開發(fā)，以及相對基礎(chǔ)要求較低的數(shù)據(jù)分析類的大數(shù)據(jù)職位會有一些影響。
總體表現(xiàn)就是薪酬好像不會像以前那般好談了，然后就是缺口也在慢慢的變小，因為市場上絕大部分的號稱大數(shù)據(jù)工程師的都是處于這種階段的。
當(dāng)然，能夠上升到諸如大數(shù)據(jù)架構(gòu)師這種級別的人，依然是市場的香饃饃。
基于以上這些情況，在大數(shù)據(jù)領(lǐng)域中，還是有些崗位需求量會走高的。
是的，2017年一定會火的。
算法以及數(shù)據(jù)挖掘
當(dāng)然，這里指的算法以及數(shù)據(jù)挖掘與傳統(tǒng)的可能還是有所區(qū)別的，不管是模式還是所使用的工具，或者各種工程化的形式，區(qū)別還是蠻大的，可能不變就是算法的原理了。
國內(nèi)四五年的大數(shù)據(jù)發(fā)展落地，拋開大些的公司不說，就絕大部分一般公司來說，在基本數(shù)據(jù)處理，數(shù)據(jù)淺層價值的挖掘(最典型如報表價值的輸出)這塊已經(jīng)有足夠的累積了。
那必然會往更高層級去演化，諸如挖掘數(shù)據(jù)中的個性化，做一些更深層次的預(yù)測，以及研究內(nèi)容的深層價值，文本挖掘、NLP等，甚至是深度學(xué)習(xí)，人工智能AI的層級。
這些領(lǐng)域除了比較新的深度學(xué)習(xí)、AI等，其他其實在更早的時候都有人在研究，那在這里為何把他列到這里來說，那是因為個人數(shù)據(jù)挖掘與大數(shù)據(jù)關(guān)聯(lián)之后，很多東西都有其獨特性。
包括數(shù)據(jù)各個階段處理的模式，應(yīng)用場景的不同，實際工業(yè)生產(chǎn)中算法設(shè)計的模式(最典型如大數(shù)據(jù)模式下，偏愛于統(tǒng)計分析即樣本數(shù)對結(jié)果影響較大的算法)，甚至是算法最終工程化的模式，使用到的工具，都有很大差別。
最起碼，我個人認(rèn)為，傳統(tǒng)的數(shù)據(jù)挖掘工程師與我這里所說的數(shù)據(jù)挖掘工程師還是兩類人。
但是，我們也知道，學(xué)校里是很難有大數(shù)據(jù)挖掘這種專業(yè)存在的，所以，這個崗位的人才來源有兩種：
懂算法以及數(shù)據(jù)挖掘相關(guān)東西，補(bǔ)充大數(shù)據(jù)相關(guān)知識結(jié)構(gòu)體系，逐漸適應(yīng)大數(shù)據(jù)模式下的挖掘模式。
在大數(shù)據(jù)領(lǐng)域摸爬滾打足夠多的年份，逐漸從實操中補(bǔ)充數(shù)據(jù)挖掘相關(guān)知識體系結(jié)構(gòu)。
前一種人理論知識足夠豐富，但是在工程化的能力上以及實際應(yīng)用場景的映射上稍弱，一不留神只能在大公司能找到角色定位，因為中小公司養(yǎng)不起不能實際工程化只會理論的純算法工程師。
后一種人實操能力會比較強(qiáng)，理論相對比較薄弱，但能根據(jù)實際業(yè)務(wù)場景設(shè)計算法模型，還能負(fù)責(zé)工程化業(yè)務(wù)化，這種人在中小型公司吃得開，在大公司估計只能淪為純算法研究工程師的工程化助手。
但不管哪種，在2017年，都會迎來需求新高，并且在百家齊放的時代，野路子出身的實操數(shù)據(jù)挖掘選手反倒會更受歡迎，畢竟純算法研究的人力的成本太高。
數(shù)據(jù)爬取工程師
或許有個更為熟知的簡稱“爬蟲工程師”。
其實一直以來，大部分人對于爬蟲工程師的認(rèn)知，或許并不會歸于大數(shù)據(jù)領(lǐng)域中來，但我個人認(rèn)為最起碼從16年開始，應(yīng)該是要歸于大數(shù)據(jù)體系的。
我記得在《DT時代變革的反思》一文中(這篇是15年寫的，你看現(xiàn)在互聯(lián)網(wǎng)開放數(shù)據(jù)真的是被重視起來了，茫茫多以公開數(shù)據(jù)起家的公司)，甚至在其他相關(guān)的文章中，一直強(qiáng)調(diào)大數(shù)據(jù)時代一個很重要的數(shù)據(jù)來源，那就是互聯(lián)網(wǎng)公開數(shù)據(jù)集。
在2016年，這個特征表現(xiàn)的尤為突出，各種公司紛紛把目光定準(zhǔn)互聯(lián)網(wǎng)公開數(shù)據(jù)集，以期通過互聯(lián)網(wǎng)公開數(shù)據(jù)，挖掘其中的價值，意圖變現(xiàn)。
在他領(lǐng)域就不都說，在大數(shù)據(jù)垂直行業(yè)，比較典型的就是催生了很多以互聯(lián)網(wǎng)公開數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)來源的各種數(shù)據(jù)分析咨詢顧問公司。
關(guān)注新媒體行業(yè)的，估計沒幾個人不關(guān)注的，畢竟沒幾個人不用微信的，諸如新榜(前幾天的2017新榜大會還是蠻轟動的)，其監(jiān)測的數(shù)據(jù)應(yīng)該絕大部分都是通過檢測爬取的方式獲取的。
那么，在2017年，數(shù)據(jù)爬取只會和大數(shù)據(jù)領(lǐng)域聯(lián)結(jié)的更緊密。
作為大數(shù)據(jù)整個業(yè)務(wù)鏈路中的第一環(huán)，負(fù)責(zé)數(shù)據(jù)源的接入，有什么理由把人家單獨丟開呢？！
在2017年，“內(nèi)容價值變現(xiàn)”口號“甚囂塵上”同時，作為抓住內(nèi)容第一環(huán)，海量數(shù)據(jù)的獲取，數(shù)據(jù)爬取工程師的重要程度會逐漸被人認(rèn)可。
當(dāng)然，與此同時，上面說到的數(shù)據(jù)挖掘崗位，偏向于文本挖掘、畫像體系構(gòu)建、NLP之類的，也會更受歡迎。
(全文完)
