從三月份開(kāi)始上城市數(shù)據(jù)團(tuán)的課（我的學(xué)習(xí)筆記是3月17日開(kāi)始），到現(xiàn)在五月中，終于差不多上完了，也看了近百個(gè)視頻。回頭一看還是個(gè)小成就。寫(xiě)一點(diǎn)總結(jié)筆記。
起緣是因?yàn)槲易龅禺a(chǎn)方面，一直有關(guān)注他們的公眾號(hào)，看到有相關(guān)課程就毫不猶豫的報(bào)了名。
城市數(shù)據(jù)團(tuán)在網(wǎng)易云課堂上一共開(kāi)了四門(mén)課。按照我學(xué)習(xí)的順序是：
- 爬蟲(chóng)入門(mén)，零編程數(shù)據(jù)爬取攻略
- 美感培養(yǎng)，數(shù)據(jù)可視化專(zhuān)題強(qiáng)化
- 小白逆襲，數(shù)據(jù)分析實(shí)戰(zhàn)進(jìn)階心理
- 從零到一，python網(wǎng)頁(yè)爬蟲(chóng)攻略
另外還有一個(gè)大鵬教你玩數(shù)據(jù)，主要就2個(gè)視頻，還有發(fā)現(xiàn)城市的秘密就是pdf，有跟他們的公眾號(hào)的就不用特別再看了。
第一個(gè)是零編程爬蟲(chóng)入門(mén)，主要先講火車(chē)頭采集器。當(dāng)時(shí)我對(duì)學(xué)編程爬蟲(chóng)還很抗拒，覺(jué)得用采集器好方便啊。這個(gè)上手也確實(shí)很快，很有成就感。用來(lái)入門(mén)挺好的。
實(shí)踐：爬了鏈家等幾個(gè)網(wǎng)站，后來(lái)不需要就沒(méi)有繼續(xù)爬。
第二個(gè)是美感培養(yǎng)，因?yàn)樽孕舙pt做的不錯(cuò)，所以有關(guān)ppt的視頻課我都略過(guò)了。這里主要是powermap的用法。因?yàn)閜owermap是excel2013年后提供的插件，所以可以u(píng)pdate一下。其中的動(dòng)態(tài)圖比較有用，我跟著做了一份廣州各區(qū)房?jī)r(jià)增長(zhǎng)的動(dòng)態(tài)圖。（正好這一年廣州房?jī)r(jià)嗖嗖的長(zhǎng)，效果好明顯的。）
后來(lái)加了bdp圖表的制作，也很方便，因?yàn)槭窃诰€平臺(tái)，上手很快，基本上看過(guò)視頻就會(huì)操作了。
第三個(gè)是數(shù)據(jù)分析實(shí)戰(zhàn)，前面講的excel一些操作技巧屬于提高辦公效率的范疇。接下來(lái)是qgis，也是我感覺(jué)最有用的，因?yàn)檫@個(gè)領(lǐng)域并不是很多人涉及，不像已經(jīng)講濫了的ppt，excel。但是做出來(lái)的分析和圖表可以很酷炫。
這個(gè)難度比較大一點(diǎn)，主要是軟件功能比較復(fù)雜，而且需要多圖層加載。比如柵格圖，就會(huì)生成一套柵格圖的圖層文件（一套，不止一個(gè)）。做完一個(gè)項(xiàng)目，文件夾里滿滿都是文件，有些自己都想不起來(lái)是干什么的了，又不敢刪掉，好煩。
如果入門(mén)不深，其實(shí)主要掌握熱力圖和柵格圖也可以過(guò)關(guān)。像泰森多邊形和德洛內(nèi)三角這些略為復(fù)雜的空間分析手段，就不用深入了，反正做出來(lái)也很難解釋給吃瓜群眾。
這個(gè)軟件對(duì)于個(gè)人專(zhuān)業(yè)幫助很大，對(duì)于建筑師來(lái)講，雖然每天都和道路，坐標(biāo)打交道，但常用的軟件還是cad，或者ps,sku這些，對(duì)archgis，qgis這些會(huì)比較陌生。這種全信息的地理平臺(tái)，可以把地域參數(shù)（比如人口，經(jīng)濟(jì)，房?jī)r(jià)增長(zhǎng)率）很直接的和經(jīng)緯度落實(shí)在一起，對(duì)于數(shù)據(jù)分析和展現(xiàn)非常的有幫助。
后來(lái)我根據(jù)學(xué)到的技能，結(jié)合廣州土地等數(shù)據(jù)分析，再用柵格圖和熱力圖等展現(xiàn)出來(lái)，寫(xiě)了一篇廣州土地出讓的分析文，因?yàn)樵谛袃?nèi)，用地理信息系統(tǒng)的大概還比較少，這類(lèi)的數(shù)據(jù)展現(xiàn)也不多，所以也比較特別，在內(nèi)部微信號(hào)發(fā)表出來(lái)后，立刻被某地產(chǎn)大號(hào)轉(zhuǎn)載，有6000+的閱讀量，也算不錯(cuò)了。
運(yùn)用qgis的缺點(diǎn)就是合適的shp文件并不是隨手可得，比如廣州2014-2015年市區(qū)劃分有很大調(diào)整，我差點(diǎn)連新區(qū)的文件都找不到，最后花了一點(diǎn)點(diǎn)錢(qián)才下載到手。而且手頭上的shp地圖也就是分區(qū)的，還沒(méi)有能劃分到街區(qū)的，所以數(shù)據(jù)還沒(méi)能落得很細(xì)，比如無(wú)法比較珠江新城（廣州的cbd）和其他周邊地區(qū)的數(shù)據(jù)。當(dāng)然還有一個(gè)辦法就得自己比較費(fèi)力的合并整理，這步工作我還沒(méi)有做。所以雖然qgis是很有用的軟件，但它的功能我可能還遠(yuǎn)遠(yuǎn)沒(méi)有發(fā)掘出來(lái)。
第四個(gè)就是python爬蟲(chóng)，也是我個(gè)人花時(shí)間最多的課程。因?yàn)橥瑫r(shí)還買(mǎi)書(shū)學(xué)習(xí)，也加入了專(zhuān)門(mén)的學(xué)習(xí)群。這也是我做筆記最多的一門(mén)課。但畢竟這是一門(mén)腳本語(yǔ)言，需要從根本上理解邏輯和代碼，和一般的軟件操作并不一樣。很坦白的講，我覺(jué)得python這門(mén)課講的不是特別特別好，雖然大鵬很深入淺出，也很努力的把重點(diǎn)集中在50個(gè)視頻左右，但網(wǎng)頁(yè)爬取是一個(gè)比較動(dòng)態(tài)的過(guò)程，每一個(gè)網(wǎng)頁(yè)都不太一樣。對(duì)于小白來(lái)說(shuō)，最后只有2個(gè)實(shí)戰(zhàn)其實(shí)是不夠的，也還不太深入?？赐暌曨l后還有挺多爬蟲(chóng)不會(huì)的，也是有點(diǎn)挫敗感的。
如果要改進(jìn)的話，個(gè)人的建議是多加入一些實(shí)戰(zhàn)課，并進(jìn)行深一點(diǎn)的拓展，比如app的爬取，甚至更高階比如panda，scapy這些。那我就不用來(lái)來(lái)去去找其他資料啦。
其他方面，數(shù)據(jù)團(tuán)的qq網(wǎng)上答疑也很及時(shí)，至少不是完全沒(méi)有回音。另外軟件給的很大方。比如qgis，anacoda這些軟件都是直接下載，真是滿方便的。
一百多節(jié)課說(shuō)過(guò)去也過(guò)去了，大多是我利用午休時(shí)間看的，半小時(shí)左右可以看1-2個(gè)視頻，感覺(jué)也不是特別辛苦，也做了滿滿一本筆記。兩個(gè)月的業(yè)余時(shí)間（不是全部）學(xué)了以上所述的滿有用的幾項(xiàng)技能，總的來(lái)說(shuō)還是很推薦的，所以寫(xiě)下此文，供大家參考，也作為自己的一項(xiàng)學(xué)習(xí)總結(jié)。日后還要多多練習(xí)，把學(xué)費(fèi)十倍百倍的掙回來(lái)（笑）。
