當(dāng)處理數(shù)據(jù)超過10w條，文件超過50M，你需要考慮一款新的數(shù)據(jù)處理軟件，MS旗下Access應(yīng)該是最好上手，最便捷的一款。當(dāng)然，數(shù)據(jù)處理的工具不止這款，R、Python、Spoon同樣值得擁有！但是單單從DA的角度來看，我們關(guān)注的點在Analysis，難點BigData，用MS旗下Access足以將Data從50M10w條里瘦身。一起來學(xué)習(xí)一下！
PS：當(dāng)然，SQL結(jié)構(gòu)化查詢規(guī)則較多，尤其MS旗下Access，先Mark，后續(xù)補上Python&R（又給自己挖坑 ><）

錄入數(shù)據(jù)

打開Access，外部數(shù)據(jù)選項卡插入BigBoss（需要瘦身的data源），我保存的是excel文件，也可以是text等，你可以導(dǎo)入數(shù)據(jù)，也可以創(chuàng)建表鏈接。

Paste_Image.png

數(shù)據(jù)瘦身

創(chuàng)建查詢，就可以開始你數(shù)據(jù)瘦身之路。
點擊“user”表，你可以看到倒入的數(shù)據(jù)明細(xì)；
屏幕右下角，點擊SQL，調(diào)出查詢界面，在這里，你可以開始SQL查詢語句。

Paste_Image.png

Paste_Image.png

數(shù)據(jù)處理

作為一名DA，我們是結(jié)果導(dǎo)向型的，我們看到data的第一個想法是：我們能夠從數(shù)據(jù)中挖出什么緯度。。。這個也是我一直在思考的問題。。以下就我研究的一些緯度做簡單分享。

一、地理分布

SELECT provice_name , count(id) as times
FROM user
GROUP BY provice_name;

Paste_Image.png

REULT：可以用ORDER BY 降序(默認(rèn)ASC)，也可以手動降序

SELECT provice_name , count(id) as times
FROM user
GROUP BY provice_name
ORDER BY times DESC
;

Paste_Image.png

另，分組的條件查詢不可以用WHERE，要用HAVING。

二、轉(zhuǎn)化率

成功為1，失敗為0

SELECT level_id,
       count(level_success) as num,
       sum(level_success) as suc,
       suc/num as suc_rate
FROM user
group by level_id
;

image.png

三、留存

一天一張表（結(jié)構(gòu)完全相同）
去重，值為1，統(tǒng)計頻次

select distinct date4.ip,count(*) as how_many,1 AS has_left from date4 group by date4.ip
;

image.png

留存用戶統(tǒng)計：

select n.d as 日期, n.newuser as 新增用戶, l.has_left as 次留用戶, has_left/newuser as 次日留存率
from(
  select '0803' as d,count(1) as newuser from (SELECT t1.ip FROM date3 t1 group by t1.ip)
       ) n left join(
 select '0803' as d,count(1) as has_left from (select t1.ip from date3 t1 inner join date4 t2 on t1.ip = t2.ip group by t1.ip)
       ) l on n.d = l.d
;

image.png