第四天

對MySQL庫的數(shù)據(jù)進(jìn)行采集，篩選去除臟數(shù)據(jù)。

第五天

采集后臺日志數(shù)據(jù)

模擬后臺日志數(shù)據(jù)，

1.讀取文件

2.從MySQL元數(shù)據(jù)庫中查詢是否處理過

3.進(jìn)行對比，找出沒有被處理的文件，進(jìn)行采集

4讀取每一行文件

5將每一行轉(zhuǎn)化成model

6調(diào)用model生成sql語句，插入MySQL

7將model調(diào)用寫的工具轉(zhuǎn)化為csv:用的split（）函數(shù)

8.記錄元數(shù)據(jù)本次有哪些文件被處理

9.結(jié)束