1. 遇到的問題:?

? ? 現(xiàn)象: eii有6條數(shù)據(jù)符合撈數(shù)條件,但是沒有被撈出來. 也沒有日志, 也沒有修改痕跡.?

? ? 根因:? partition分區(qū)異常時,? 第二次跑會重新查數(shù)據(jù), 同時,為了支持異常重跑,會記錄異常點, 但是異常點的記錄只記錄分區(qū)和第幾條異常;? 當(dāng)?shù)诙萎惓Ｖ嘏苤匦虏閿?shù)據(jù)時,如果第一次改變了狀態(tài)的字段, 是partition的where條件字段, 則會導(dǎo)致兩次partition的撈取數(shù)據(jù)量不一致, 從而導(dǎo)致異常點錯位.?

? ? 解決辦法: 保證partitioner的where條件中, 沒有程序會修改的字段即可 .?