解決數據傾斜問題

join

小表join大表使用mapjoin

大表join大表使用skewinjoin

null值多的情況使用將key拼接隨機數打散

類型不一致jion轉化為一致數據類型進行join

如果小表join大表，超過了小表定義的默認配置，但不是特別大的情況，也可以通過mapjoin的注解，強制使用mapjoin達到優(yōu)化的

group by

group by 傾斜使用skewgroup

如果group by的字段粒度太大可以先，內層嵌套更細粒度的group by

也可以拼接隨機數來進行多次group by解決

還可以開啟map端聚合，也就mapreduce中的combiner操作，來解決數據傾斜