發(fā)簡信
IP屬地：北京
-
支付方法論支付：交易、清分、結算縱向：支付場景、支付收銀臺、支付核心服務、支付清結算服務橫向：銀行傳統(tǒng)三塊業(yè)務：存款、貸款、中間收入，支付屬于中間收入。 ...
-
Haddop：MapreduceHadoop的核心思想之一是mapreduce（分布式計算框架）Compute：計算層（處理層）HDFS：分治 一、What? 什么是MR 1、...
-
維度建模：事實表維度建模數(shù)倉領域中的事實表大致分以下三種： a. 事務事實表b. 周期快照事實表c. 累計快照事實表 一、事務事實表（稀疏表，相當于流水表） 事...
-
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對緩慢（相對與快速變化的事實表來說）的維度。 在維度建模理論中，有8種...
-
HIVE：常用分析函數(shù)
1、lag() over() lag(pay_succ_time, 1, '1990-01-01 00:00:00') over(partiti...
-
Haddop：HDFSHDFS體系結構 HDFS采用了主從（Master/Slave）結構模型，一個HDFS集群是由一個NameNode和若干個DataNode組成。...
-
HIVE：小文件合并
HDFS非常容易存儲大數(shù)據(jù)文件，如果Hive中存在過多的小文件會給namecode帶來巨大的性能壓力。同時小文件過多會影響JOB的執(zhí)行，hado...
-
HIVE：數(shù)據(jù)傾斜
1、什么是數(shù)據(jù)傾斜？ 數(shù)據(jù)分布不均勻，造成數(shù)據(jù)大量的集中到一點，造成數(shù)據(jù)熱點 2、Hadoop 框架的特性 A、不怕數(shù)據(jù)大，怕數(shù)據(jù)傾斜B、Job...
-
HIVE ：行列轉換
舉個栗子 a b 1a b 2a b 3c d ...