發(fā)簡信
IP屬地：廣東
-
構(gòu)建并生成日期維度數(shù)據(jù)表
基于 MySQL 生成日期維度數(shù)據(jù)創(chuàng)建日期維度數(shù)據(jù)表DROP TABLE IF EXISTS `date_dim`;CREATE TABLE IF NOT EXISTS `d...
-
Flink 在 Idea上提交任務(wù)到遠(yuǎn)程服務(wù)器
Flink自身提供了遠(yuǎn)程提交任務(wù)的環(huán)境,源碼如下: 請查看StreamExecutionEnvironment 類中 createRemoteEnvironment 方法 遠(yuǎn)...
-
Flink 本地運(yùn)行日志配置
方法一: 使用 log4j.properties在 src/main/resources 中添加 log4j.properties 文件###################...
-
使用 Imply 安裝部署 Druid 集群并測試
下載 imply 安裝包[root@node01 opt]# wget https://static.imply.io/release/imply-3.3.3.tar.gz ...
-
Flume 采集 kafka 數(shù)據(jù)實(shí)時(shí)寫入 Kudu
創(chuàng)建 JsonKuduOperationsProducer.java 用于處理 Json 字符串寫入Kuduimport com.alibaba.fastjson.JSON;...
-
Cloudera Manager中安裝部署Flink服務(wù)
制作Flink的Parcel包和csd文件 將Parcel包和manifest.json文件部署到httpd服務(wù)中[root@node01 ~]# mkdir -p /var...
-
利用 StreamSets 實(shí)現(xiàn)將 SQL Server 中數(shù)據(jù)實(shí)時(shí)同步寫入 Kudu
環(huán)境準(zhǔn)備SQL Server 中創(chuàng)建測試庫表CREATE DATABASE test;CREATE TABLE [dbo].[cdc_test] ( [id] int I...
-
利用StreamSets實(shí)現(xiàn)MySQL中變化數(shù)據(jù)實(shí)時(shí)寫入Kudu
環(huán)境準(zhǔn)備開啟MariaDB的Binlog日志修改/etc/my.conf文件，在配置文件[mysqld]下增加如下配置server-id=999log-bin=mysql-b...
-
SQL Server 啟用或禁用 CDC 功能
查看庫表是否啟動(dòng) CDC-- 查看數(shù)據(jù)庫是否啟用cdcSELECT name,is_cdc_enabled FROM sys.databases WHERE is_cdc_e...
-
Apache Flink 基于 CDH-6.3.2 源碼編譯
修改 maven 的倉庫地址[root@node01 cloudera]# cat /usr/share/maven/conf/settings.xml... </mirr...
-
制作Flink的Parcel包和csd文件
配置java，maven等環(huán)境變量java:export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHe...
-
解決 NiFi 節(jié)點(diǎn)本地流與集群流不一致導(dǎo)致無法加入集群
異常信息org.apache.nifi.controller.UninheritableFlowException: Failed to connect node to cl...
-
解決 Elasticsearch 分頁查詢記錄超過10000時(shí)異常
問題一: 查詢結(jié)果中 hits.total.value 值最大為10000的限制解決方法:請求時(shí)設(shè)置 "track_total_hits": trueRest 請求設(shè)置方法:...
-
Linux 下安裝 Oracle 客戶端
使用 ZIP文件離線安裝 Oracle 客戶端下載所需的 Instant Client ZIP文件。[root@cdh01 ~]# mkdir /opt/oracle[roo...
-
NiFi 示例將 MySQL 中數(shù)據(jù)導(dǎo)出并轉(zhuǎn)換為 JSON 發(fā)送到 Kafka
添加 ExecuteSQL 處理器添加 ExecuteSQL 到面板image配置 ExecuteSQLimage配置 DBCPConnectionPool更改 DBCPCo...
-
Linux 下離線安裝 MariaDB
下載 MariaDB 安裝包下載地址: https://downloads.mariadb.org/ 卸載系統(tǒng)自帶的mysql#檢查mariadb是否存在[root@cdh0...
-
NiFi 集群安裝部署及使用
NiFi 架構(gòu)imageNiFi在主機(jī)操作系統(tǒng)上的JVM內(nèi)執(zhí)行。JVM上NiFi的主要組件如下：Web ServerWeb服務(wù)器的目的是托管NiFi基于HTTP的命令和控制A...
-
Structured Streaming 官方示例運(yùn)行及問題解決
示例代碼import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org....
