寫(xiě)在前面 本來(lái)是可以將數(shù)據(jù)存儲(chǔ)在 容器內(nèi)部 的。但是存在容器內(nèi)部，一旦容器被刪除掉或者容器毀壞（我親身經(jīng)歷的痛，當(dāng)時(shí)我們的大數(shù)據(jù)平臺(tái)就是運(yùn)行在docker容器內(nèi)，有次停電后，...
發(fā)簡(jiǎn)信
IP屬地：重慶
-
Docker 容器數(shù)據(jù) 持久化（系統(tǒng)學(xué)習(xí)Docker05）
-
JVM Run-Time Data Areas & 參數(shù)相關(guān)
jvm定義了各個(gè)運(yùn)行時(shí)數(shù)據(jù)區(qū)： 運(yùn)行時(shí)數(shù)據(jù)區(qū)： <=== 是一個(gè)規(guī)范，內(nèi)存結(jié)構(gòu)是一個(gè)實(shí)現(xiàn)1）部分運(yùn)行時(shí)數(shù)據(jù)區(qū)域是在 jvm 創(chuàng)建時(shí)創(chuàng)建 銷(xiāo)毀時(shí)銷(xiāo)毀2）部分運(yùn)行時(shí)數(shù)據(jù)區(qū)域是每...
-
基于Spark的電影推薦系統(tǒng)（推薦系統(tǒng)~7）
第四部分-推薦系統(tǒng)-實(shí)時(shí)推薦 本模塊基于第4節(jié)得到的模型，開(kāi)始為用戶(hù)做實(shí)時(shí)推薦，推薦用戶(hù)最有可能喜愛(ài)的5部電影。 說(shuō)明幾點(diǎn) 1.數(shù)據(jù)來(lái)源是 testData 測(cè)試集的數(shù)據(jù)。這...
-
基于Spark的電影推薦系統(tǒng)（推薦系統(tǒng)~1）
第四部分-推薦系統(tǒng)-項(xiàng)目介紹 行業(yè)背景： 快速：Apache Spark以?xún)?nèi)存計(jì)算為核心通用 ：一站式解決各個(gè)問(wèn)題，ADHOC SQL查詢(xún)，流計(jì)算，數(shù)據(jù)挖掘，圖計(jì)算完整的生態(tài)...
-
Debezium SQL Server Source Connector+Kafka+Spark+MySQL 實(shí)時(shí)數(shù)據(jù)處理
寫(xiě)在前面 前段時(shí)間在實(shí)時(shí)獲取SQLServer數(shù)據(jù)庫(kù)變化時(shí)候，整個(gè)過(guò)程可謂是坎坷。然后就想在這里記錄一下。 本文的技術(shù)棧： Debezium SQL Server Sourc...
-
Python 爬蟲(chóng)監(jiān)控女神的QQ空間新的說(shuō)說(shuō),實(shí)現(xiàn)秒贊,并發(fā)送說(shuō)說(shuō)內(nèi)容到你的郵箱
這個(gè)文章主要是在前一篇文章上新增了說(shuō)說(shuō)秒贊的功能 前一篇文章可以了解一下 那么,這次主要功能就是 監(jiān)控女神的 QQ空間,一旦女神發(fā)布新的說(shuō)說(shuō),馬上點(diǎn)贊,你的郵箱馬上就會(huì)收到說(shuō)...
-
windows下虛擬環(huán)境virtualenv的簡(jiǎn)單操作
使用豆瓣源安裝(推薦) 【推薦】python3.X安裝和pip安裝方法 pip install -i https://pypi.douban.com/simple XXX 1...
-
阿里云服務(wù)器配置過(guò)程
一:重裝系統(tǒng)我這里選擇的是CentOS7.2 1.設(shè)置JDK環(huán)境 2.更換使用配置163源 首先備份/etc/yum.repos.d/CentOS-Base.repomv ...
-
在Docker中啟動(dòng)Cloudera
寫(xiě)在前面 記錄一下，一個(gè)簡(jiǎn)單的cloudera處理平臺(tái)的構(gòu)建過(guò)程和一些基本組件的使用 前置說(shuō)明 需要一臺(tái)安裝有Docker的機(jī)器docker常用命令： 啟動(dòng)cloudera ...
-
Gitlab+Gitlab-CI+Docker實(shí)現(xiàn)持續(xù)集成(CI)與持續(xù)部署(CD)
寫(xiě)在前面 記錄一下，一個(gè)自動(dòng)化開(kāi)發(fā)部署項(xiàng)目的構(gòu)建過(guò)程與簡(jiǎn)單使用，實(shí)現(xiàn)真正的DevOps gitlab Server安裝(>=4g內(nèi)存) 步驟一：安裝依賴(lài) yum -y ins...
-
Hive安裝與簡(jiǎn)單使用并集成SparkSQL
Hive環(huán)境搭建 hive下載：http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar....
-
Hbase安裝與簡(jiǎn)單使用
Hbase安裝 wget http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.g...
-
Nginx=>Flume=>Kafka 流程總結(jié)
nginx=>flume=>kafka 編寫(xiě)flume 日志收集文件 nginx日志access.log====>flume 關(guān)于Kafka的部署 Step 1: Start...
-
Storm入門(mén),看這篇就夠了
部分一：Srorm 簡(jiǎn)介 1.1 Storm是實(shí)時(shí)的數(shù)據(jù)流，Hadoop是批量離線數(shù)據(jù) 起源背景 Twitter 開(kāi)源的一個(gè)類(lèi)似于Hadoop的實(shí)時(shí)數(shù)據(jù)處理框架 Storm是...
-
基于Spark的電影推薦系統(tǒng)（實(shí)戰(zhàn)簡(jiǎn)介）
## 寫(xiě)在前面 一直不知道這個(gè)專(zhuān)欄該如何開(kāi)始寫(xiě)，思來(lái)想去，還是暫時(shí)把自己對(duì)這個(gè)項(xiàng)目的一些想法 和大家分享 的形式來(lái)展現(xiàn)。有什么問(wèn)題，歡迎大家一起留言討論。 這個(gè)項(xiàng)目的源代碼是...
-
Debezium SQL Server Source Connector+Kafka+Spark+MySQL 實(shí)時(shí)數(shù)據(jù)處理
## 寫(xiě)在前面 前段時(shí)間在實(shí)時(shí)獲取SQLServer數(shù)據(jù)庫(kù)變化時(shí)候，整個(gè)過(guò)程可謂是坎坷。然后就想在這里記錄一下。 本文的技術(shù)棧： [Debezium SQL Server S...