關(guān)注Java開發(fā)相關(guān)技術(shù)
發(fā)簡信
IP屬地：北京
-
-
System.out.println("Hello world!");
-
【源碼剖析】- Spark 新舊內(nèi)存管理方案（上）Spark 作為一個(gè)以擅長內(nèi)存計(jì)算為優(yōu)勢(shì)的計(jì)算引擎，內(nèi)存管理方案是其非常重要的模塊。作為使用者的我們，搞清楚 Spark 是如何管理內(nèi)存的，對(duì)我們編碼、調(diào)試及優(yōu)化過程會(huì)有很大...
-
GitHub入門（一）本文作者： 楊曉輝 本文鏈接： http://youngxhui.github.io/2017/09/01/協(xié)同過濾算法/ 版權(quán)聲明： 本博客所有文章除特別聲明外，均采用 C...
-
Spark Streaming的Exactly-One的事務(wù)處理和不重復(fù)輸出徹底掌握1.什么是事務(wù)？ 例如像銀行轉(zhuǎn)賬，A對(duì)B轉(zhuǎn)賬，B是否能收到多次轉(zhuǎn)賬，可能性不大；或者A轉(zhuǎn)給B的時(shí)候，A同樣費(fèi)用被扣了多次，B只收到一次，這樣也不可能。也就是說我們要做的...
-
你好，有一個(gè)小問題，kafka 的direct API不能解決這個(gè)數(shù)據(jù)消費(fèi)的問題么
為什么 Spark Streaming + Kafka 無法保證 exactly once？
Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開Spark Streaming神秘面紗④ - job 的提交與執(zhí)行[http://m.itdecent.cn/p...
-
關(guān)系數(shù)據(jù)庫SQL之高級(jí)數(shù)據(jù)查詢:去重復(fù)、組合查詢、連接查詢、虛擬表前言 接上一篇關(guān)系數(shù)據(jù)庫SQL之基本數(shù)據(jù)查詢:子查詢、分組查詢、模糊查詢，主要是關(guān)系型數(shù)據(jù)庫基本數(shù)據(jù)查詢。包括子查詢、分組查詢、聚合函數(shù)查詢、模糊查詢，本文是介紹一下關(guān)系型數(shù)...
-
劍圣喵大師，百萬暢銷書作家，500萬粉絲個(gè)人帳號(hào)意見領(lǐng)袖，省高校心理協(xié)會(huì)常務(wù)理事，網(wǎng)易新聞·網(wǎng)易號(hào)“各有態(tài)度”簽約作者，情緒管理達(dá)人，陪同讀者成就強(qiáng)大，愿得我心如明月，獨(dú)映寒夜迷途人。<br>著有《優(yōu)秀的人，從來不會(huì)輸給情緒》《掌控情緒，從來不靠忍》正在熱銷中，微信公眾號(hào)：劍圣喵大師（ID:swordpain）轉(zhuǎn)載請(qǐng)加微信：Ellude 聯(lián)系拉白。
-
Spark計(jì)算模型與I/O機(jī)制Part 1 1. Spark計(jì)算模型 1.1 Spark程序模型 首先通過一個(gè)簡單的實(shí)例了解Spark的程序模型。 1）SparkContext中的textFile函數(shù)從H...
-
Spark1.5.0的安裝和部署
一、Spark集群部署 1、軟件版本 OS版本：Ubuntu 14.04 Hadoop版本：Hadoop 2.6.0 JDK版本：Jdk1.8.0_40 Scala版本：sc...
-
白日夢(mèng)30篇——送給美麗的妳
婉柔綽約，婷婷玉立 柔情似水，如碧波蕩漾 甜美的微笑，月牙的慧眼 讓人停眸，讓人心動(dòng) 大家閨秀的氣質(zhì)，小家碧玉的神色 讓人憐愛，讓人守護(hù) 靜待妳驕傲自由地綻放 風(fēng)中的向陽花。...
-
Yarn Client模式下啟動(dòng)Spark的配置問題
由于YARN client模式對(duì)用戶不直接暴露用于提交YARN程序的輔助程序，因此許多參數(shù)是通過環(huán)境變量來設(shè)置的，可以在spark-env.sh中進(jìn)行如下配置： 這是我的sp...
-
Spark算子：統(tǒng)計(jì)RDD分區(qū)中的元素及數(shù)量
Spark RDD是被分區(qū)的，在生成RDD時(shí)候，一般可以指定分區(qū)的數(shù)量，如果不指定分區(qū)數(shù)量，當(dāng)RDD從集合創(chuàng)建時(shí)候，則默認(rèn)為該程序所分配到的資源的CPU核數(shù)，如果是從HDFS...
個(gè)人介紹