阿里云官網(wǎng)內(nèi)容平臺(tái)！匯聚阿里云優(yōu)質(zhì)內(nèi)容（入門(mén)、文檔、案例、最佳實(shí)踐、直播等）！如需轉(zhuǎn)載或內(nèi)容類(lèi)合作，郵件yqgroup@service.aliyun.com 秒級(jí)回復(fù)！<br>
發(fā)簡(jiǎn)信
IP屬地：上海
-
-
spark讀取oracle數(shù)據(jù)調(diào)優(yōu)
使用spark自帶的上下界限來(lái)分區(qū)的不均勻性導(dǎo)致傳輸慢(木桶效應(yīng)): oracle結(jié)合分頁(yè)查詢(xún)防數(shù)據(jù)傳輸傾斜: 下面這種寫(xiě)法基本是串行的沒(méi)有充分利用集群的處理能力,但是感覺(jué)要...
-
scala幾個(gè)關(guān)鍵詞
public/private/protected的具體區(qū)別: 在說(shuō)明這四個(gè)關(guān)鍵字之前，先對(duì)class之間的關(guān)系做一個(gè)簡(jiǎn)單的定義，對(duì)于繼承自己的class，base class...
-
抽象數(shù)據(jù)類(lèi)型ADT
抽象數(shù)據(jù)類(lèi)型ADT是指一些數(shù)據(jù)以及對(duì)這些數(shù)據(jù)所進(jìn)行的操作的集合。這些操作可以描述數(shù)據(jù)是怎么樣的也可以允許程序通過(guò)這些操作去修改這些數(shù)據(jù)。 不要讓ADT依賴(lài)于其存儲(chǔ)介質(zhì)，盡量讓...
-
解題與設(shè)計(jì)
如果你直接解決不出來(lái)提出的這個(gè)問(wèn)題，那么試著先去解決一些相關(guān)的問(wèn)題。你能設(shè)想出一個(gè)更容易解決的與此有關(guān)的問(wèn)題嗎？一個(gè)更一般的問(wèn)題？一個(gè)更特殊的問(wèn)題？一個(gè)類(lèi)似的問(wèn)題？你能解決這...
-
架構(gòu)的典型組成部分
程序組織: 系統(tǒng)架構(gòu)首先要以概括的形式對(duì)有關(guān)系統(tǒng)做一個(gè)綜述，如果沒(méi)有綜述，要想將成千上萬(wàn)的局部圖片(或十多個(gè)單獨(dú)的類(lèi))拼為一副完整的圖畫(huà)是相當(dāng)傷腦筋的，如果你不能將它們拼接起...
-
什么是軟件架構(gòu)
開(kāi)發(fā)過(guò)程中的各種不同活動(dòng): 定義問(wèn)題 需求分析 規(guī)劃構(gòu)建 軟件架構(gòu)(高層設(shè)計(jì)) 詳細(xì)設(shè)計(jì) 編碼與調(diào)試 單元測(cè)試 集成測(cè)試 集成 系統(tǒng)測(cè)試 保障維護(hù) 構(gòu)建活動(dòng)中的基本任務(wù): 驗(yàn)...
-
需求核對(duì)表
針對(duì)功能的需求: 1.是否定義了系統(tǒng)的全部輸入，包括來(lái)源，精度，取值范圍，出現(xiàn)頻率等？ 2.是否定義了系統(tǒng)全部的輸出，包括目的地，精度，取值范圍，出現(xiàn)頻率，格式等？ 3.是否...
-
hadoop基本配置
core-site.xml: <configuration> <name>fs.defaultFS</name> <value>hdfs://node1:9000</valu...
-
最近也在研究這個(gè),請(qǐng)問(wèn)一下"spark.task.maxFailures=1, Task重試次數(shù)為1，即不重試" 那么如果這個(gè)task失敗了,豈不是沒(méi)有把這部分?jǐn)?shù)據(jù)進(jìn)行處理，或者說(shuō)筆者是特地把這個(gè)參數(shù)設(shè)置為1，任務(wù)一旦失敗,offset其實(shí)是沒(méi)有改動(dòng)的,也就是說(shuō)下次還是讀取這個(gè)offerset,這部分?jǐn)?shù)據(jù)還是會(huì)處理？
spark-streaming-kafka之createDirectStream模式
完整工程用例 最近一直在用directstream方式消費(fèi)kafka中的數(shù)據(jù)，特此總結(jié)，整個(gè)代碼工程分為三個(gè)部分一. 完整工程代碼如下(某些地方特意做了說(shuō)明, 這個(gè)代碼的部...
-
專(zhuān)注于spark相關(guān)內(nèi)容分享，github相關(guān)資料整理：https://github.com/jacksu/utils4s
