1.介紹 當(dāng)你使用 Snowpark API 創(chuàng)建一個(gè) UDF 時(shí)，Snowpark 庫(kù)會(huì)將你的 UDF 代碼序列化并上傳到一個(gè)Internal Stage。當(dāng)你調(diào)用 UDF...
發(fā)簡(jiǎn)信
IP屬地：北京
-
Snowpark UDFs In Scala -
Snowpark Scala Example1.版本要求 Scala：2.12 (不支持2.13)JVM for Scala: 11.x 2.Setting Up IntelliJ IDEA CE for Snowpa...
-
Snowpark 介紹
Snowpark庫(kù)為在Snowflake中以規(guī)模查詢和處理數(shù)據(jù)提供了直觀的library。使用這個(gè)library中的任意一種語(yǔ)言，你可以構(gòu)建在Snowflake中處理數(shù)據(jù)的應(yīng)...
-
Snowflake SharingWhy Share Data with Snowflake 當(dāng)你使用Snowflake作為數(shù)據(jù)提供商分享數(shù)據(jù)時(shí)，你可以管理誰(shuí)可以訪問(wèn)你的數(shù)據(jù)，并避免在不同的人員和團(tuán)隊(duì)之間同步...
-
Hudi Indexing(索引)Hudi通過(guò)一種索引機(jī)制，將給定的Hoodie key（record key + partition path）一致地映射到file ID，從而提供了高效的upserts操作...
-
HUDI基礎(chǔ)什么是Hudi？ HUDI（Hadoop Upserts Deletes and Incrementals）是一個(gè)開(kāi)源的數(shù)據(jù)湖工具，用于管理大規(guī)模數(shù)據(jù)湖中的數(shù)據(jù)。 HUDI旨...
-
-
-
23種設(shè)計(jì)模式學(xué)習(xí)總結(jié)創(chuàng)建型設(shè)計(jì)模式 主要解決對(duì)象的創(chuàng)建問(wèn)題，封裝復(fù)雜的創(chuàng)建過(guò)程，解耦對(duì)象的創(chuàng)建代碼合使用代碼。 單例模式 單例模式用來(lái)創(chuàng)建全局唯一的對(duì)象。一個(gè)類只允許創(chuàng)建一個(gè)對(duì)象，這個(gè)類就是一個(gè)...
-
編程規(guī)范
命名 1.命名的準(zhǔn)則是準(zhǔn)確的表達(dá)意義。對(duì)于不同作用域的命名，可以選擇不同的長(zhǎng)度。一般來(lái)說(shuō)，作用域小的變量（比如臨時(shí)變量），可以選擇短一些的命名方式。2.可以借助類的信息來(lái)簡(jiǎn)化...
-
設(shè)計(jì)原則：?jiǎn)我宦氊?zé)原則（Single Responsibility Principle）
單一職責(zé)原則的定義 一個(gè)類只負(fù)責(zé)完成一個(gè)職責(zé)或者功能。也就是說(shuō)，不要設(shè)計(jì)大而全的類，要設(shè)計(jì)粒度小、功能單一的類。舉個(gè)例子：如果一個(gè)類中即包含訂單的操作、又包含用戶的操作，這就...
-
面向?qū)ο笤O(shè)計(jì)
極客時(shí)間《設(shè)計(jì)模式之美》學(xué)習(xí) 如何進(jìn)行面向?qū)ο笤O(shè)計(jì)？ 在面向?qū)ο笤O(shè)計(jì)階段，我們將需求描述轉(zhuǎn)化為具體的類。可以包含以下幾部分： 劃分職責(zé)進(jìn)而識(shí)別出有哪些類； 定義類及其屬性和方...
-
面向?qū)ο螅憾嘤媒M合少用繼承
為什么不推薦使用繼承？ 雖然繼承可以解決代碼復(fù)用問(wèn)題，但繼承層次過(guò)深、過(guò)復(fù)雜，也會(huì)影響到代碼的可維護(hù)性。 組合相比繼承的優(yōu)勢(shì) 如果繼承出現(xiàn)了以上問(wèn)題，我們可以利用組合、接口、...
-
面向?qū)ο螅夯诮涌诙菍?shí)現(xiàn)編程
基于接口而非實(shí)現(xiàn)編程。這個(gè)原則是一種非常有效的提高代碼質(zhì)量的手段。越抽象、越頂層、越脫離具體某一實(shí)現(xiàn)的設(shè)計(jì)，越能提高代碼的靈活性，越能應(yīng)對(duì)未來(lái)的需求變化。好的代碼設(shè)計(jì)，不僅能...
-
面向?qū)ο螅篔ava 接口VS抽象類
抽象類的特性 不允許被實(shí)例化，只能被繼承，不能new一個(gè)抽象類的對(duì)象出來(lái)； 抽象類可以包含屬性和方法。方法既可以包含實(shí)現(xiàn)，也可以不包含，不包含代碼實(shí)現(xiàn)的方法叫做抽象方法； 子...
-
如何評(píng)判代碼質(zhì)量
1. 可維護(hù)性(maintainability) 在不破壞原有代碼設(shè)計(jì)、不引入新的bug的情況下，能夠快速地修改或者添加代碼。 2.可讀性 (readability) 需要看...
-
大數(shù)據(jù)論文學(xué)習(xí)《Dremel》--- 極客時(shí)間 《大數(shù)據(jù)經(jīng)典論文解讀》學(xué)習(xí) Dremel相比于MapReduce，其數(shù)據(jù)檢索速度快了一個(gè)數(shù)量級(jí)。它的核心思路是以下四條： 讓計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)放在同一臺(tái)Se...
-
Flink-CDC 同步Mysql數(shù)據(jù)到S3 Hudi
軟件版本 Mysql: 5.7Hadoop: 3.1.3Flink: 1.12.2Hudi: 0.9.0Hive: 2.3.7 1.Mysql建表并開(kāi)啟bin_log 2.安...
-
Spark向量化讀取Parquet文件源碼
原文：https://animeshtrivedi.github.io/spark-parquet-reading[https://animeshtrivedi.github...