日夜噜久久,免费福利视频久久,99热只有精品在这里

一、Spark on Hive 和 Hive on Spark的區(qū)別

1）Spark on Hive

Spark on Hive 是Hive只作為存儲(chǔ)角色，Spark負(fù)責(zé)sql解析優(yōu)化，執(zhí)行。這里可以理解為Spark 通過Spark SQL 使用Hive 語(yǔ)句操作Hive表 ,底層運(yùn)行的還是 Spark RDD。具體步驟如下：

通過SparkSQL，加載Hive的配置文件，獲取到Hive的元數(shù)據(jù)信息；
獲取到Hive的元數(shù)據(jù)信息之后可以拿到Hive表的數(shù)據(jù)；
通過SparkSQL來操作Hive表中的數(shù)據(jù)。

具體實(shí)現(xiàn)在我之前的博文中已經(jīng)講過，在這里就不再重復(fù)了，實(shí)現(xiàn)很簡(jiǎn)單，可以參考：大數(shù)據(jù)Hadoop之——Spark SQL+Spark Streaming

【總結(jié)】Spark使用Hive來提供表的metadata信息。

2）Hive on Spark（本章實(shí)現(xiàn)）

Hive on Spark是Hive既作為存儲(chǔ)又負(fù)責(zé)sql的解析優(yōu)化，Spark負(fù)責(zé)執(zhí)行。這里Hive的執(zhí)行引擎變成了Spark，不再是MR，這個(gè)要實(shí)現(xiàn)比Spark on Hive麻煩很多, 必須重新編譯你的spark和導(dǎo)入jar包，不過目前大部分使用的確實(shí)是spark on hive。

Hive默認(rèn)使用MapReduce作為執(zhí)行引擎，即Hive on MapReduce。實(shí)際上，Hive還可以使用Tez和Spark作為其執(zhí)行引擎，分別為Hive on Tez和Hive on Spark。由于MapReduce中間計(jì)算均需要寫入磁盤，而Spark是放在內(nèi)存中，所以總體來講Spark比MapReduce快很多。因此，Hive on Spark也會(huì)比Hive on MapReduce快。由于Hive on MapReduce的缺陷，所以企業(yè)里基本上很少使用了。

【總結(jié)】hive on spark大體與spark on hive結(jié)構(gòu)類似， $\color{red}{只是SQL引擎不同，但是計(jì)算引擎都是spark}$ ！

參考文檔：

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark
https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark:+Getting+Started#HiveonSpark:GettingStarted-VersionCompatibility
https://cwiki.apache.org/confluence/display/Hive/HiveDeveloperFAQ#HiveDeveloperFAQ-HowdoIimportintoEclipse?

二、Hive on Spark實(shí)現(xiàn)

編譯Spark源碼

要使用Hive on Spark，所用的Spark版本必須不包含Hive的相關(guān)jar包，hive on spark 的官網(wǎng)上說“Note that you must have a version of Spark which does not include the Hive jars”。在spark官網(wǎng)下載的編譯的Spark都是有集成Hive的，因此需要自己下載源碼來編譯，并且編譯的時(shí)候不指定Hive。最終版本： $\color{red}{Hadoop3.3.1+Spark2.3.0+Hive3.1.2}$ ，其實(shí)主要是spark和hive版本對(duì)應(yīng)上就行，hadoop版本好像沒那么嚴(yán)格，所以這里hadoop版本我使用當(dāng)前最新版本，但是還是建議使用hive的pom.xml配置文件里配置的版本。

1）先下載hive源碼包查看spark版本

$ cd /opt/bigdata/hadoop/software
$ wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-src.tar.gz
$ tar -zxvf apache-hive-3.1.2-src.tar.gz
$ egrep 'spark.version|hadoop.version' apache-hive-3.1.2-src/pom.xml

1.png

2）下載spark

下載地址：https://archive.apache.org/dist/spark/spark-2.3.0/

2.png

$ cd /opt/bigdata/hadoop/software
# 下載
$ wget http://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0.tgz

3）解壓編譯

# 解壓
$ tar -zxvf spark-2.3.0.tgz
$ cd spark-2.3.0
# 開始編譯，注意hadoop版本
$ ./dev/make-distribution.sh --name without-hive --tgz -Pyarn -Phadoop-2.7 -Dhadoop.version=3.3.1 -Pparquet-provided -Porc-provided -Phadoop-provided
# 或者（這里不執(zhí)行下面這句，因?yàn)楦厦娴葍r(jià)）
$ ./dev/make-distribution.sh --name "without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided,orc-provided"
命令解釋：
-Phadoop-3.3 \  -Dhadoop.version=3.3.1 \ ***指定hadoop版本為3.3.1
--name without-hive hive 是編譯文件的名字參數(shù)
--tgz ***壓縮成tgz格式
-Pyarn 是支持yarn
-Phadoop-2.7 是支持的hadoop版本，一開始使用的是3.3后來提示hadoop3.3不存在，只好改成2.7，編譯成功
-Dhadoop.version=3.3.1 運(yùn)行環(huán)境

但是發(fā)現(xiàn)編譯卡住了，原來編譯會(huì)自動(dòng)下載maven和scala，存放在build目錄下，如圖：

3.png

自動(dòng)下載完maven和scala，就開始編譯了，編譯耗時(shí)還是比較久，慢慢等待編譯結(jié)束吧。

編譯花了半個(gè)小時(shí)左右，終于編譯完成了。編譯的時(shí)間太漫長(zhǎng)，下面我也會(huì)把我編譯好的spark包放在網(wǎng)盤上供大家下載使用。

4.png

5.png

在當(dāng)前目錄下就有編譯好的spark包

$ ll

6.png

4）解壓

$ tar -zxvf spark-2.3.0-bin-without-hive.tgz -C /opt/bigdata/hadoop/server/
$ cd /opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive
$ ll

7.png

5）把spark jar包上傳到HDFS

【溫馨提示】hive-site.xml文件里配置需要。

$ cd /opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive/
### 創(chuàng)建日志存放目錄
$ hadoop fs -mkdir -p hdfs://hadoop-node1:8082/tmp/spark
### 在hdfs上創(chuàng)建存放jar包目錄
$ hadoop fs -mkdir -p /spark/spark-2.4.5-jars
## 上傳jars到HDFS
$ hadoop fs -put ./jars/* /spark/spark-2.4.5-jars/

如果使用了打包好的jar包，hive操作時(shí)會(huì)報(bào)如下錯(cuò)誤：

$\color{red}{ Failed}$ to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session c8c46c14-4d2a-4f7e-9a12-0cd62bf097db)'
$\color{red}{FAILED}$ : Execution $\color{red}{Error}$ , return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session c8c46c14-4d2a-4f7e-9a12-0cd62bf097db

6）打包spark jar包并上傳到HDFS

【溫馨提示】spark-default.xml文件需要配置打包好的jar包，spark-submit會(huì)調(diào)用。

$ cd /opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive/
$ jar cv0f spark2.3.0-without-hive-libs.jar -C ./jars/ .
$ ll
### 在hdfs上創(chuàng)建存放jar包目錄
$ hadoop fs -mkdir -p /spark/jars
## 上傳jars到HDFS
$ hadoop fs -put spark2.3.0-without-hive-libs.jar /spark/jars/

如果不打包，則會(huì)報(bào)如下錯(cuò)誤：

Exception in thread "main" java.io.FileNotFoundException: $\color{red}{File does not exist}$ : hdfs://hadoop-node1:8082/spark/spark-2.3.0-jars/*.jar
at org.apache.hadoop.hdfs.DistributedFileSystem $29.doCall(DistributedFileSystem.java:1756) at org.apache.hadoop.hdfs.DistributedFileSystem$ 29.doCall(DistributedFileSystem.java:1749)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1764)
at org.apache.spark.deploy.yarn.ClientDistributedCacheManager $anonfun$1.apply(ClientDistributedCacheManager.scala:71) at org.apache.spark.deploy.yarn.ClientDistributedCacheManager$ anonfun $1.apply(ClientDistributedCacheManager.scala:71) at scala.collection.MapLike$ class.getOrElse(MapLike.scala:128)
at scala.collection.AbstractMap.getOrElse(Map.scala:59)
at org.apache.spark.deploy.yarn.ClientDistributedCacheManager.addResource(ClientDistributedCacheManager.scala:71)
at org.apache.spark.deploy.yarn.Client.org $apache$ spark $deploy$ yarn $Client$$distribute$ 1(Client.scala:480)
at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:517)
at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:863)
at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:169)
at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:164)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:500)
at org.apache.spark.SparkContext $.getOrCreate(SparkContext.scala:2486) at org.apache.spark.sql.SparkSession$ Builder $anonfun$7.apply(SparkSession.scala:930) at org.apache.spark.sql.SparkSession$Builder$ anonfun $7.apply(SparkSession.scala:921) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.SparkSession$ Builder.getOrCreate(SparkSession.scala:921)
at org.apache.spark.examples.SparkPi $.main(SparkPi.scala:31) at org.apache.spark.examples.SparkPi.main(SparkPi.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52) at org.apache.spark.deploy.SparkSubmit$ .org $apache$ spark $deploy$ SparkSubmit$$runMain(SparkSubmit.scala:879)
at org.apache.spark.deploy.SparkSubmit $.doRunMain$ 1(SparkSubmit.scala:197)
at org.apache.spark.deploy.SparkSubmit $.submit(SparkSubmit.scala:227) at org.apache.spark.deploy.SparkSubmit$ .main(SparkSubmit.scala:136)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

7）配置

1、配置spark-defaults.conf

$ cd /opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive/conf
# copy一個(gè)配置文件
$ cp spark-defaults.conf.template spark-defaults.conf

spark-defaults.conf修改內(nèi)容如下：

spark.master                     yarn
spark.home                       /opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop-node1:8082/tmp/spark
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.executor.memory            1g
spark.driver.memory              1g
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.yarn.archive               hdfs:///spark/jars/spark2.3.0-without-hive-libs.jar
spark.yarn.jars                  hdfs:///spark/jars/spark2.3.0-without-hive-libs.jar


### 參數(shù)解釋，不用復(fù)制到配置文件中
# spark.master指定Spark運(yùn)行模式，可以是yarn-client、yarn-cluster...

# spark.home指定SPARK_HOME路徑

# spark.eventLog.enabled需要設(shè)為true

# spark.eventLog.dir指定路徑，放在master節(jié)點(diǎn)的hdfs中，端口要跟hdfs設(shè)置的端口一致（默認(rèn)為8020），否則會(huì)報(bào)錯(cuò)

# spark.executor.memory和spark.driver.memory指定executor和dirver的內(nèi)存，512m或1g，既不能太大也不能太小，因?yàn)樘∵\(yùn)行不了，太大又會(huì)影響其他服務(wù)

2、配置spark-env.sh

$ cd /opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive/conf
$ cp spark-env.sh.template spark-env.sh
# 在spark-env.sh添加如下內(nèi)容
$ vi spark-env.sh
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
export HADOOP_CONF_DIR={HADOOP_HOME}/etc/hadoop/

# 加載
$ source spark-env.sh

在Yarn模式運(yùn)行時(shí)，需要將以下三個(gè)包放在HIVE_HOME/lib下：scala-library、spark-core、spark-network-common。

$ cd /opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive
# 先刪
$ rm -f ../apache-hive-3.1.2-bin/lib/scala-library-*.jar
$ rm -f ../apache-hive-3.1.2-bin/lib/spark-core_*.jar
$ rm -f ../apache-hive-3.1.2-bin/lib/spark-network-common_*.jar

# copy這三個(gè)jar到hive lib目錄下
$ cp jars/scala-library-*.jar ../apache-hive-3.1.2-bin/lib/
$ cp jars/spark-core_*.jar ../apache-hive-3.1.2-bin/lib/
$ cp jars/spark-network-common_*.jar ../apache-hive-3.1.2-bin/lib/

3、配置hive-site.xml

$ cd /opt/bigdata/hadoop/server/apache-hive-3.1.2-bin/conf/

#配置hive-site.xml，主要mysql數(shù)據(jù)庫(kù)
$ cat << EOF > hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>

<!-- 配置hdfs存儲(chǔ)目錄 -->
<property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive_remote/warehouse</value>
</property>

<!-- 所連接的 MySQL 數(shù)據(jù)庫(kù)的地址，hive_remote是數(shù)據(jù)庫(kù)，程序會(huì)自動(dòng)創(chuàng)建，自定義就行 -->
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://hadoop-node1:3306/hive_remote2?createDatabaseIfNotExist=true&amp;useSSL=false&amp;serverTimezone=Asia/Shanghai</value>
</property>

<!-- 本地模式
<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>
-->

<!-- MySQL 驅(qū)動(dòng) -->
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

<!-- mysql連接用戶 -->
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>

<!-- mysql連接密碼 -->
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
</property>

<!--元數(shù)據(jù)是否校驗(yàn)-->
<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
</property>

<property>
  <name>system:user.name</name>
  <value>root</value>
  <description>user name</description>
</property>

<!-- host -->
<property>
  <name>hive.server2.thrift.bind.host</name>
  <value>hadoop-node1</value>
  <description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>

<!-- hs2端口 -->
<property>
  <name>hive.server2.thrift.port</name>
  <value>11000</value>
</property>

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://hadoop-node1:9083</value>
</property>

<!--Spark依賴位置，上面上傳jar包的hdfs路徑-->
<property>
    <name>spark.yarn.jars</name>
    <value>hdfs:///spark/spark-2.3.0-jars/*.jar</value>
</property>

<!--Hive執(zhí)行引擎，使用spark-->
<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>

<!--Hive和spark連接超時(shí)時(shí)間-->
<property>
    <name>hive.spark.client.connect.timeout</name>
    <value>10000ms</value>
</property>

</configuration>
EOF

8）設(shè)置環(huán)境變量

在/etc/profile添加如下配置：

export HIVE_HOME=/opt/bigdata/hadoop/server/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH
export SPARK_HOME=/opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive
export PATH=$SPARK_HOME/bin:$PATH

加載

$ source /etc/profile

9）初始化數(shù)據(jù)庫(kù)（mysql）

不清楚的可以先看一下這篇文章大數(shù)據(jù)Hadoop之——數(shù)據(jù)倉(cāng)庫(kù)Hive

# 初始化，--verbose：查詢?cè)斍椋梢圆患?$ schematool -initSchema -dbType mysql --verbose

10）啟動(dòng)或者重啟hive的metstore服務(wù)

# 先查進(jìn)程是否存在，存在則kill掉
$ ss -atnlp|grep 9083
# 啟動(dòng)metstore服務(wù)
$ nohup hive --service metastore &

11）測(cè)試驗(yàn)證

先驗(yàn)證編譯好的spark是否ok，就用spark提供的示例：SparkPI

$ spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1G \
--num-executors 3 \
--executor-memory 1G \
--executor-cores 1 \
/opt/bigdata/hadoop/server/spark-2.3.0-bin-without-hive/examples/jars/spark-examples_*.jar 10

8.png

從上圖發(fā)現(xiàn)編譯好的spark包是沒問題的，接下來就是驗(yàn)證hive提交spark任務(wù)

$ mkdir /opt/bigdata/hadoop/data/spark
$ cat << EOF > /opt/bigdata/hadoop/data/spark/test1230-data
1,phone
2,music
3,apple
4,clothes
EOF

# 啟動(dòng)hive
$ hive
# 創(chuàng)建表，通過逗號(hào)分隔字段
create table test1230(id string,shop string) row format delimited fields terminated by ',';
# 從local加載數(shù)據(jù)，這里的local是指hs2服務(wù)所在機(jī)器的本地linux文件系統(tǒng)
load data local inpath '/opt/bigdata/hadoop/data/spark/test1230-data' into table test1230;
# 通過insert添加數(shù)據(jù)，會(huì)提交spark任務(wù)
select * from test1230;
select count(*) from test1230;

9.png

最后提供我上面編譯好的spark2.3.0版本的包，下載地址如下：

鏈接：https://pan.baidu.com/s/1OY_Mn8UdRkTiiMktjQ3wlQ
提取碼：8888

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

大數(shù)據(jù)Hadoop之——Spark on Hive 和 Hive on Spark的區(qū)別與實(shí)現(xiàn)

大數(shù)據(jù)Hadoop之——Spark on Hive 和 Hive on Spark的區(qū)別與實(shí)現(xiàn)

一、Spark on Hive 和 Hive on Spark的區(qū)別

1）Spark on Hive

2）Hive on Spark（本章實(shí)現(xiàn)）

二、Hive on Spark實(shí)現(xiàn)

1）先下載hive源碼包查看spark版本

2）下載spark

3）解壓編譯

4）解壓

5）把spark jar包上傳到HDFS

6）打包spark jar包并上傳到HDFS

7）配置

1、配置spark-defaults.conf

2、配置spark-env.sh

3、配置hive-site.xml

8）設(shè)置環(huán)境變量

9）初始化數(shù)據(jù)庫(kù)（mysql）

10）啟動(dòng)或者重啟hive的metstore服務(wù)

11）測(cè)試驗(yàn)證

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

大數(shù)據(jù)Hadoop之——Spark on Hive 和 Hive on Spark的區(qū)別與實(shí)現(xiàn)

一、Spark on Hive 和 Hive on Spark的區(qū)別

1）Spark on Hive

2）Hive on Spark（本章實(shí)現(xiàn)）

二、Hive on Spark實(shí)現(xiàn)

1）先下載hive源碼包查看spark版本

2）下載spark

3）解壓編譯

4）解壓

5）把spark jar包上傳到HDFS

6）打包spark jar包并上傳到HDFS

7）配置

1、配置spark-defaults.conf

2、配置spark-env.sh

3、配置hive-site.xml

8）設(shè)置環(huán)境變量

9）初始化數(shù)據(jù)庫(kù)（mysql）

10）啟動(dòng)或者重啟hive的metstore服務(wù)

11）測(cè)試驗(yàn)證

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

一、Spark on Hive 和 Hive on Spark的區(qū)別

二、Hive on Spark實(shí)現(xiàn)

2、配置spark-env.sh