如何在Apache Hive上使用YARN？

2022-04-11 11:21:39

海牛学院的 | 第 585 期

本文预计阅读 | 4 分钟

YARN是一种软件重写，可将MapReduce的资源管理和调度功能与数据处理组件分离开来，从而使Hadoop支持更多样化的处理方法和更广泛的应用程序。例如，Hadoop集群现在可以与MapReduce批处理作业同时运行交互式查询和流数据应用程序。接下来，我们将在Apache Hive上使用Apache YARN。

将文件添加到yarn-site.xml你的/usr/local/hadoop/etc/hadoop文件夹中，其中包含以下内容：

<configuration>  <property>    <name>yarn.app.mapreduce.am.resource.mb</name>    <value>1024</value>  </property>  <property>    <name>yarn.app.mapreduce.am.command-opts</name>    <value>-Xmx768m</value>  </property>  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>    <description>Execution framework.</description>  </property>  <property>    <name>mapreduce.map.cpu.vcores</name>    <value>1</value>    <description>The number of virtual cores required for each map task.</description>  </property>  <property>    <name>mapreduce.reduce.cpu.vcores</name>    <value>1</value>    <description>The number of virtual cores required for each map task.</description>  </property>  <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>  <property>    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property>  <property>    <name>mapreduce.map.memory.mb</name>    <value>1024</value>    <description>Larger resource limit for maps.</description>  </property>  <property>    <name>mapreduce.map.java.opts</name>    <value>-Xmx768m</value>    <description>Heap-size for child jvms of maps.</description>  </property>  <property>    <name>mapreduce.reduce.memory.mb</name>    <value>1024</value>    <description>Larger resource limit for reduces.</description>  </property>  <property>    <name>mapreduce.reduce.java.opts</name>    <value>-Xmx768m</value>    <description>Heap-size for child jvms of reduces.</description>  </property>  <property>    <name>mapreduce.jobtracker.address</name>    <value>jobtracker.alexjf.net:8021</value>  </property></configuration>