云小课|MRS基础原理之Hue组件介绍

mrs,基础,原理,hue,组件,介绍 · 浏览次数 : 59

小编点评

**Hue WebUI简介** Hue 是华为云提供的一组Web应用,用于和MRS大数据组件进行交互。它可以帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等。 **主要功能:** * 文件浏览器:允许用户直接通过界面浏览以及操作HDFS的不同目录。 * 查询编辑器:能够编写简单的SQL,查询存储在Hadoop之上的数据。 **使用步骤:** 1. 登录华为云控制台。 2. 在服务列表中选择“大数据 > MapReduce服务”。 3. 点击“立即购买”。 4. 等待MRS集群创建成功。 5. 登录FusionInsight Manager。 6. 选择“集群 > 服务 > Hue”。 7. 在“Hue WebUI”右侧,单击链接,打开Hue的WebUI。 8. 在左侧导航栏单击编辑器,然后选择“Hive”。 9. 输入表名关键字,系统会自动搜索包含此关键字的全部表。 10. 在HiveQL语句编辑区输入HiveQL语句。 11. 点击开始按钮,开始执行HiveQL语句。 12. 在命令输入框内输入show tables;,单击按钮,查看创建的表hue_table。 **结论:** Hue 是华为云提供的一款功能性强大的Web应用,可以帮助用户轻松地管理和执行HDFS、Hive和MapReduce任务。

正文

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。

摘要:Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等。它承载了与所有MRS大数据组件交互的应用。

本文分享自华为云社区《【云小课】EI第46课 MRS基础原理之Hue组件介绍》,作者:阅识风云。

Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等。它承载了与所有MRS大数据组件交互的应用。

Hue主要包括了文件浏览器和查询编辑器的功能:

文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录。

查询编辑器能够编写简单的SQL,查询存储在Hadoop之上的数据。例如HDFS,HBase,Hive。 用户可以方便地创建、管理、执行SQL,并且能够以Excel的形式下载执行的结果。

通过Hue可以在界面针对组件进行以下操作:

  • HDFS:
    • 查看、创建、管理、重命名、移动、删除文件/目录。
    • 上传、下载文件。
    • 搜索文件、目录、文件所有人、所属用户组;修改文件以及目录的属主和权限。
    • 手动配置HDFS目录存储策略,配置动态存储策略等操作。
  • Hive:
    • 编辑、执行SQL/HQL语句;保存、复制、编辑SQL/HQL模板;解释SQL/HQL语句;保存SQL/HQL语句并进行查询。
    • 数据库展示,数据表展示。
    • 支持多种Hadoop存储。
    • 通过metastore对数据库及表和视图进行增删改查等操作。
      说明:如果使用IE浏览器访问Hue界面来执行HiveSQL,由于浏览器存在的功能问题,将导致执行失败。建议使用兼容的浏览器,例如Google Chrome浏览器。
  • MapReduce:查看集群中正在执行和已经完成的MR任务,包括它们的状态、起始结束时间、运行日志等。
  • Oozie:提供了Oozie作业管理器功能,使用户可以通过界面图形化的方式使用Oozie。
  • ZooKeeper:提供了ZooKeeper浏览器功能,使用户可以通过界面图形化的方式查看ZooKeeper。

Hue结构

Hue是建立在Django Python(开放源代码的Web应用框架)的Web框架上的Web应用程序,采用了MTV(模型M-模板T-视图V)的软件设计模式。

Hue由“Supervisor Process”和“WebServer”构成,“Supervisor Process”是Hue的核心进程,负责应用进程管理。“Supervisor Process”和“WebServer”通过“THRIFT/REST”接口与WebServer上的应用进行交互,如图1所示。

图1 Hue架构示意图

图1中各部分的功能说明如下表所示。

如何使用Hue

本示例中,我们在已开启Kerberos认证的MRS 3.x版本的Hue WebUI编辑并执行HiveQL语句。

1、登录华为云控制台,在服务列表选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写相关配置参数(以下为示例,可根据实际情况修改,未提及参数保持默认即可)。

2、单击“立即购买”,等待MRS集群创建成功。

3、集群购买成功后,登录FusionInsight Manager界面。

4、由于FusionInsight Manager默认的admin用户不具有组件的最高管理权限,我们首先登录FusionInsight Manager,创建一个人机用户,并分配该用户使用Hive的权限。

例如创建一个“人机”用户“hueuser”,并加入“hive”、“hadoop”组和“Manager_administrator”角色,主组为“hive”。

5、登录FusionInsight Manager,选择“集群 > 服务 > Hue”。

6、在“Hue WebUI”右侧,单击链接,打开Hue的WebUI。

7、在左侧导航栏单击编辑器对于符合,然后选择“Hive”。

8、在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。
系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。

9、在HiveQL语句编辑区输入HiveQL语句。

create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;

10、单击 开始按钮,开始执行HiveQL语句。

11、在命令输入框内输入show tables;,单击按钮,查看创建的表hue_table。

----结束

好了,本期云小课就介绍到这里,快去体验MapReduce(MRS)更多功能吧!猛戳这里

 

点击关注,第一时间了解华为云新鲜技术~

与云小课|MRS基础原理之Hue组件介绍相似的内容:

云小课|MRS基础原理之Hue组件介绍

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapRedu

云小课|MRS基础原理之Hudi介绍

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:Hudi是数据湖的文件组织层,对Parquet格式文件进行管理提供数据湖能力,支持多种计算引擎。 本文分享自华为云社区

云小课|MRS基础原理之CarbonData入门

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提

云小课|MRS基础原理之Oozie任务调度

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:Oozie是一个基于工作流引擎的开源框架,它能够提供对Hadoop作业的任务调度与协调。Oozie是一个工作流引擎服务

云小课|MRS基础原理之MapReduce介绍

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概

云小课|MRS基础原理之Flink组件介绍

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮

云小课|MRS基础操作之集群健康检查

MapReduce服务为用户提供海量数据的管理及分析功能,快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。集群中的FusionInsight Manager将提供企业级的集群的统一管理平台。

云小课|MRS基础操作之配置DataNode容量均衡

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:当HDFS集群出现DataNode节点间磁盘利用率不平衡时,会导致MapReduce应用程序无法很好地利用本地计算的优

云小课|MRS数据分析-通过Spark Streaming作业消费Kafka数据

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要:Spark Streaming是一种构建在Spark上的实时计算框架,扩展了Spark处理大规模流式数据的能力。本文介

云小课|手把手教您在PyCharm中连接云端资源进行代码调试

摘要:让我们看看如何在PyCharm中连接云端资源进行代码调试吧! 本文分享自华为云社区《【云小课】EI第54课 手把手教您在PyCharm中连接云端资源进行代码调试》,作者:Hello EI 。 ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成代码上传