本文旨在站在研发的角度上通过手动实践搭建运行环境，文中不拖泥带水过多讲述基础知识，结合Hadoop和Spark最新版本，帮助大家跟着步骤一步步实践环境搭建。
基于阿里Anolis OS8.8 的Hadoop大数据平台建设 VNC安装与使用 0 Anolis OS基本操作 0.1 Anolis OS用户与组管理 0.2 系统进程管理 0.3 文件操作命令及权限 0.4 系统目录结构 1 Hadoop大数据处理框架 1.1Hadoop 伪分布模式安装（Had
http://blog.itpub.net/70024420/viewspace-2928855/ 导读：大数据正在成为经济社会发展的新的驱动力。随着云计算、移动互联网等网络新技术的应用和发展，社会信息化进程进入大数据时代，海量数据的产生与流转成为常态。而大数据技术也如雨后春笋般正在蓬勃发展中。Ha
引入 本文在两台2核2g的云服务器上搭建了Hadoop集群，两台云服务器分别是阿里云（hjm）和腾讯云（gyt），集群部署规划如下： hjm gyt HDFS NameNode\SecondaryNameNode\DataNode DataNode YARN ResourceManager\Node
# parquet极简学习 ## 摘要 ``` parquet的概念: Parquet文件是一种列式存储文件格式，广泛应用于大数据处理框架， 如Apache Hadoop和Apache Spark。 它通过将数据组织成列而不是行来优化大型数据集的读写。 这种列式存储格式允许进行高效压缩、更好的查询性
关于版本和系统的选择 操作系统：Centos-7 ClickHouse: rpm 在安装，20.x 安装前的准备 CentOS7 打开文件数限 在 /etc/security/limits.conf 这个文件的末尾加入一下内容： [hadoop@hadoop001 ~]$ sudo vim /etc
摘要：本文主要探讨如何平滑解决sentry到ranger升级过程中的权限迁移问题。 本文分享自华为云社区《【平滑上云】Apache Sentry->Ranger平滑升级方案》，作者： 啊喔YeYe 。 背景介绍 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版,常常是许
经常有小伙伴和我咨询大数据怎么学，我觉得有必要写一下关于大数据开发的具体方向，下次就不用苦哈哈的打字回复了。直接回复文章。 1.大数据岗位划分 我们通常说的大数据开发主要分为三大方向： 1.1数据平台开发工程师 主要从事后端开发，结合Hadoop，flink，spark等做二次开发，基于底层框架开发
众所周知, Kubernetes(K8S)更适合运行无状态应用, 但是除了无状态应用. 我们还会有很多其他应用类型, 如: 有状态应用, 批处理, 监控代理(每台主机上都得跑), 更复杂的应用(如:hadoop 生态...). 那么这些应用可以在 K8S 上运行么? 如何配置? 其实, K8S 针对
阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要：CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提
阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要：Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。Oozie是一个工作流引擎服务
阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。更多精彩内容请单击此处。 摘要：MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概
摘要：欢迎越来越多的开发者加入，与华为云一起不断成长，繁荣开源生态。 本文分享自华为云社区《开源遇上华为云——DataX for HuaweiCloud OBS》，作者：华为云社区精选。 OpenStack、Docker、K8S、Hadoop…… 如果没有这些成熟的开源技术和生态，很难想象现在的世界
摘要：华为云DTSE团队出品云原生改造指南，助力轻松实践OCP上云。 本文分享自华为云社区《【云享专刊】开源遇上华为云，OCP架构变身“云原生框架”》，作者：华为云社区精选 。 OpenStack、Docker、K8S、Hadoop……这些都是开发者耳熟能详的开源技术。 开源技术的应用，正不断推动新
