大数据 - ADS 数据可视化实现

数据,ads,可视化,实现 · 浏览次数 : 341

小编点评

**数据接口设计** **1. 数据读取接口** * 通过 API 获取 ClickHouse 中的数据表数据。 * 支持多种数据类型,包括数值、字符串和日期类型。 * 允许筛选和排序数据。 **2. 数据转换接口** * 提供多种转换函数,例如计算、分组和过滤。 * 支持日期转换、数值转换和字符串处理。 **3. 数据分析接口** * 提供各种数据分析函数,包括统计、聚合和图表。 * 支持常见的分析指标,如销售额、用户数量和流量。 **4. 数据可视化接口** * 提供多种可视化图表,如柱状图、折线图和地图。 * 支持多种图表格式,例如图表、表格和地图。 **5. 数据交互接口** * 允许用户进行数据交互,例如添加、删除和修改数据。 * 支持多种数据源,包括 ClickHouse、CSV 和 JSON。 **6. 数据历史记录接口** * 提供数据历史记录的查询接口。 * 支持多种时间范围,包括当天、周次和月次。 **7. 数据安全接口** * 提供安全和隐私功能,例如用户认证、授权和数据加密。 **8. 数据管理接口** * 提供数据管理功能,例如创建、更新和删除数据表。 * 支持数据版本控制和数据压缩。

正文

之前数据分层处理,最后把轻度聚合的结果保存到 ClickHouse 中,主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现,一种是为专业的数据分析人员的 BI 工具,一种是面向非专业人员的更加直观的数据大屏。
以下主要是面向百度的 sugar 的数据大屏服务的接口开发。
image
在可视化大屏中每个组件都需要一个单独的接口,图中一共涉及 8 个组件。

组件名称 组件查询指标对应的数据表
总成交金额数字翻牌订单总金额product_stats
省市热力图查询热力图省市分组订单金额province_stats
分时流量折线图UV 分时数
PV 分时数
新用户分时数
visitor_stats
品牌 TopN水平柱状图按品牌分组订单金额product_stats
品类分布饼状图按品类分组订单金额product_stats
热词字符云字符云关键词分组计数keyword_stats
流量表格 交叉透视表UV 数(新老用户)
PV 数(新老用户)
跳出率(新老用户)
平均访问时长 (新老用户)
平均访问页面数(新老用户)
visitor_stats
热门商品轮播表格按 SPU 分组订单金额product_stats

image
之前我们实现了 DWS 层计算后写入到 ClickHouse 中,接下来就是要为可视化大屏服务,提供一个数据接口用来查询 ClickHouse 中的数据。这里主要有两项工作

  • 配置可视化大屏服务。
  • 编写数据查询接口以供可视化大屏进行访问。

Sugar 数据大屏

Sugar 是百度云推出的敏捷 BI 和数据可视化平台,目标是解决报表和大屏的数据 BI 分析和可视化问题,解放数据可视化系统的开发人力
https://cloud.baidu.com/product/sugar.html

image

国内网穿透工具
花生壳:https://hsk.oray.com
Ngrok: http://www.ngrok.cc
网云穿:http://www.neiwangchuantou.net/

https://www.bilibili.com/video/BV1Ju411o7f8/?p=73

尚硅谷 源代码

大数据 - 数据仓库-实时数仓架构分析
大数据 - 业务数据采集-FlinkCDC
大数据 - DWD&DIM 行为数据
大数据 - DWD&DIM 业务数据
大数据 - DWM层 业务实现
大数据 - DWS层 业务实现
大数据 - ADS 数据可视化实现

与大数据 - ADS 数据可视化实现相似的内容:

大数据 - ADS 数据可视化实现

之前数据分层处理,最后把轻度聚合的结果保存到 ClickHouse 中,主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式展现,一种是为专业的数据分析人员的 BI 工具,一种是面向非专业人员的更加直观的数据大屏。 以下主要是面向百度的 sugar 的数据大屏服务的接口开发

大数据 - DWS层 业务实现

统计主题 需求指标【ADS】输出方式计算来源来源层级 访客【DWS】pv可视化大屏page_log 直接可求dwd UV(DAU)可视化大屏需要用 page_log 过滤去重dwm UJ 跳出率可视化大屏需要通过 page_log 行为判断dwm 进入页面数可视化大屏需要识别开始访问标识dwd 连续

大数据 - DWM层 业务实现

DWM 建表,需要看 DWS 需求。 DWS 来自维度(访客、商品、地区、关键词),为了出最终的指标 ADS 需求指标 DWT 为什么实时数仓没有DWT,因为它是历史的聚集,累积结果,实时数仓中不需要 DWD 不需要加工 DWM 需要加工的数据 统计主题 需求指标【ADS】输出方式计算来源来源层级

[大数据][机器学习]之Model Card(模型卡片)介绍

每当我们在公有云或者私有云发布训练好的大数据模型,为了方便大家辨识、理解和运用,参照huggingface所制定的标准制作一个Model Card展示页,是种非常好的模型展示和组织形式。 下面就是一个Model Card 的示例,我试着把它翻译成了中文,源网址,并且提供了Markdown的模板,供大

大数据面试SQL每日一题系列:最高峰同时在线主播人数。字节,快手等大厂高频面试题

大数据面试SQL每日一题系列:最高峰同时在线主播人数。字节,快手等大厂高频面试题 之后会不定期更新每日一题sql系列。 SQL面试题每日一题系列内容均来自于网络以及实际使用情况收集,如有雷同,纯属巧合。 1.题目 问题1:如下为某直播平台各主播的开播及关播时间数据明细,现在需要计算该平台最高峰期同时

大数据怎么学?对大数据开发领域及岗位的详细解读,完整理解大数据开发领域技术体系

经常有小伙伴和我咨询大数据怎么学,我觉得有必要写一下关于大数据开发的具体方向,下次就不用苦哈哈的打字回复了。直接回复文章。 1.大数据岗位划分 我们通常说的大数据开发主要分为三大方向: 1.1数据平台开发工程师 主要从事后端开发,结合Hadoop,flink,spark等做二次开发,基于底层框架开发

孙荣辛|大数据穿针引线进阶必看——Google经典大数据知识

大数据技术的发展是一个非常典型的技术工程的发展过程,荣辛通过对于谷歌经典论文的盘点,希望可以帮助工程师们看到技术的探索、选择过程,以及最终历史告诉我们什么是正确的选择。 何为大数据 “大数据”这个名字流行起来到现在,差不多已经有十年时间了。在这十年里,不同的人都按照自己的需要给大数据编出了自己的解释

大数据-数据仓库-实时数仓架构分析

![image](https://img2023.cnblogs.com/blog/80824/202211/80824-20221128173125005-1682211493.png) ![image](https://img2023.cnblogs.com/blog/80824/202211/

大数据-业务数据采集-FlinkCDC

CDC CDC 是 Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。 CDC 的种类 CDC 主要分为基于查询和基于 Binl

大数据-业务数据采集-FlinkCDC DebeziumSourceFunction via the 'serverTimezone' configuration property

Caused by: org.apache.kafka.connect.errors.ConnectException: Error reading MySQL variables: The server time zone value '�й���׼ʱ��' is unrecognized or