一种基于实时大数据的图指标解决方案

一种,基于,实时,数据,指标,解决方案 · 浏览次数 : 30

小编点评

**作者:京东科技 尚建平** **本发明技术方案** **3.1 本发明所要解决的技术问题** * 接收实时大数据流,实时构建图关系网络。 * 业务及需求人员可视化配置图指标相关信息。 * 图指标相关元数据进行统一管理及分类。 **3.2 本发明的完整技术方案** **3.2.1 系统原理图、结构说明图或流程图图1-系统原理图** **3.2.2 技术方案详细描述** **步骤1:实时图指标平台获取元数据信息** * 从数据源中获取数据源类型和数据源字段信息。 * 从图模型中获取图关系网络的构建模型及构建数据的字段映射信息。 * 从图指标中获取图指标计算逻辑信息。 **步骤2:实时图指标平台根据数据源信息接收实时流数据** * 从外部实时流数据中接收用户登入、注册、订单交易、风险决策等数据源数据。 **步骤3:实时图指标平台进行清洗、转换、分流** * 清理、转换和分流接收的数据源中的无效数据和非法数据。 **步骤4:实时图指标平台根据图模型信息及数据字段映射信息,将实时数据流转换生成可插入图关系数据的类SQL** **步骤5:实时图指标平台通过对nebula图数据库各图空间执行类SQL将图关系数据插入更新至nebula图数据库** **步骤6:实时图指标平台接收外部系统查询图指标结果请求及入参** * 接收用户可视化配置的图指标相关元数据信息。 **步骤7:实时图指标平台将可视化配置的图指标元数据信息转换成用类SQL表示的图指标计算逻辑** **步骤8:实时图指标平台通过对nebula图数据库执行查询类SQL,获取图指标查询结果,根据业务情况调整图指标阈值** **归纳总结** 本发明通过接收实时大数据流,实时构建图关系网络,实现图指标数据实时查询,实现图指标及相关元数据统一管理、快速部署上线。

正文

作者:京东科技 尚建平

1. 现有技术

在电商、金融风控领域,使用图来建模,将大量的人员和事件编织成一张庞大的图关系网络,构建图指标来识别异常人员和群体风险行为,目前图指标现有实现方式是基于离线数据或t+1数据构建图关系网络,图指标由业务人员或需求人员根据业务需要提出具体需求由开发人员临时开发、测试、部署、上线。

2. 现有技术的缺点

第一,图指标时效性差,无法实时更新图关系数据,在某些时效性强的场景下图指标不可用。

第二,创建、修改图指标流程繁琐,业务及需求人员无法单独实现,需开发人员临时开发。

第三,图指标相关元数据没有统一管理及分类,无法查看、修改、复用、追溯。

3. 本发明技术方案

3.1 本发明所要解决的技术问题(即发明目的)

第一,接收实时大数据流,实时构建图关系网络,图指标可基于实时图关系数据查询。

第二,业务及需求人员对图指标可视化创建、测试、上线,无需开发人员参与。

第三,图指标相关元数据进行统一管理及分类,可灵活查看、修改、复用、追溯。

3.2 本发明的完整技术方案

3.2.1 系统原理图、结构说明图或流程图

图1-系统原理图

3.2.2 技术方案详细描述

如图2-系统流程图所示,方案详细描述如下:

步骤1:实时图指标平台获取用户设计图指标相关的元数据信息,包括数据源、图模型、图指标等元数据。数据源信息描述了接入数据源类型和数据源字段信息,图模型信息描述图关系网络的构建模型及构建数据的字段映射信息,图指标信息描述图指标计算逻辑信息。

步骤2:实时图指标平台根据数据源信息接收外部实时流数据。数据源主要是可构建图关系网络的人员及事件信息,包括用户登入、注册、订单交易、风险决策等数据源。

步骤3:实时图指标平台将接收的实时流数据进行清洗、转换、分流。将接收的数据源中无效的数据及非法数据清除,并根据不同图模型数据要求对数据进行转换、分流。

步骤4:实时图指标平台根据图模型信息及数据字段映射信息,将实时数据流转换生成可插入图关系数据的类SQL。将人员及事件信息转换成用类SQL表示的用户、设备等节点及用户与设备节点之间关联的登入、注册等边数据。

步骤5:实时图指标平台通过对nebula图数据库各图空间执行类SQL将图关系数据插入更新至nebula图数据库。通过实时插入更新类SQL表示的节点及关联边数据,将大量的人员和事件编织成一张庞大的图关系网络,并实时更新。

步骤6:实时图指标平台接收外部系统查询图指标结果请求及入参,查询用户可视化配置的图指标相关元数据信息。如查询用户x近30天内使用过的所有设备关联的注册金白条用户数量。

步骤7:实时图指标平台将可视化配置的图指标元数据信息转换成用类SQL表示的图指标计算逻辑。如从用户x节点查找近30天登入、注册等边关联出的所有设备,再反向查找这些设备被多少注册过金白条的用户使用过。

步骤8:实时图指标平台通过对nebula图数据库执行查询类SQL,获取图指标查询结果,根据业务情况调整图指标阈值,识别异常人员和群体风险行为。如用户x近30天内使用过的所有设备关联的注册金白条用户数量大于5时,那么识别出用户x是风险用户。

图2-系统流程图

3.3 本发明希望保护的技术创新点

本发明通过接收实时大数据流,实时构建图关系网络,实现图指标数据实时查询。

本发明通过可视化配置维护图指标相关信息,实现图指标及相关元数据统一管理、快速部署上线。

与一种基于实时大数据的图指标解决方案相似的内容:

一种基于实时大数据的图指标解决方案

在电商金融等多个领域,现在主要利用图来建模,并由业务人员根据图指标提出需求。但图指标时效性差、创建修改程序十分繁琐,元数据没有同意的管理分类,这导致开发运维都十分困难,根据此痛点,今天来介绍一项基于实时大数据的图指标解决方案。

NebulaGraph实战:1-NebulaGraph安装和基础操作

以前使用Neo4j图数据库,考虑到生产环境需要最终选择了NebulaGraph图数据库。对于数据要求比较高的领域,比如医疗、财务等,暂时还是离不开知识图谱的。后面主要围绕LLM+KG做一些行业解决方案和产品,涉及的技术主要是对话、推荐、检索这3个大的方向,可用于客服系统和聊天机器人等。 1.安装Ne

实时的语音降噪神经网络算法

概要 现代基于深度学习的模型在语音增强任务方面取得了显著的性能改进。然而,最先进模型的参数数量往往太大,无法部署在现实世界应用的设备上。为此,我们提出了微小递归U-Net(TRU-Net),这是一种轻量级的在线推理模型,与当前最先进的模型的性能相匹配。TRU-Net的量化版本的大小为362千字节,足

基于阿里云服务实现短信验证码功能

## 前言: 阿里云短信服务是一项基于云计算和大数据技术的企业级短信平台服务。它能够为企业和开发者提供高可用、高性能、高稳定性的短信发送服务,可以快速地将各类业务通知、验证码、营销推广等信息发送给用户。在我们经常登录一些系统或者APP时候,经常会遇到其他登录登录方式——短信验证码登录。这也是我前一段

基于Spark的大规模日志分析

摘要:本篇文章将从一个实际项目出发,分享如何使用 Spark 进行大规模日志分析,并通过代码演示加深读者的理解。 本文分享自华为云社区《【实战经验分享】基于Spark的大规模日志分析【上进小菜猪大数据系列】》,作者:上进小菜猪。 随着互联网的普及和应用范围的扩大,越来越多的应用场景需要对海量数据进行

小白都会的数据可视化大屏搭建,速来学习

华为云aPaaS DTSE技术布道师左倩与开发者和伙伴们交流了SVE的独特价值优势和应用实践,手把手教大家基于开天aPaaS集成工作台流编排搭建轻应用和0码构建业务可视化大屏,体验“一次开发、多端使用”的极致便利。

浅析华为云基于HBase MTTR上的优化实践

摘要:主要介绍华为云在HBase 2.x内核所做的一些MTTR优化实践。 本文分享自华为云社区《华为云在HBase MTTR上的优化实践》,作者: 搬砖小能手。 随着HBase在华为云的广泛应用,HBase的数据节点规模也越来越大。最新版本的MRS可支持的单集群HBase数据节点规模可达到1024节

基于Spring-AOP的自定义分片工具

作者:陈昌浩 1 背景 随着数据量的增长,发现系统在与其他系统交互时,批量接口会出现超时现象,发现原批量接口在实现时,没有做分片处理,当数据过大时或超过其他系统阈值时,就会出现错误。由于与其他系统交互比较多,一个一个接口做分片优化,改动量较大,所以考虑通过AOP解决此问题。 2 Spring-AOP

万字长文 | 泰康人寿基于 Apache Hudi 构建湖仓一体平台的应用实践

文章贡献者 Authors 技术指导: 泰康人寿 数据架构资深专家工程师 王可 文章作者: 泰康人寿 数据研发工程师 田昕峣 摘要 Abstract 本文详细介绍了泰康人寿基于 Apache Hudi 构建湖仓一体分布式数据处理平台的技术选型方法、整体架构设计与实施、以及针对大健康领域的领域特征和公

算法金 | A - Z,115 个数据科学 机器学习 江湖黑话(全面)

大侠幸会,在下全网同名「算法金」 0 基础转 AI 上岸,多个算法赛 Top 「日更万日,让更多人享受智能乐趣」 机器学习本质上和数据科学一样都是依赖概率统计,今天整整那些听起来让人头大的机器学习江湖黑话 A - C A/B Testing (A/B 测试) A/B测试是一种在线实验,通过对比测试两