在今年9月，Uber 就发生过一起数据泄露事件，尽管黑客并无意发动大规模攻击或以此来获取巨额利益，但其成功获取对 Uber 所有敏感服务的完全管理员访问权限仍令人后怕。而在上周，名为“UberLeak”的用户又在黑客论坛上公开了一个600Mb 的存档文件，其中包含来自 Uber 系统的2000万条数
前面我们分享了，利用python进行数据合并和连接，但是工作中，我们往往需要对数据进一步的聚合或者运算，以求最后的数据结果。 今天我们就来学习一下利用pandas模块，对数据集进行数据透视分析。 pivot_table释义 1.1 pivot_table参数列表： pandas.pivot_tabl
日常办公中，我们经常会遇到需要匹配表，匹配对应数据的场景，在EXCEL中，我们习惯使用VLOOKUP函数或者是X-LOOKUP函数，今天学习的是Python，pandas库中的匹配功能。 首先导入所需的pandas库。 import pandas as pd 用到的模拟数据共三张表，分别是销售表，区
一：概述 Power Query中的分组依据，类似于Excel中的分类汇总功能，可以按照某一分类对某列数据或某几列数据进行去重操作和聚合计算(求和、计数、求平均、非重复行计数等)，并在去重的过程中将其他数据列按照用户指定的方式， 对其进行聚合以便生成与依据列相对应的数据。在实际工作中，当我们遇到原始
一：导入案例数据及X-MIND 二：实例 2.1 显示摘要信息 2.2显示描述性统计信息 2.3显示 前后n行 2.4显示索引、列信息 2.5显示每列的数据类型
在powerbi报表中，我们往往会对数据源进行日常刷新，powerbi链接了数据库的情况下，根据日期灵活取数是我们必须掌握的一个技能。 在本文中，我们将介绍如何使用 SQL 的 DATE_SUB 函数来获取数据库中最近 90 天的数据。 DATE_SUB 函数是一个 MySQL 的函数，它可以从一个
在过去，业务人员通常不熟悉数据建模，因为数据建模往往是专业的IT人员的领域。但是，得益于POWERBI和POWER PIVOT FOR EXCEL ，这样的日子一去不复返了。那么，什么是数据模型呢？ 一：思维导图 二：原文截图 第6页 三：翻译 在过去，业务人员通常不熟悉数据建模，因为数据建模往往是
MQ系列1：消息中间件执行原理 MQ系列2：消息中间件的技术选型 MQ系列3：RocketMQ 架构分析 MQ系列4：NameServer 原理解析 MQ系列5：RocketMQ消息的发送模式 MQ系列6：消息的消费 MQ系列7：消息通信，追求极致性能 1 介绍 在之前的章节中，我们介绍了消息的发送
[Redis系列1：深刻理解高性能Redis的本质](https://www.cnblogs.com/wzh2010/p/15886787.html "Redis系列1：深刻理解高性能Redis的本质") [Redis系列2：数据持久化提高可用性](https://www.cnblogs.com/w
## 前言： 在当今信息化社会，网络数据分析越来越受到重视。而作为开发人员，掌握一门能够抓取网页内容的语言显得尤为重要。在此篇文章中，将分享如何使用 .NET构建网络抓取工具。详细了解如何执行 HTTP 请求来下载要抓取的网页，然后从其 DOM 树中选择 HTML 元素，进行匹配需要的字段信息，从中
本文学习文章：“浅析数据安全之密态化计算” 数据安全的必要性 数据安全应保证数据产生、存储、传输、访问、使用、销毁、公开等全生命周期安全，并且需要做到保证数据处理过程的保密性、完整性、可用性。如何安全采集用户数据，并且实现安全地对用户数据进行使用，主要包括在整个数据周期中保证安全，即在数据的生产、传
转载：大模型研发核心：数据工程、自动化评估及与知识图谱的结合 本文将介绍大模型研发中数据工程，包括数据以及自动化相关的内容，并介绍在当前的情况下，知识图谱的定位以及如何融入到大模型的整个研发当中。 分享将会围绕下面四个方面展开： 大模型研发中的数据工程，起底当前一些大模型的数据构造以及360的构造方
>我们是[袋鼠云数栈 UED 团队](http://ued.dtstack.cn/)，致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神，探索前端道路，为社区积累并传播经验价值。 >本文作者：琉易 [liuxianyu.cn](https://link.juejin.cn/?target=ht
前言： 今天发现前段时间自己搭建的一个系统的MongoDB数据找不到了，觉得很奇妙，然后登上MongoDB数据库发现多了一个名为READ__ME_TO_RECOVER_YOUR_DATA的数据库，里面还有一个README的集合里面包含了下面描述的勒索信息。没错我的MongoDB数据库被攻击了，不过还
前言 上一章我们把系统所需要的MongoDB集合设计好了，这一章我们的主要任务是使用.NET Core应用程序连接MongoDB并且封装MongoDB数据仓储和工作单元模式，因为本章内容涵盖的有点多关于仓储和工作单元的使用就放到下一章节中讲解了。仓储模式（Repository ）带来的好处是一套代码
前言 上一章节我们主要讲解了MongoDB数据仓储和工作单元模式的封装，这一章节主要讲的是MongoDB用户管理相关操作实操。如：获取所有用户信息、获取用户分页数据、通过用户ID获取对应用户信息、添加用户信息、事务添加用户信息、用户信息修改、用户信息删除等实战教程。 MongoDB从入门到实战的相关
本文通过ChnSentiCorp数据集介绍了文本分类任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务和数据集介绍 1.任务 中文情感分类本质还是一个文本分类问题。 2.数据集 本文使用ChnS
本文通过ChnSentiCorp数据集介绍了完型填空任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.完形填空 完形填空应该大家都比较熟悉，就是把句子中的词挖掉，根据上下文推测挖掉的词是什么。 二.
本文通过ChnSentiCorp数据集介绍了中文句子关系推断任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务简介和数据集 通过模型来判断2个句子是否连续，使用ChnSentiCorp数据集，不
以前使用Neo4j图数据库，考虑到生产环境需要最终选择了NebulaGraph图数据库。对于数据要求比较高的领域，比如医疗、财务等，暂时还是离不开知识图谱的。后面主要围绕LLM+KG做一些行业解决方案和产品，涉及的技术主要是对话、推荐、检索这3个大的方向，可用于客服系统和聊天机器人等。 1.安装Ne
