1.概述 随着大数据技术的不断发展，处理海量数据的需求变得愈发迫切。MapReduce作为一种分布式计算模型，为处理大规模数据提供了有效的解决方案。在这篇博客中，我们将探讨如何使用MapReduce框架读取快照表（Snapshot Table）的数据。快照表是一种记录某一时刻系统状态的表格，通过Ma
近期批量处理数据，后台用JAVA编写，连接Oracle数据库，程序运行报ORA-01008问题。解决这个问题时遇见的坑较多，下面复盘现象、问题提出解决办法，希望能帮到遇见同类问题的你。 调试问题： 后台代码： /** * 插入操作的封装 * **/ public static void insert
前言 在使用 K8S 部署 RSS 全套自托管解决方案- RssHub + Tiny Tiny Rss, 我介绍了将 RssHub + Tiny Tiny RSS 部署到 K8s 集群中的方案. 其中 TTRSS 会用到 Postgres 存储数据, 也一并部署到 K8s 容器中. 但是最近, 由于
目录构建字典数据构建 Trie 字典树按实体组装字典问题分析 将问题进行分析，和系统已有的分类进行关联 构建字典数据 将构建的知识图片字典化， 用于后面对问题的解析，下图为症状的字典，其它字典同理 构建 Trie 字典树 将建字典数据，组装集合 cur_dir = '/'.join(os.path.
在网络传输中，数据的可靠性和稳定性一直是一个重要的挑战。幸运的是，重传机制应运而生，为我们解决了这个问题。本文将深入探讨重传机制在网络中的应用和工作原理。我们将介绍TCP中最常见的超时重传和快速重传，以及SACK和D-SACK这两种高级重传机制。了解这些机制如何工作可以帮助我们更好地理解数据传输的可...
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER，
背景 在公司的日常业务中，存在不少数据的收集提取需求，大部分公司会采取Excel来完成数据的收集和汇总，但这项工作会让负责信息收集的业务人员相当头大。虽然提前做好了数据收集模板，但最终提交上来的模板会被修改的五花八门，信息填写错误率比较高，无法实现信息填写不完整不允许提交的约束。后期的数据汇总虽然可
背景 在数据密集的业务领域，尤其是金融，保险，税务等行业中，经常需要利用Excel模型，来对业务进行分析和处理。例如： 1.金融投资： 根据模型进行估值计算，并对投资风险进行评估，通过测算出投资的内部收益率（IRR），净现值（NPV）来做投资收益分析，反应项目的获利能力。 2.保险精算： 运用数学，
本文由葡萄城技术团队于博客园原创并首发 转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 Vue + SpreadJS 实现高性能数据展示与分析 在前端开发领域，表格一直都是一个高频使用的组件，尤其是在中后台和数据分析场景下。但当一屏展示数据超过1000条数
本文由葡萄城技术团队于博客园原创并首发 转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 在做一些财务、供应链、资产管理等系统时，由于业务人员线下都是采用Excel来完成的，因此就需要将Excel中业务人员使用的功能都能在Web端系统实现，整体上的实现方案有
本文由葡萄城技术团队于博客园原创并首发 转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以
本文由葡萄城技术团队于博客园原创并首发 转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 大数据时代，数据在企业的日常经营中无处不在，各类数据的汇总、整合、分析、研究对企业的决策和发展有着至关重要的作用。企业要进行数字化转型，本质是强化对数据的使用，包含数据
本文由葡萄城技术团队于博客园原创并首发 转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前端与数据展示 前后端分离是当前比较盛行的开发模式，它使项目的分工更加明确,后端负责处理、存储数据;前端负责显示数据.前端和后端开发人员通过接口进行数据的交换。因此前端
在大数据和 AI 的时代背景下，数据已经成为了重要财富，大到政务数据、企业核心数据，小到个人信息、银行卡余额，这些数据无一例外都是“隐私数据”，如果在使用和流转时发生泄漏都会造成巨大的损失。
pandas中用来承载数据的两个最重要的结构分别是： Series：相当于增强版的一维数组 DataFrame：相当于增强版的二维数组 pandas最大的优势在于处理表格类数据，如果数据维度超过二维，一般我们会使用另一个 python的库 numpy。 本篇主要介绍这两种核心数据结构的创建方式。 1
pandas的数据检索功能是其最基础也是最重要的功能之一。 pandas中最常用的几种数据过滤方式如下： 行列过滤：选取指定的行或者列 条件过滤：对列的数据设置过滤条件 函数过滤：通过函数设置更加复杂的过滤条件 本篇所有示例所使用的测试数据如下： import pandas as pd import
pandas进行数据整理的意义在于，它是数据分析、数据科学和机器学习的前置步骤。 通过数据整理可以提前了解数据的概要，缺失值、重复值等情况，为后续的分析和建模提供更为可靠的数据基础。 本篇主要介绍利用pandas进行数据整理的各种方法。 1. 数据概要 获取数据概要信息可以帮助我们了解数据的基本情况
pandas 作为一种常用的数据分析工具，提供了广泛的数据修改方法。 既可以针对行或者列的数据进行修改，也可以对具体单个元素进行修改，还可以基于条件选择要修改的行或者列的数据。 1. 增加数据 1.1 增加行数据 pandas的DataFrame增加一行或者多行数据之前是使用append方法。 im
`pandas`的数据排序可以帮助我们更好地理解和分析数据。 通过对数据进行排序，我们可以提取出特定的信息，例如最大值、最小值、中位数、众数等等，从而更准确地识别数据的特征和特点。 此外，数据排序还可以帮助我们更好地进行数据可视化，例如绘制直方图、箱线图等等，进一步帮助我们对数据进行解读和分析。 总
时间序列数据是数据分析中一类常见且重要的数据。 它们按照时间顺序记录，通常是从某些现象的观察中收集的，比如经济指标、气象数据、股票价格、销售数据等等。 时间序列数据的特点是有规律地随着时间变化而变化，它们的变化趋势可以被分析和预测。时间序列分析是一种用于预测未来值或评估过去值的统计方法，常常被用于预
