经常有小伙伴和我咨询大数据怎么学，我觉得有必要写一下关于大数据开发的具体方向，下次就不用苦哈哈的打字回复了。直接回复文章。 1.大数据岗位划分 我们通常说的大数据开发主要分为三大方向： 1.1数据平台开发工程师 主要从事后端开发，结合Hadoop，flink，spark等做二次开发，基于底层框架开发
08，DataFrame创建 DataFrame是一个【表格型】的数据结构，可以看做是【由Series组成的字典】（共用同一个索引）。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。 行索引：index
东方财富网-数据中心 —— 爬虫项目 0x00 起因 MaMa 看到别人有个软件，可以直接把一个网站上的数据全部爬进一个 Excel 里边，但是那个人不给这个软件，所以她怂恿我写一个。。。 0x01 需求 千股千评 _ 数据中心 _ 东方财富网 (eastmoney.com) 对于里边的00~60开
本文介绍在USGS官网下载Landsat遥感影像数据时，出现报错信息，无法下载地表反射率产品（Surface Reflectance）的解决办法~
https://tech.meituan.com/2021/05/06/bff-graphql.html 1 BFF的由来 BFF一词来自Sam Newman的一篇博文《Pattern:Backends For Frontends》，指的是服务于前端的后端。BFF是解决什么问题的呢？据原文描述，随着
KingbaseV8数据库安装完成后，删除/opt/Kingbase/ES/V8/data下所有内容，重新在其他目录初始化数据库，设置为忽略大小写 [kingbase@dbserver bin]$ ./initdb -E UTF-8 -U SYSTEM -W kingbase2021 --case-
https://www.zeekling.cn/articles/2020/11/09/1604937462651.html 问题简介 当Redis cluster集群数据所在磁盘的RAID卡坏掉了之后会发生什么？集群会不会进行故障迁移，以及怎么快速恢复。 问题1：cluster集群会进行故障迁移嘛
https://nic.hnuu.edu.cn/10043/2022/0027132.html 随着互联网的高速发展，目前数据的存储越来越多，传统的数据库逐渐不能满足人们对海量数据、高效查询的需求，国产的数据库如雨后春笋一样，一个个冒了出来来解决我们高速科技发展的数据库瓶颈，今天就给大家聊一聊目前最
作者 | 码哥 来源 | 码哥字节 操作系统分配给 Redis 的内存有 6GB，通过指标 used_memory_human 发现存储数据只使用了 4GB，为何会这样？为何无法保存数据？ 通过 CONFIG SET maxmemory 100mb或者在 redis.conf 配置文件设置 maxm
https://zhuanlan.zhihu.com/p/490569316 有时候Redis明明做了数据删除，数据量已经不大了，但是使用top命令的时候，还会发现Redis占用了很多内存？ PS:关于 Redis的高并发及高可用，到底该如何保证？可以参考下这个帖子：httss://http://z
https://www.modb.pro/db/586678 一、数据库现状 （一）国际数据库市场现状 在看国内数据库市场现状前，先看一组国际市场数据库的应用情况。以2021年4月份数据国际市场数据库热度排名为例，稳居前三的Oracle、MySQL 和 Microsoft SQL Server 分数
https://cloud.tencent.com/developer/inventory/600/article/1644458 这是一个实战系列文章，它是eBPF学习计划里面的应用场景之网络部分，终极目标是源码级别学习云原生环境下使用eBPF的场景，比如Cilium、Falco等(声明：下文提到
有关数据结构 请求队列：struct request_queue 请求描述符：struct request 队列深度 可以在端口队列中等待IO请求数量； 具体代表其值的是request_queue的成员nr_requests：存放了每个数据传送方向的最大请求个数； nr_requests在Linux
https://www.infoq.cn/article/Z111FLot92PD1ZP3sbrS 一、问题描述 某天，SRE 部门观察到一个非常重要的应用里面有一台服务器的业务处理时间(Transaction time)在某个时间点变为平时的 3 倍。虽然只持续了短暂的 2 秒，但是如果观察其一周
https://www.cnblogs.com/caodan01/p/15136217.html 目录 一、emptDir 二、hostPath 三、pv 和 pvc 1.环境准备 2.创建pv 3.创建pvc 4.使用 5.综合案例 一、emptDir emptyDir类型的volume在pod分
SQL Server数据库存储文件类型：数据文件和日志文件。数据文件以页面作为存储单元存储数据。 页面：即数据页面，数据页（Page）。是系统在磁盘间中分配的一段大小为8k的连续空间。 文件头（File Header）：每个文件的第0页记录叫文件头，记录引导信息。 扩展：每8个数据页（64k）的组合
随着数据库国产化的进程，Oracle向KingbaseES数据库的数据迁移需求也越来越多。数据库之间数据迁移的时候，首先遇到的，并且也是最重要的，就是数据类型之间的转换。 下表为KingbaseES和Oracle数据类型的映射表： Oracle数据类型 KingbaseES 数据类型 备注说明（Or
https://www.jianshu.com/p/b576207f2f3c 1. pg_bulkload介绍 PostgreSQL提供了一个copy命令的便利数据加载工具，copy命令源于PostgreSQL数据库，copy命令支持文件与表之间的数据加载和表对文件的数据卸载。pg_bulkload
https://docs.pingcap.com/zh/tidb/stable/tidb-scheduling#%E4%BF%A1%E6%81%AF%E6%94%B6%E9%9B%86 PD (Placement Driver) 是 TiDB 集群的管理模块，同时也负责集群数据的实时调度。本文档介绍
https://zhuanlan.zhihu.com/p/499313638 Redis作为NoSQL领域的代表，拥有很高的读写性能，支持比较丰富的数据类型，但是Redis也存在一些缺陷。 l 内存数据库，容量有限，成本很高 l 主从复制模型，存在数据丢失的风险 l 自身备份代价很大 l 集群模式存
