N 年前,为了学习分库分表,我把 Cobar 源码抄了一遍

cobar · 浏览次数 : 0

小编点评

## 10年后,互联网数据分库分表的重新发现 10年前,互联网数据分库分表技术虽然刚刚兴起,但它在当时的技术圈中已经成为一个痛点。分库分表技术允许在多个数据库中存储相同数据,并通过统一查询处理这些数据,这极大地提高了数据库的性能和效率。 然而,由于当时的技术水平有限,分库分表的应用场景也较为单一。为了解决这个问题,一些开发人员开始探索分库分表的解决方案。其中,Cobar 是一个非常值得注意的开源项目,它可以帮助开发者创建高效的分库分表系统。 Cobar 的优势是: * 支持分布式环境 * 可以像传统数据库一样提供海量数据服务 * 可以轻松进行 SQL 解析 在2012年,Cobar 被开源,这为开发者们带来了巨大的帮助。 Cobar 的开源可以帮助到许多开发者,让他们轻松地创建分库分表系统。 当然,Cobar 的代码需要自己进行编写,但这对于大多数开发者来说并不难。此外, Cobar 还提供了许多可用的 API,可以帮助开发者快速开发分库分表系统。 近年来,随着互联网技术的发展,分库分表的应用场景也逐渐扩大。如今,许多公司都在使用分库分表技术来提高他们的数据库性能和效率。 总而言之,分库分表技术是互联网数据处理的必备工具,它可以帮助开发者创建高效、可扩展的数据库系统。

正文

10 几年前,互联网产业蓬勃发展,相比传统 IT 企业,互联网应用每天会产生海量的数据。

如何存储和分析这些数据成为了当时技术圈的痛点,彼时,分库分表解决方案应运而生。

当时最流行的 Java 技术论坛是 javaeye ,有位淘宝的技术人员分享了一篇分库分表的文章 ,这篇文章,我反复看了几十遍,想从中吸取更多的营养,但基于我孱弱的技术能力,总是感觉隔靴搔痒。

直到 2012年 Cobar 开源了 ,我的困惑才初步消解了。

1 Cobar 开源了

Cobar 是由 Alibaba 开源的 MySQL 分布式处理中间件,它可以在分布式的环境下看上去像传统数据库一样提供海量数据服务。

Cobar 开源后,我迫不及待的的去下载 Cobar 的部署包,配置两个库同样一张表,在两个库分别手工插入 1 条记录,然后通过 Navicat 连接 Cobar 暴露的端口,竟然发现数据表显示两条数据 。

看到 Navicat 的显示,我当时的表情如下:

虽然我极度渴望探索 Cobar 原理的奥秘 , 而且互联网上关于 Cobar 的文章其实并不多 ,我认识的同事朋友也对分库分表不熟悉,于是我想到了世界上最笨的方式:

将 Cobar 源码抄写一次,边抄边理解,直到可以将程序跑起来

于是,我建了一个新的 maven 项目,一点点去抄

最开始是模仿 Cobar 的包的结构,接着是网络通讯设计,最后是 SQL 解析 。

网络通讯模块跑通了,但当我抄到 SQL 解析模块时,因为不理解原理,抄起来实在太费劲了,轰轰烈烈的抄源码运动戛然而止,花费了接近三个月的时间。

2 抄源码的收获

虽然那时我并没有完全理解 Cobar 的实现机制,但收获还是很大的。

1、网络编程

第一次接触到 Reactor 模式,NIOAcceptor 用于处理前端请求,NIOConnector 则用于管理后端的连接,NIOProcessor 用于管理多线程事件处理,NIOReactor 则用于完成底层的事件驱动机制。

Reactor 模式

我接触到 Netty 之后,才想到 Cobar 的网络通讯层可以更加优雅点 。事实上 ,MyCat 就是重点优化了后端网络通讯层。

2、缓存池

第一次知道原来可以在网络通讯里,封装统一管理 NIO 的 Buffer 。

3、打包技巧

Cobar 这种 maven 打包方式,目录结构如下:

我自己写项目都会参考这种 maven 打包方式,因为这种方式相比原来 tomcat webapp 部署包的方式更加优雅。

4、学习 sharding-jdbc

当我对于分库分表 Proxy 的设计有了初步认识之后,再来学习当当开源的 sharding-jdbc 时就轻松很多了。

3 开源分库分表示例项目

其实,我对于分库分表技术的执念,更多在在于我强烈的渴望:当遇到需要分库分表的场景,我有足够的能力去解决这个问题

今年 3月份,我开源了一个分库分表示例项目。

github地址:https://github.com/makemyownlife/shardingsphere-jdbc-demo

这个项目的初衷是:帮助 Java 同学们快速入门分库分表,但又不止于分库分表 。

1、 Grpc ID 生成器示例

**2、 shardingsphere jdbc 4.X/5.X 分库分表例子 **

项目提供了两个模块,分别使用 jdbc 4.X 和 jdbc 5.X 两个版本。

同时,有的同学想使用原生 API 实现分库分表,每个模块里都准备了原生 API 使用的例子 ,方便同学们调试

网上有很多 shardingsphere jdbc 5.X 的例子,但很多使用方式并不标准,勇哥结合官网文档,并对比网上很多例子,花了很多天才梳理好。

3、 antlr 学习例子

shardingsphere 基于 antlr4 设计了新一代的 SQL 解析引擎,勇哥单独抽出一个模块用来演示:

后面会逐步完善 antlr 的例子,比如简单的 SQL 查询解析、JSON 格式解析等。


这个项目还在不断的进化中,后面还要添加扩容相关的知识点,比如 canal、datax ,希望能帮助大家 !

4 写到最后

有些公众号文章写到:分库分表,可能真的要退出历史舞台了!我从来也没有否认分布式数据库架构的先进性 ,但我想分库分表的更大的优势在于:简单

武汉有些小公司并没有很强的技术储备,但他们用极少的研发人员就可以处理很大的数据量。

因为没有完美的技术,只有最合适的技术 !

最后,来看看 2012年那个傻傻的抄写代码的我,有人说我长得像周杰伦,不过我觉得像梁朝伟 !


如果我的文章对你有所帮助,还请帮忙点赞、在看、转发一下,你的支持会激励我输出更高质量的文章,非常感谢!

与N 年前,为了学习分库分表,我把 Cobar 源码抄了一遍相似的内容:

N 年前,为了学习分库分表,我把 Cobar 源码抄了一遍

10 几年前,互联网产业蓬勃发展,相比传统 IT 企业,互联网应用每天会产生海量的数据。 如何存储和分析这些数据成为了当时技术圈的痛点,彼时,分库分表解决方案应运而生。 当时最流行的 Java 技术论坛是 javaeye ,有位淘宝的技术人员分享了一篇分库分表的文章 ,这篇文章,我反复看了几十遍,想

CUDA C编程权威指南:1.2-CUDA基础知识点梳理

主要整理了N多年前(2013年)学习CUDA的时候开始总结的知识点,好长时间不写CUDA代码了,现在LLM推理需要重新学习CUDA编程,看来出来混迟早要还的。 1.闭扫描和开扫描 对于一个二元运算符和一个元输入数组。如果返回输出数组为,那么是闭扫描;如果返回输出数组为,那么是开扫描。串行闭扫描算法,

【WPF】Dispatcher 与消息循环

这一期的话题有点深奥,不过按照老周一向的作风,尽量讲一些人鬼都能懂的知识。 咱们先来整个小活开开胃,这个小活其实老周在 N 年前写过水文的,常阅读老周水文的伙伴可能还记得。通常,咱们按照正常思路构建的应用程序,第一个启动的线程为主线程,而且还是 UI 线程(当然,WPF 默认会创建辅助线程。这都是运

CUDA C编程权威指南:1.1-CUDA基础知识点梳理

主要整理了N多年前(2013年)学习CUDA的时候开始总结的知识点,好长时间不写CUDA代码了,现在LLM推理需要重新学习CUDA编程,看来出来混迟早要还的。 1.CUDA 解析:2007年,NVIDIA推出CUDA(Compute Unified Device Architecture,统一计算设

CUDA C编程权威指南:1.3-CUDA基础知识点梳理

主要整理了N多年前(2013年)学习CUDA的时候开始总结的知识点,好长时间不写CUDA代码了,现在LLM推理需要重新学习CUDA编程,看来出来混迟早要还的。 1.CUDA数组 解析:CUDA数组是使用cudaMallocArray()、cudaMalloc3DArray()分配的,使用cudaFr

Boost程序库完全开发指南:1.1-C++基础知识点梳理

主要整理了N多年前(2010年)学习C++的时候开始总结的知识点,好长时间不写C++代码了,现在LLM量化和推理需要重新学习C++编程,看来出来混迟早要还的。 1.shared_ptr 解析:shared_ptr是一种计数指针,当引用计数变为0时,shared_ptr所指向的对象将会被删除。如下所示

Boost程序库完全开发指南:1.2-C++基础知识点梳理

主要整理了N多年前(2010年)学习C++的时候开始总结的知识点,好长时间不写C++代码了,现在LLM量化和推理需要重新学习C++编程,看来出来混迟早要还的。 1.const_cast (expression)[1] 解析:const_cast转换符用来移除变量的const或v

学习shamir秘密分享

介绍 1979年Shamir在下文提出基于拉格朗日插值多项式的\((r,n)\)秘密共享方案(\(0

龙芯中科发布的 《龙芯生态白皮书(2022年)》的.NET 生态章节节选

3月27日,全面反映LoongArch产业生态发展最新成果的《龙芯生态白皮书(2022年)》正式对外发布, 白皮书下载地址:https://kdocs.cn/l/ce5Emg1C2pPd ,我将其中涉及到.NET部分的内容节选出来,可以看到龙芯对.NET的支持的非常的不错,我知道他们有个几十人的.N

vue3

一、简介 2020年9月18日,Vue.js发布3.0版本,代号:One Piece(海贼王) github.com/vuejs/vue-n… 1.性能的提升 打包大小减少41% 初次渲染快55%, 更新渲染快133% 内存减少54% 2.源码的升级 使用Proxy代替defineProperty实