efcore如何优雅的实现按年分库按月分表

efcore · 浏览次数 : 8

小编点评

**Controller** ```csharp public async Task<IActionResult> Query([FromQuery]int current) { var dateTime = new DateTime(2023,1,1); var shardingPagedResult = await _testDbContext.OrderItems .Where(o => o.CreateTime > dateTime) .OrderBy(o=>o.CreateTime) .ToShardingPageAsync(current, 20); return Ok(shardingPagedResult); } ``` **方法说明** 1. **`Query`** 方法接受一个 `current` 的参数，表示要查询的页数。 2. 它首先创建了一个 `DateTime` 对象，表示要查询的日期为 2023 年 1 月 1 日。 3. 它使用 `Where` 方法过滤 `OrderItems` 表，只保留创建时间大于 2023 年 1 月 1 日的项。 4. 它使用 `OrderBy` 方法按创建时间降序排列结果。 5. 它使用 `ToShardingPageAsync` 方法将结果转换为 ShardingPage 类。 6. 最后，它返回 `shardingPagedResult`，表示查询结果。

正文

efcore如何优雅的实现按年分库按月分表

介绍

本文ShardinfCore版本
本期主角:

ShardingCore 一款ef-core下高性能、轻量级针对分表分库读写分离的解决方案，具有零依赖、零学习成本、零业务代码入侵适配

距离上次发文.net相关的已经有很久了,期间一直在从事java相关的工作,一不小心就卷了一个java的orm。easy-query 如果有.net相关小伙伴转java可以关注一下也算是打一波小广告。

这次发文主要是在期间有多名用户咨询分库分表相关的事宜,因为我之前并没有针对按年分库按月分表的demo实现,所以本次我打算借着这个机会对该框架进行一次讲解

说明

很多小伙伴我发现不会写GetRouteFilter这个方法不知道是什么意思
那么我们这边做一个很简单的案例


var tails = new List<string>();
tails.Add("202401");
tails.Add("202402");
tails.Add("202403");
tails.Add("202404");
DateTime shardingKey=new DateTime(2024,2,1);
var t = $"{shardingKey:yyyy.MM}";
Func<string, bool> filter = tail => tail.CompareTo(t) > 0;

var list = tails.Where(filter).ToList();


//如果上面的你会写那么下面的你会写吗，无非是上面全部是大于号而实际我们需要根据用户判断来确定应该返回什么

    public override Func<string, bool> GetRouteToFilter(DateTime shardingKey, ShardingOperatorEnum shardingOperator)
    {
        var t = $"{shardingKey:yyyy.MM}";
        
        switch (shardingOperator)
        {
            case ShardingOperatorEnum.GreaterThan:
            case ShardingOperatorEnum.GreaterThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) >= 0;
            case ShardingOperatorEnum.LessThan:
            {
                var currentMonth = ShardingCoreHelper.GetCurrentMonthFirstDay(shardingKey);
                //处于临界值 o=>o.time < [2021-01-01 00:00:00] 尾巴20210101不应该被返回
                if (currentMonth == shardingKey)
                    return tail => String.Compare(tail, t, StringComparison.Ordinal) < 0;
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            }
            case ShardingOperatorEnum.LessThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            case ShardingOperatorEnum.Equal: return tail => tail == t;
            default:
            {
                return tail => true;
            }
        }
    }

步骤1

安装nuget

efcore架构

新建用户订单根据订单的创建时间年份进行分库月份进行分表

public class OrderItem
{
    /// <summary>
    /// 用户Id
    /// </summary>
    public string Id { get; set; }
    /// <summary>
    /// 购买用户
    /// </summary>
    public string User { get; set; }
    /// <summary>
    /// 付款金额
    /// </summary>
    public decimal PayAmount { get; set; }
    /// <summary>
    /// 创建时间
    /// </summary>
    public DateTime CreateTime { get; set; }
}
//数据库访问上下文
public class TestDbContext:AbstractShardingDbContext,IShardingTableDbContext
{
    public DbSet<OrderItem> OrderItems { get; set; }
    public TestDbContext(DbContextOptions<TestDbContext> options) : base(options)
    {
    }

    public IRouteTail RouteTail { get; set; }
    protected override void OnModelCreating(ModelBuilder modelBuilder)
    {
        base.OnModelCreating(modelBuilder);

        modelBuilder.Entity<OrderItem>()
            .HasKey(o => o.Id);
        modelBuilder.Entity<OrderItem>()
            .ToTable(nameof(OrderItem));
    }
}


//分库路由
public class OrderItemDataSourceRoute:AbstractShardingOperatorVirtualDataSourceRoute<OrderItem,DateTime>
{
    private readonly ConcurrentBag<string> dataSources = new ConcurrentBag<string>();
    private readonly object _lock = new object();
    public override string ShardingKeyToDataSourceName(object shardingKey)
    {
        return $"{shardingKey:yyyy}";//年份作为分库数据源名称
    }

    public override List<string> GetAllDataSourceNames()
    {
        return dataSources.ToList();
    }

    public override bool AddDataSourceName(string dataSourceName)
    {
        var acquire = Monitor.TryEnter(_lock, TimeSpan.FromSeconds(3));
        if (!acquire)
        {
            return false;
        }
        try
        {
            var contains = dataSources.Contains(dataSourceName);
            if (!contains)
            {
                dataSources.Add(dataSourceName);
                return true;
            }
        }
        finally
        {
            Monitor.Exit(_lock);
        }

        return false;
    }

    public override void Configure(EntityMetadataDataSourceBuilder<OrderItem> builder)
    {
        builder.ShardingProperty(o => o.CreateTime);
    }

    /// <summary>
    /// tail就是2020，2021，2022，2023 所以分片只需要格式化年就可以直接比较了
    /// </summary>
    /// <param name="shardingKey"></param>
    /// <param name="shardingOperator"></param>
    /// <returns></returns>
    public override Func<string, bool> GetRouteToFilter(DateTime shardingKey, ShardingOperatorEnum shardingOperator)
    {
        var t = $"{shardingKey:yyyyy}";
        
        switch (shardingOperator)
        {
            case ShardingOperatorEnum.GreaterThan:
            case ShardingOperatorEnum.GreaterThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) >= 0;
            case ShardingOperatorEnum.LessThan:
            {
                var currentYear =new DateTime(shardingKey.Year,1,1);
                //处于临界值 o=>o.time < [2021-01-01 00:00:00] 尾巴20210101不应该被返回
                if (currentYear == shardingKey)
                    return tail => String.Compare(tail, t, StringComparison.Ordinal) < 0;
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            }
            case ShardingOperatorEnum.LessThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            case ShardingOperatorEnum.Equal: return tail => tail == t;
            default:
            {
                return tail => true;
            }
        }
    }
}

//分表路由
public class OrderItemTableRoute:AbstractShardingOperatorVirtualTableRoute<OrderItem,DateTime>
{
    private readonly List<string> allTails = Enumerable.Range(1, 12).Select(o => o.ToString().PadLeft(2, '0')).ToList();
    public override string ShardingKeyToTail(object shardingKey)
    {
        var time = Convert.ToDateTime(shardingKey);
        return $"{time:MM}";//01,02.....11,12
    }

    public override List<string> GetTails()
    {
        return allTails;
    }

    public override void Configure(EntityMetadataTableBuilder<OrderItem> builder)
    {
        builder.ShardingProperty(o => o.CreateTime);
    }

//注意这边必须将忽略数据源改成false
//注意这边必须将忽略数据源改成false
//注意这边必须将忽略数据源改成false
    protected override bool RouteIgnoreDataSource => false;

//RouteIgnoreDataSource为false的时候那么tail就不是01,02......11,12了而是2021.01，2021.02.....会在tail里面带上数据源,就可以对齐进行筛选了
//如果你的数据源带了其他特殊标识请自行处理
    public override Func<string, bool> GetRouteToFilter(DateTime shardingKey, ShardingOperatorEnum shardingOperator)
    {
        var t = $"{shardingKey:yyyyy.MM}";
        
        switch (shardingOperator)
        {
            case ShardingOperatorEnum.GreaterThan:
            case ShardingOperatorEnum.GreaterThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) >= 0;
            case ShardingOperatorEnum.LessThan:
            {
                var currentMonth = ShardingCoreHelper.GetCurrentMonthFirstDay(shardingKey);
                //处于临界值 o=>o.time < [2021-01-01 00:00:00] 尾巴20210101不应该被返回
                if (currentMonth == shardingKey)
                    return tail => String.Compare(tail, t, StringComparison.Ordinal) < 0;
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            }
            case ShardingOperatorEnum.LessThanOrEqual:
                return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
            case ShardingOperatorEnum.Equal: return tail => tail == t;
            default:
            {
                return tail => true;
            }
        }
    }
}

startUp配置


ILoggerFactory efLogger = LoggerFactory.Create(builder =>
{
    builder.AddFilter((category, level) => category == DbLoggerCategory.Database.Command.Name && level == LogLevel.Debug).AddConsole();
});
builder.Services.AddShardingDbContext<TestDbContext>()
    .UseRouteConfig(o =>
    {
        o.AddShardingDataSourceRoute<OrderItemDataSourceRoute>();
        o.AddShardingTableRoute<OrderItemTableRoute>();
    })
    .UseConfig((sp, o) =>
    {
        o.ThrowIfQueryRouteNotMatch = false;

        // var redisConfig = sp.GetService<RedisConfig>();
        // o.AddDefaultDataSource(redisConfig.Default, redisConfig.DefaultConn);
        // //redisConfig.ExtraConfigs
        // o.AddExtraDataSource();
        
        o.AddDefaultDataSource("2024", "server=127.0.0.1;port=3306;database=sd2024;userid=root;password=root;");
        o.UseShardingQuery((conn, b) =>
        {
            b.UseMySql(conn, new MySqlServerVersion(new Version())).UseLoggerFactory(efLogger);
        });
        o.UseShardingTransaction((conn, b) =>
        {
            b.UseMySql(conn, new MySqlServerVersion(new Version())).UseLoggerFactory(efLogger);
        });
    }).AddShardingCore();

startUp初始化

//初始化额外表

var shardingRuntimeContext = app.Services.GetService<IShardingRuntimeContext<TestDbContext>>();
var dataSourceRouteManager = shardingRuntimeContext.GetDataSourceRouteManager();
var virtualDataSourceRoute = dataSourceRouteManager.GetRoute(typeof(OrderItem));
virtualDataSourceRoute.AddDataSourceName("2024");
virtualDataSourceRoute.AddDataSourceName("2023");
virtualDataSourceRoute.AddDataSourceName("2022");
DynamicShardingHelper.DynamicAppendDataSource(shardingRuntimeContext,"2023","server=127.0.0.1;port=3306;database=sd2023;userid=root;password=root;",false,false);
DynamicShardingHelper.DynamicAppendDataSource(shardingRuntimeContext,"2022","server=127.0.0.1;port=3306;database=sd2022;userid=root;password=root;",false,false);

using (var scope = app.Services.CreateScope())
{
    var testDbContext = scope.ServiceProvider.GetService<TestDbContext>();
    testDbContext.Database.EnsureCreated();
}

app.Services.UseAutoTryCompensateTable();

编写控制器


    public async Task<IActionResult> Init()
    {
        var orderItems = new List<OrderItem>();
        var dateTime = new DateTime(2022,1,1);
        var end = new DateTime(2025,1,1);
        int i = 0;
        while (dateTime < end)
        {
            orderItems.Add(new OrderItem()
            {
                Id = i.ToString(),
                User = "用户"+i.ToString(),
                PayAmount=i,
                CreateTime = dateTime,
            });
            i++;
            dateTime = dateTime.AddDays(15);
        }

        await _testDbContext.OrderItems.AddRangeAsync(orderItems);
        await _testDbContext.SaveChangesAsync();
        return Ok("hello world");
    }

    public async Task<IActionResult> Query([FromQuery]int current)
    {
        var dateTime = new DateTime(2023,1,1);
        var shardingPagedResult = await _testDbContext.OrderItems
            .Where(o => o.CreateTime > dateTime)
            .OrderBy(o=>o.CreateTime)
            .ToShardingPageAsync(current, 20);
        return Ok(shardingPagedResult);
    }

初始化接口

查询

通过断点我们可以清晰地看到路由里面的2022年数据已经被彻底排除仅有2023和2024年的数据

后续

通过观察控制台我们看到了它打印了非常多的sql因为这边并没有对排序进行一个优化具体可以观看我的前几期文章内容做一个CreateEntityQueryConfiguration

分库路由和分表路由都需要进行编写CreateEntityQueryConfiguration

最后的最后

附上demo:ShardingYearDataBaseMonthTable https://github.com/xuejmnet/ShardingYearDataBaseMonthTable

您都看到这边了确定不点个star或者赞吗,一款.Net不得不学的分库分表解决方案,简单理解为分库分表技术在.net中的实现并且支持更多特性和更优秀的数据聚合,拥有原生性能的97%,并且无业务侵入性,支持未分片的所有efcore原生查询

efcore

与efcore如何优雅的实现按年分库按月分表相似的内容：

efcore如何优雅的实现按年分库按月分表

efcore如何优雅的实现按年分库按月分表 介绍 本文ShardinfCore版本 本期主角: ShardingCore 一款ef-core下高性能、轻量级针对分表分库读写分离的解决方案，具有零依赖、零学习成本、零业务代码入侵适配 距离上次发文.net相关的已经有很久了,期间一直在从事java相关的

efcore
8
【源码解读(一)】EFCORE源码解读之创建DBContext查询拦截

引言 在网上很少看到有关于系统讲解EFCore源码的，可能大概也许是因为EFCore的源码总体是没有asp.net web的源码流程清晰，正如群友所说，EFCore的源码大致看起来有点凌乱，与其说凌乱，不如说是没有一个好的方向；然后昨天在群里有一个朋友再说，EfCore的拦截器如何注入Web的服务，

源码 解读 efcore 创建
309
Asp-Net-Core开发笔记：快速在已有项目中引入EFCore

前言 很多项目一开始选型的时候没有选择EFCore，不过EFCore确实好用，也许由于种种原因后面还是需要用到，这时候引入EFCore也很方便。 本文以 StarBlog 为例，StarBlog 目前使用的 ORM 是 FreeSQL ，引入 EFCore 对我来说最大的好处是支持多个数据库，如果是

asp net core 开发
35
使用EF 连接 数据库 SQLserver、MySql 实现 CodeFirst

1.新建项目，下载Nuget安装包 创建项目需要注意几点，如果是基于 .net framework 的项目 需要选择 相应版本的 EF, 如果是跨平台则选择EF Core版本。 我这里选择的是 .net framework 版本。红框里面是 实现EF Code First 需要的包。 对应的版本：

ef sqlserver mysql codefirst
0
造轮子之ORM集成

Dotnet的ORM千千万，还是喜欢用EF CORE 前面一些基础完成的差不多了，接下来可以集成数据库了，官方出品的ORM还是比较香。所以接下来就是来集成EF CORE。 安装包 首先我们需要安装一下EF CORE的NUGET包，有如下几个： Microsoft.EntityFrameworkCor

轮子 orm 集成
16
解决因对EFCore执行SQL方法不熟练而引起的问题

前言 本文测试环境：VS2022+.Net7+MySQL 因为我想要实现使用EFCore去执行sql文件，所以就用到了方法ExecuteSqlAsync，然后就产生了下面的问题，首先因为方法接收的参数是一个FormattableString，它又是一个抽象类，所以我就瞎测试使用下面方式构建 usin

解决 efcore 执行 sql
26
Avalonia 使用EFCore调用SQLite实现Singleton全局注册

# Avalonia 使用EFCore调用SQLite实现Singleton全局注册 ![image-20230720204001797](https://www.raokun.top/upload/2023/07/image-20230720204001797.png) 本篇博客是我的开源项目[T

avalonia 使用 efcore 调用
217
.NET6 + EF Core + MySQL 创建实体和数据库、EFCore 数据迁移

前言 接上期文章《.NET6项目连接数据库方式方法》，有人问了我几个问题，现在就这几个问题，拓展延申一下创建实体类、数据库。把ORM框架和数据迁移都写进去。 安装ORM框架，这里我们采用EFCore 安装EFCore 我的项目是在Linux上创建的，使用的是vscode开发工具远程开发。为了方便大家

数据库 实体 EFCore 创建
1342
Asp-Net-Core开发笔记：EFCore统一实体和属性命名风格

前言 C# 编码规范中，类和属性都是大写驼峰命名风格（PascalCase / UpperCamelCase），而在数据库中我们往往使用小写蛇形命名（snake_case），在默认情况下，EFCore会把原始的类名和属性名直接映射到数据库，这不符合数据库的命名规范。 为了符合命名规范，而且也为了看起

asp net core 开发
53
EF Core + MySQL 基本增删改查

# 前言 基于EF Core + MySQL的基本增删改查，示例是基于[.NET6 + EF Core + MySQL 创建实体和数据库、EFCore 数据迁移](https://www.cnblogs.com/lym003/p/17411699.html)项目基础上的内容增加。同时也是对[基于Ca

Core MySQL
541
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.