登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 业界区 › 安全 ›推荐一款基于EF-Core的分库分表利器

推荐一款基于EF-Core的分库分表利器

拓拔梨婷 2025-6-24 10:42:54
在实际应用开发中，有些项目可能数据量特别大，在系统应用一段时间后，性能随着数据量的增加会逐步下降，从而造成系统不定时卡顿等现象，在客户使用过程中也会产生不好的印象。在这种情况下，常规操作是增加索引，优化SQL语句等方案，这种常规操作可能会短暂的解决卡顿问题，但是随着数据量持续增多，效果反而越来越不明显。当常规操作逐渐不起作用的时候，我们就需要往更深层次的去考虑，比如分库，分表等缩减数据体量的方案。今天我们以一个简单的小例子，简述如何在ASP.NET Core WebApi程序中，通过引入ShardingCore组件进行分库分表等操作。
 
什么是ShardingCore？

 
ShardingCore是一款基于EntityFrameworkCore的高性能、轻量级针对分表分库读写分离的解决方案。它支持efcore2+的所有版本,支持efcore2+的所有数据库、支持自定义路由、动态路由、高性能分页、读写分离的一款组件,一款零依赖第三方组件的扩展，如果您熟悉efcore的使用那么对于这个组件您只需要简单配置即可零成本开始使用。
1.png

ShardingCore整体架构图，如下所示：
2.png

上图可知整体架构表现为以entity作为核心驱动来牵引整个框架。通过ShardingCore，可以实现同时兼容分库分表操作，还可以兼容部分表不分库分表等场景。
 
开发环境

 
在本示例中，开发环境如下：

  • 开发工具：Visual Studio 2022。
  • 项目框架：基于.NET8.0的ASP.NET WebApi项目。
  • ORM框架：Entity Framework Core (EF Core)  v9.0.6
  • 分库分表组件：ShardingCore 7.9.1.24
 
操作步骤

 
使用用ShardingCore进行分库分表操作，主要步骤如下所示：
 
创建项目并安装组件

 
首先创建一个ASP.NET Core WebApi项目，然后安装ShardingCore组件。在Visual Studio 2022中，通过Nuget包管理器进行安装，当前最新版本为7.9.1.24，如下所示：
3.png

 
创建模型

 
我们以订单表（Order）为例，订单表包含订单Id，购买人，订单金额，所属区域，订单状态，创建时间等内容，如下所示：
  1. namespace Okcoder.ShardingCore.Model
  2. {
  3.     /// <summary>
  4.     /// 订单表
  5.     /// </summary>
  6.     public class Order
  7.     {
  8.         /// <summary>
  9.         /// 订单Id
  10.         /// </summary>
  11.         public string Id { get; set; }
  13.         /// <summary>
  14.         /// 付款人
  15.         /// </summary>
  16.         public string Payer { get; set; }
  18.         /// <summary>
  19.         /// 订单金额
  20.         /// </summary>
  21.         public long Money { get; set; }
  23.         /// <summary>
  24.         /// 所属区域
  25.         /// </summary>
  26.         public string Area { get; set; }
  28.         /// <summary>
  29.         /// 订单状态
  30.         /// </summary>
  31.         public OrderStatusEnum OrderStatus { get; set; }
  33.         /// <summary>
  34.         /// 创建时间
  35.         /// </summary>
  36.         public DateTime CreationTime { get; set; }
  37.     }
  39.     /// <summary>
  40.     /// 订单状态枚举
  41.     /// </summary>
  42.     public enum OrderStatusEnum
  43.     {
  44.         NoPay = 1,
  45.         Paying = 2,
  46.         Payed = 3,
  47.         PayFail = 4
  48.     }
  49. }
复制代码
 
创建DbContext

 
EF-Core框架需要实现DbContext，在ShardingCore项目中，如果只分库，则仅需要继承自AbstractShardingDbContext；如果还需要分表，则需要实现IShardingTableDbContext接口。本示例需要同时实现分库分表，所以既需要继承自AbstractShardingDbContext，又需要实现IShardingTableDbContext。主要实现OnModelCreating方法，将模型Order和数据表进行映射，以及构造函数。如下所示：
  1. using Microsoft.EntityFrameworkCore;
  2. using Okcoder.ShardingCore.Model;
  3. using ShardingCore.Core.VirtualRoutes.TableRoutes.RouteTails.Abstractions;
  4. using ShardingCore.Sharding.Abstractions;
  5. using ShardingCore.Sharding;
  7. namespace Okcoder.ShardingCore.DAL
  8. {
  9.     public class DefaultShardingDbContext : AbstractShardingDbContext, IShardingTableDbContext
  10.     {
  11.         public DefaultShardingDbContext(DbContextOptions<DefaultShardingDbContext> options) : base(options)
  12.         {
  13.         }
  15.         protected override void OnModelCreating(ModelBuilder modelBuilder)
  16.         {
  17.             base.OnModelCreating(modelBuilder);
  18.             modelBuilder.Entity<Order>(entity =>
  19.             {
  20.                 entity.HasKey(o => o.Id);
  21.                 entity.Property(o => o.Id).IsRequired().IsUnicode(false).HasMaxLength(50);
  22.                 entity.Property(o => o.Payer).IsRequired().IsUnicode(false).HasMaxLength(50);
  23.                 entity.Property(o => o.Area).IsRequired().IsUnicode(false).HasMaxLength(50);
  24.                 entity.Property(o => o.OrderStatus).HasConversion<int>();
  25.                 entity.ToTable(nameof(Order));
  26.             });
  27.         }
  28.         /// <summary>
  29.         /// 如果分表，则空实现即可
  30.         /// </summary>
  31.         public IRouteTail RouteTail { get; set; }
  32.     }
  33. }
复制代码
 
创建虚拟分表路由

 
通过ShardingCore架构图可以看出，每一个表对应一个分表路由，同时ShardingCore默认实现了很多路由，这样可以直接继承，省去了很多麻烦，本示例主要继承自AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute，实现按月分表功能。主要定义分表的规则逻辑，包括分表起始时间，分表列，分表后缀等内容，具体如下所示：
  1. using Okcoder.ShardingCore.Model;
  2. using ShardingCore.Core.EntityMetadatas;
  3. using ShardingCore.VirtualRoutes.Months;
  5. namespace Okcoder.ShardingCore.DAL
  6. {
  7.     /// <summary>
  8.     /// 路由构造函数支持依赖注入,依赖注入的对象生命周期必须是单例
  9.     /// </summary>
  10.     public class OrderVirtualTableRoute : AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute<Order>
  11.     {
  12.         /// <summary>
  13.         /// 获取分表起始时间
  14.         /// </summary>
  15.         /// <returns></returns>
  16.         public override DateTime GetBeginTime()
  17.         {
  18.             return new DateTime(2024, 1, 1);
  19.         }
  20.         /// <summary>
  21.         /// 配置分表属性
  22.         /// </summary>
  23.         /// <param name="builder"></param>
  25.         public override void Configure(EntityMetadataTableBuilder<Order> builder)
  26.         {
  27.             builder.ShardingProperty(o => o.CreationTime);
  28.             //builder.AutoCreateTable(true);
  29.         }
  30.         /// <summary>
  31.         /// 允许创建分表流程
  32.         /// </summary>
  33.         /// <returns></returns>
  35.         public override bool AutoCreateTableByTime()
  36.         {
  37.             return true;
  38.         }
  40.         /// <summary>
  41.         /// 分表后缀格式
  42.         /// </summary>
  43.         /// <param name="time"></param>
  44.         /// <returns></returns>
  45.         protected override string TimeFormatToTail(DateTime time)
  46.         {
  47.             return time.ToString("MM");
  48.         }
  50.         protected override bool RouteIgnoreDataSource => false;
  51.     }
  52. }
复制代码
说明：虚拟路由就是联系虚拟表和物理表的中间介质,虚拟表在整个程序中只有一份,那么程序如何知道要查询系统哪一张表呢,最简单的方式就是通过虚拟表对应的路由IVirtualTableRoute 。
 
创建虚拟分库路由

 
分库路由继承自AbstractShardingOperatorVirtualDataSourceRoute，并实现抽象方法，主要包括动态创建数据源，以及路由Filter筛选函数，和ShardingKey和数据源映射方法，如下所示：
  1. using Okcoder.ShardingCore.Model;
  2. using ShardingCore.Core.EntityMetadatas;
  3. using ShardingCore.Core.VirtualRoutes.DataSourceRoutes.Abstractions;
  4. using ShardingCore.Core.VirtualRoutes;
  5. using System.Collections.Concurrent;
  7. namespace Okcoder.ShardingCore.DAL
  8. {
  9.     /// <summary>
  10.     /// 分库路由
  11.     /// </summary>
  12.     public class OrderVirtualDbRoute : AbstractShardingOperatorVirtualDataSourceRoute<Order, DateTime>
  13.     {
  14.         private readonly ConcurrentBag<string> dataSources = new ConcurrentBag<string>();
  16.         private readonly object _lock = new object();
  18.         public OrderVirtualDbRoute():base()
  19.         {
  20.             for (int i = 0; i < 10; i++)
  21.             {
  22.                 dataSources.Add(DateTime.Now.AddYears(i).ToString("yyyy"));
  23.             }
  24.         }
  26.         public override bool AddDataSourceName(string dataSourceName)
  27.         {
  28.             var acquire = Monitor.TryEnter(_lock, TimeSpan.FromSeconds(3));
  29.             if (!acquire)
  30.             {
  31.                 return false;
  32.             }
  33.             try
  34.             {
  35.                 var contains = dataSources.Contains(dataSourceName);
  36.                 if (!contains)
  37.                 {
  38.                     dataSources.Add(dataSourceName);
  39.                     return true;
  40.                 }
  41.             }
  42.             finally
  43.             {
  44.                 Monitor.Exit(_lock);
  45.             }
  47.             return false;
  48.         }
  50.         public override void Configure(EntityMetadataDataSourceBuilder<Order> builder)
  51.         {
  52.             builder.ShardingProperty(o => o.CreationTime);
  53.         }
  55.         public override List<string> GetAllDataSourceNames()
  56.         {
  57.             return dataSources.ToList();
  58.         }
  60.         /// <summary>
  61.         /// tail就是2020，2021，2022，2023,2024,2025 所以分片只需要格式化年就可以直接比较了
  62.         /// </summary>
  63.         /// <param name="shardingKey"></param>
  64.         /// <param name="shardingOperator"></param>
  65.         /// <returns></returns>
  66.         public override Func<string, bool> GetRouteToFilter(DateTime shardingKey, ShardingOperatorEnum shardingOperator)
  67.         {
  68.             var t = $"{shardingKey:yyyyy}";
  70.             switch (shardingOperator)
  71.             {
  72.                 case ShardingOperatorEnum.GreaterThan:
  73.                 case ShardingOperatorEnum.GreaterThanOrEqual:
  74.                     return tail => String.Compare(tail, t, StringComparison.Ordinal) >= 0;
  75.                 case ShardingOperatorEnum.LessThan:
  76.                     {
  77.                         var currentYear = new DateTime(shardingKey.Year, 1, 1);
  78.                         //处于临界值 o=>o.time < [2021-01-01 00:00:00] 尾巴20210101不应该被返回
  79.                         if (currentYear == shardingKey)
  80.                             return tail => String.Compare(tail, t, StringComparison.Ordinal) < 0;
  81.                         return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
  82.                     }
  83.                 case ShardingOperatorEnum.LessThanOrEqual:
  84.                     return tail => String.Compare(tail, t, StringComparison.Ordinal) <= 0;
  85.                 case ShardingOperatorEnum.Equal: return tail => tail == t;
  86.                 default:
  87.                     {
  88.                         return tail => true;
  89.                     }
  90.             }
  91.         }
  93.         public override string ShardingKeyToDataSourceName(object shardingKey)
  94.         {
  95.             return $"{shardingKey:yyyy}";//年份作为分库数据源名称
  96.         }
  97.     }
  98. }
复制代码
 说明：数据源名称用来将对象路由到具体的数据源。
 
配置启动项

 
在Program的Main方法中配置ShardingCore启动项，主要配置默认数据源，扩展数据源，已经使用数据类型等内容。如下所示：
  1. using Microsoft.EntityFrameworkCore;
  2. using Okcoder.ShardingCore.DAL;
  3. using ShardingCore;
  5. namespace Okcoder.ShardingCore
  6. {
  7.     public class Program
  8.     {
  9.         public static void Main(string[] args)
  10.         {
  11.             var builder = WebApplication.CreateBuilder(args);
  13.             // Add services to the container.
  14.             builder.Services.AddControllers();
  15.             builder.Services.AddShardingDbContext<DefaultShardingDbContext>()
  16.                 .UseRouteConfig(op =>
  17.                 {
  18.                     op.AddShardingDataSourceRoute<OrderVirtualDbRoute>();
  19.                     op.AddShardingTableRoute<OrderVirtualTableRoute>();
  20.                 }).UseConfig(op =>
  21.                 {
  22.                     op.UseShardingQuery((connStr, builder) =>
  23.                     {
  24.                         //connStr is delegate input param
  25.                         builder.UseSqlServer(connStr);
  26.                     });
  27.                     op.UseShardingTransaction((connection, builder) =>
  28.                     {
  29.                         //connection is delegate input param
  30.                         builder.UseSqlServer(connection);
  31.                     });
  32.                     op.AddDefaultDataSource("2024", builder.Configuration.GetConnectionString("Default"));
  33.                     op.AddExtraDataSource(sp =>
  34.                     {
  35.                         var dict = new Dictionary<string, string>();
  36.                         for (int i = 0; i < 10; i++)
  37.                         {
  38.                             var key = DateTime.Now.AddYears(i).ToString("yyyy");
  39.                             dict.Add(key, $"Server=localhost;Database=TestDb{key};Trusted_Connection=True;User Id=sa;Password=abc123;Encrypt=True;TrustServerCertificate=True;");
  40.                         }
  41.                         ;
  42.                         return dict;
  43.                     });
  44.                 }).AddShardingCore();
  45.             var app = builder.Build();
  47.             // Configure the HTTP request pipeline.
  48.             app.UseHttpsRedirection();
  50.             app.UseAuthorization();
  51.             app.MapControllers();
  54.             using (var scope = app.Services.CreateScope())
  55.             {
  56.                 var testDbContext = scope.ServiceProvider.GetService<DefaultShardingDbContext>();
  57.                 testDbContext.Database.EnsureCreated();
  58.             }
  59.             app.Services.UseAutoTryCompensateTable();
  60.             app.Run();
  61.         }
  62.     }
  63. }
复制代码
在上述示例中，最重要的实现自动创建分库，分表的是使用UseAutoTryCompensateTable()方法。
 
配置数据源

 
在appsettings.json文件中，配置默认数据源，如下所示：
4.png

 
创建控制器

 
在本示例中，为了测试，创建了OrderController，主要用于插入测试订单，如下所示：
  1. using Microsoft.AspNetCore.Mvc;
  2. using Microsoft.EntityFrameworkCore;
  3. using Okcoder.ShardingCore.DAL;
  4. using Okcoder.ShardingCore.Model;
  6. namespace Okcoder.ShardingCore.Controllers
  7. {
  8.     [ApiController]
  9.     [Route("[controller]/[action]")]
  10.     public class OrderController : ControllerBase
  11.     {
  12.         private readonly DefaultShardingDbContext dbContext;
  14.         public OrderController(DefaultShardingDbContext dbContext)
  15.         {
  16.             this.dbContext = dbContext;
  17.         }
  19.         [HttpGet()]
  20.         public string Add()
  21.         {
  22.             dbContext.Add(new Order()
  23.             {
  24.                 Id = Guid.NewGuid().ToString("n"),
  25.                 Payer = "111",
  26.                 Area = "123",
  27.                 OrderStatus = OrderStatusEnum.Payed,
  28.                 Money = 100,
  29.                 CreationTime = DateTime.Now
  30.             });
  31.             dbContext.SaveChanges();
  32.             return "Ok";
  33.         }
  34.     }
  35. }
复制代码
 
运行实例

 
通过上述步骤，可以实现按年分库，按月分表的功能，运行程序后，发现已经创建成功，如下所示：
5.png

调用Order/Add接口后，查看数据库后，发现数据已经成功插入，如下所示：
 
6.png

 
参考文档

 
本文主要参考官方文档等资料：
官方文档：https://gitee.com/hubo/sharding-core
以上就是《推荐一款基于EF-Core的分库分表利器》的全部内容，旨在抛砖引玉，一起学习，共同进步。

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
EF-Core分库

使用道具 举报
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
拓拔梨婷
2025-6-24 10:42:54

0

粉丝关注

13

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫