.NET性能优化-复用StringBuilder

性能,NET,优化 · 浏览次数 : 3910

小编点评

**复用StringBuilder的两种方法** **1. ObjectPool** * 使用 `DefaultObjectPoolProvider` 创建 StringBuilders 的对象池。 * 在创建对象之前,检查池中是否存在此 Builders 的实例。 * 如果存在,直接从池中获取并使用。 * 如果池中不存在,则创建一个新的 Builders 并将其添加到池中。 **2. StringBuilderCache** * 使用 `StringBuilderCache` 类缓存 StringBuilders。 * `StringBuilderCache` 继承了 `StringBuilder`,并在每个线程中维护一个缓存。 * 缓存的容量可以根据项目需求调整。 * 缓存中的 Builders 在创建时会初始化,并根据缓存的容量动态调整大小。 **性能比较** * `StringBuilderCache` 通常比 `ObjectPool` 更易于实现,因为它不需要手动管理对象分配。 * `StringBuilderCache` 也可以缓存各种类型的数据,而 `ObjectPool` 主要用于 String Builders。 * 对于需要频繁创建和释放 Builders 的场景,`StringBuilderCache` 可能更合适。 **其他建议** * 使用 `StringBuilder` 的 `ToString()` 方法进行性能测试。 * 考虑使用 `StringBuilder` 和 `StringBuilderCache` 在需要性能优化的场景中。

正文

在之前的文章中,我们介绍了dotnet在字符串拼接时可以使用的一些性能优化技巧。比如:

  • StringBuilder设置Buffer初始大小
  • 使用ValueStringBuilder等等
    不过这些都多多少少有一些局限性,比如StringBuilder还是会存在new StringBuilder()这样的对象分配(包括内部的Buffer)。ValueStringBuilder无法用于async/await的上下文等等。都不够的灵活。

那么有没有一种方式既能像StringBuilder那样用于async/await的上下文中,又能减少内存分配呢?

其实这可以用到存在很久的一个Tips,那就是想办法复用StringBuilder。目前来说复用StringBuilder推荐两种方式:

  • 使用ObjectPool来创建StringBuilder的对象池
  • 如果不想单独创建一个对象池,那么可以使用StringBuilderCache

使用ObjectPool复用

这种方式估计很多小伙伴都比较熟悉,在.NET Core的时代,微软提供了非常方便的对象池类ObjectPool,因为它是一个泛型类,可以对任何类型进行池化。使用方式也非常的简单,只需要在引入如下nuget包:

dotnet add package Microsoft.Extensions.ObjectPool

Nuget包中提供了默认的StringBuilder池化策略StringBuilderPooledObjectPolicyCreateStringBuilderPool()方法,我们可以直接使用它来创建一个ObjectPool:

var provider = new DefaultObjectPoolProvider();
// 配置池中StringBuilder初始容量为256
// 最大容量为8192,如果超过8192则不返回池中,让GC回收
var pool = provider.CreateStringBuilderPool(256, 8192);

var builder = pool.Get();
try
{	        
	for (int i = 0; i < 100; i++)
	{
		builder.Append(i);
	}
	builder.ToString().Dump();
}
finally
{
	// 将builder归还到池中
	pool.Return(builder);
}

运行结果如下图所示:

当然,我们在ASP.NET Core等环境中可以结合微软的依赖注入框架使用它,为你的项目添加如下NuGet包:

dotnet add package Microsoft.Extensions.DependencyInjection

然后就可以写下面这样的代码,从容器中获取ObjectPoolProvider达到同样的效果:

var objectPool = new ServiceCollection()
	.AddSingleton<ObjectPoolProvider, DefaultObjectPoolProvider>()
	.BuildServiceProvider()
	.GetRequiredService<ObjectPoolProvider>()
	.CreateStringBuilderPool(256, 8192);

var builder = objectPool.Get();
try
{
	for (int i = 0; i < 100; i++)
	{
		builder.Append(i);
	}
	builder.ToString().Dump();
}
finally
{
	objectPool.Return(builder);
}

更加详细的内容可以阅读蒋老师关于ObjectPool系列文章

使用StringBuilderCache

另外一个方案就是在.NET中存在很久的类,如果大家翻阅过.NET的一些代码,在有字符串拼接的场景可以经常见到它的身影。但是它和ValueStringBuilder一样不是公开可用的,这个类叫StringBuilderCache

下方所示就是它的源码,源码链接点击这里

namespace System.Text
{
    /// <summary>为每个线程提供一个缓存的可复用的StringBuilder的实例</summary>
    internal static class StringBuilderCache
    {
        // 这个值360是在与性能专家的讨论中选择的,是在每个线程使用尽可能少的内存和仍然覆盖VS设计者启动路径上的大部分短暂的StringBuilder创建之间的折衷。
        internal const int MaxBuilderSize = 360;
        private const int DefaultCapacity = 16; // == StringBuilder.DefaultCapacity

        [ThreadStatic]
        private static StringBuilder? t_cachedInstance;

        // <summary>获得一个指定容量的StringBuilder.</summary>。
        // <remarks>如果一个适当大小的StringBuilder被缓存了,它将被返回并清空缓存。
        public static StringBuilder Acquire(int capacity = DefaultCapacity)
        {
            if (capacity <= MaxBuilderSize)
            {
                StringBuilder? sb = t_cachedInstance;
                if (sb != null)
                {
                    // 当请求的大小大于当前容量时,
                    // 通过获取一个新的StringBuilder来避免Stringbuilder块的碎片化
                    if (capacity <= sb.Capacity)
                    {
                        t_cachedInstance = null;
                        sb.Clear();
                        return sb;
                    }
                }
            }

            return new StringBuilder(capacity);
        }

        /// <summary>如果指定的StringBuilder不是太大,就把它放在缓存中</summary>
        public static void Release(StringBuilder sb)
        {
            if (sb.Capacity <= MaxBuilderSize)
            {
                t_cachedInstance = sb;
            }
        }

        /// <summary>ToString()的字符串生成器,将其释放到缓存中,并返回生成的字符串。</summary>
        public static string GetStringAndRelease(StringBuilder sb)
        {
            string result = sb.ToString();
            Release(sb);
            return result;
        }
    }
}

这里我们又复习了ThreadStatic特性,用于存储线程唯一的对象。大家看到这个设计就知道,它是存在于每个线程的StringBuilder缓存,意味着只要是一个线程中需要使用的代码都可以复用它,不过它的是复用小于360个字符StringBuilder,这个能满足绝大多数场景的使用,当然大家也可以根据自己项目实际情况,调整它的大小。

要使用的话,很简单,我们只需要把这个类拷贝出来,变成一个公共的类,然后使用相同的测试代码即可。

跑分及总结

按照惯例,跑个分看看,这里模拟的是小字符串拼接场景:

using System.Text;
using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Order;
using BenchmarkDotNet.Running;
using Microsoft.Extensions.ObjectPool;

BenchmarkRunner.Run<Bench>();

[MemoryDiagnoser]  
[HtmlExporter]  
[Orderer(SummaryOrderPolicy.FastestToSlowest)]  
public class Bench
{
	private readonly int[] _arr = Enumerable.Range(0,50).ToArray();
	
	[Benchmark(Baseline = true)] 
	public string UseStringBuilder()
	{
		return RunBench(new StringBuilder(16));
	}
	
	[Benchmark] 
	public string UseStringBuilderCache()
	{
		var builder = StringBuilderCache.Acquire(16);
		try
		{
			return RunBench(builder);
		}
		finally
		{
			StringBuilderCache.Release(builder);
		}
	}

	private readonly ObjectPool<StringBuilder> _pool = new DefaultObjectPoolProvider().CreateStringBuilderPool(16, 256);
	[Benchmark] 
	public string UseStringBuilderPool()
	{
		var builder = _pool.Get();
		try
		{
			return RunBench(builder);
		}
		finally
		{
			_pool.Return(builder);
		}
	}

	public string RunBench(StringBuilder buider)
	{
		for (int i = 0; i < _arr.Length; i++)
		{
			buider.Append(i);
		}
		return buider.ToString();
	}
}

结果如下所示,和我们想象中的差不多。

根据实际的高性能编程来说:

  • 代码中没有async/await最佳是使用ValueStringBuilder,前面文章也说明了这一点
  • 代码中尽量复用StringBuilder,不要每次都new()创建它
  • 在方便依赖注入的场景,可以多使用StringBuilderPool这个池化类
  • 在不方便依赖注入的场景,使用StringBuilderCache会更加方便

另外StringBuilderCacheMaxBuilderSizeStringBuilderPoolMaxSize都快可以根据项目类型和使用调整,像我们实际中一般都会调整到256KB甚至更大。

附录

本文源码链接:https://github.com/InCerryGit/RecycleableStringBuilderExample

与.NET性能优化-复用StringBuilder相似的内容:

.NET性能优化-复用StringBuilder

在之前的文章中,我们介绍了dotnet在字符串拼接时可以使用的一些性能优化技巧。比如: 为StringBuilder设置Buffer初始大小 使用ValueStringBuilder等等 不过这些都多多少少有一些局限性,比如StringBuilder还是会存在new StringBuilder()这

.NET性能优化-ArrayPool同时复用数组和对象

前两天在微信后台收到了读者的私信,问了一个这样的问题,由于私信回复有字数和篇幅限制,我在这里统一回复一下。读者的问题是这样的: 大佬您好,之前读了您的文章受益匪浅,我们有一个项目经常占用 7-8GB 的内存,使用了您推荐的ArrayPool以后降低到 4GB 左右,我还想着能不能继续优化,于是 du

.NET性能优化-是时候换个序列化协议了

计算机单机性能一直受到摩尔定律的约束,随着移动互联网的兴趣,单机性能不足的瓶颈越来越明显,制约着整个行业的发展。不过我们虽然不能无止境的纵向扩容系统,但是我们可以分布式、横向的扩容系统,这听起来非常的美好,不过也带来了今天要说明的问题,分布式的节点越多,通信产生的成本就越大。 网络传输带宽变得越来越

.NET性能优化-使用内存+磁盘混合缓存

我们回顾一下上一篇文章中的内容,有一个朋友问我这样一个问题: > 我的业务依赖一些数据,因为数据库访问慢,我把它放在Redis里面,不过还是太慢了,有什么其它的方案吗? 其实这个问题比较简单的是吧?Redis其实属于网络存储,我对照下面的这个表格,可以很容易的得出结论,既然网络存储的速度慢,那我们就

.NET性能优化-使用RecyclableMemoryStream替代MemoryStream

提到MemoryStream大家可能都不陌生,在编写代码中或多或少有使用过;比如Json序列化反序列化、导出PDF/Excel/Word、进行图片或者文字处理等场景。但是如果使用它高频、大数据量处理这些数据,就存在一些性能陷阱。 今天给大家带来的这个优化技巧其实就是池化MemoryStream的版本

.Net核心级的性能优化(GC篇)

1.前言 大部分人对于.Net性能优化,都停留在业务层面。或者简单的.Net框架配置层面。本篇来看下.Net核心部分GC垃圾回收配置:保留VM,大对象,独立GC,节省内存等.Net8里面有很多的各种GC配置,用以帮助你的程序进行最大程度性能提升和优化。 文章分为两部分,第一个是GC有哪些动作可以性能

.NET遍历二维数组-先行/先列哪个更快?

上周在.NET性能优化群里面有一个很有意思的讨论,讨论的问题如下所示: 请教大佬:2D数组,用C#先遍历行再遍历列,或者先遍历列再遍历行,两种方式在性能上有区别吗? 据我所知,Julia或者python的 pandas,一般建议先遍历列,再遍历行 在群里面引发了很多大佬的讨论,总的来说观点分为以下三

【.NET8】访问私有成员新姿势UnsafeAccessor(上)

前言 前几天在.NET性能优化群里面,有群友聊到了.NET8新增的一个特性,这个类叫UnsafeAccessor,有很多群友都不知道这个特性是干嘛的,所以我就想写一篇文章来带大家了解一下这个特性。 其实在很早之前我就有关注到这个特殊的特性,但是当时.NET8还没有正式发布,所以我也没有写文章,现在.

【转帖】Linux性能优化(一)——stress压力测试工具

https://blog.csdn.net/a642960662/category_11641226.html 一、stress简介 1、stress简介 stress是Linux的一个压力测试工具,可以对CPU、Memory、IO、磁盘进行压力测试。 2、stress安装 安装: sudo yum

[转帖]【建议收藏】15755 字,讲透 MySQL 性能优化(包含 MySQL 架构、存储引擎、调优工具、SQL、索引、建议等等)

https://my.oschina.net/jiagoushi/blog/5593246 0. 目录 1)MySQL 总体架构介绍 2)MySQL 存储引擎调优 3)常用慢查询分析工具 4)如何定位不合理的 SQL 5)SQL 优化的一些建议 1 MySQL 总体架构介绍 1.1 MySQL 总体