小编点评

本文介绍了一个高性能的结构化日志记录组件，命名为NanoLog。作者在数据库程序开发过程中需要一个高性能的日志记录功能，研究并比较了Microsoft.Extensions.Logging和Serilog，最终决定自行实现一个轮子。 **1. 使用方法** 首先，通过以下示例代码启动NanoLogger： ```csharp NanoLogger.Start(); DateTime? nullable = null; const bool boolValue = true; const char charValue = 'C'; const int intValue1 = 12345; const int intValue2 = 0xABCDEF; const string stringValue = "你好世界"; var point = new Point { X = 123, Y = 456 }; var person = new Person { Name = "Rick", Birthday = new DateTime(1977, 3, 1), Phone = "13861838709" }; var log = new NanoLogger(); log.Trace("Trace message"); log.Trace($"Trace {DateTime.Now}, {intValue1}, 0x{intValue2:X}"); log.Debug($"Debug {DateTime.Now:yyyy-MM-dd hh:mm:ss}, 你好世界!"); log.Info($"Info {point}, {person}, {charValue}"); log.Warn("这是警告:", boolValue); log.Error($@"发生异常: {nullable}, Msg={stringValue}\"); NanoLogger.Stop(); ``` 执行后，控制台将输出结构化的日志记录，其中的记录值会高亮显示。 **2. 性能测试** 性能测试仅使用一个日期类型参数进行，比较NanoLog与其他两种日志记录方式的性能差异： - NanoLog: 154.6 ns, 0.91 ns, 3.48 ns, 0.04 - 0.00 Ms - Log: 3,922.2 ns, 49.13 ns, 202.60 ns, 1.00 - LogCodeGen: 4,079.3 ns, 52.49 ns, 218.77 ns, 1.04 **3. 实现原理** NanoLog的实现主要包括以下几个部分： - **日志级别与启用**：判断日志级别是否启用，不启用则忽略该日志。 - **日志消息构建**：使用C# 6的InterpolatedStringHandlerAttribute自定义实现LogMessageBuilder，记录结构化信息（名称、类型、值、格式化）。 - **序列化与缓冲**：序列化后的日志信息存入内存块或ArrayPool的缓冲块，根据大小选择不同的存储方式。 - **多生产者-单消费者消息队列**：将日志消息、属性类型及属性值加入消息队列，实现异步日志记录，避免阻塞后续代码执行。 **4. 日志搜索** 结构化日志方便支持结构化搜索，可以通过Roslyn解析字符串表达式来过滤日志记录。例如，对于日志记录中的某个事件属性条件，可以使用以下表达式： ``` e.XXX e[\"xxx\"][\"yyy\"] ``` 其中，`e`为日志事件对象，`e.XXX`表示事件对象的属性值条件，`e[\"xxx\"][\"yyy\"]`表示日志消息结构化记录的值条件。 **5. 结语** 本文详细介绍了NanoLog的实现原理和使用方法，并进行了性能测试。NanoLog具有高性能、可扩展性好的特点，适用于数据库程序等需要高性能日志记录的场景。作者 GitHub 地址为： https://github.com/enjoycode/NanoLog.git，如有问题请邮件联系或通过 Github Issue 反馈。

正文

  最近在写数据库程序，需要一个高性能的结构化日志记录组件，简单研究了一下Microsoft.Extensions.Logging和Serilog，还是决定重造一个轮子。

一、使用方法

  直接参考以下示例代码:

NanoLogger.Start();

DateTime? nullable = null;
const bool boolValue = true;
const char charValue = 'C';
const int intValue1 = 12345;
const int intValue2 = 0xABCDEF;
const string stringValue = "你好世界";
var point = new Point { X = 123, Y = 456 };
var person = new Person { Name = "Rick", Birthday = new DateTime(1977, 3, 1), Phone = "13861838709" };

var log = new NanoLogger();

log.Trace("Trace message");
log.Trace($"Trace {DateTime.Now}, {intValue1}, 0x{intValue2:X}");
log.Debug($"Debug {DateTime.Now:yyyy-MM-dd hh:mm:ss}, 你好世界!");
log.Info($"Info {point}, {person}, {charValue}");
log.Warn($"这是警告: {boolValue}");
log.Error($"发生异常: {nullable}, Msg={stringValue}");

NanoLogger.Stop();

执行后控制台输出如下图(记录的结构化值会高亮显示):

二、性能测试

  以下测试仅用一个日期类型参数： nanoLogger.Info($"Hello World {now}");

Method	Mean	Error	StdDev	Ratio	Lock Contentions	Allocated	Alloc Ratio
NanoLog	154.6 ns	0.91 ns	3.48 ns	0.04	-	-	0.00
MsLog	3,922.2 ns	49.13 ns	202.60 ns	1.00	0.0004	264 B	1.00
MsLogCodeGen	4,079.3 ns	52.49 ns	218.77 ns	1.04	0.0010	208 B	0.79

• NanoLog 本组件控制台输出
• MsLog Microsoft.Extensions.Logging控制台输出
• MsLogCodeGen 使用[LoggerMessageAttribute]代码生成方式

三、实现原理

+-----Logger Threads-----+                               +-----Background Thread----+
|                        |                               |                          |
|   logger.Info(xxx)     |                               |    ConsoleLogger.Log()   |
|                        |      +-----Log Queue---+      |                          |
|   logger.Debug(xxx)    |  ==> |-Log-|-Log-|-...-| ==>  |    FileLogger.Log()      |
|                        |      +-----------------+      |                          |
|   logger.Warn(xxx)     |                               |    OtherLogger.Log()     |
|                        |                               |                          |
+------------------------+                               +--------------------------+

• 日志记录时先判断对应的日志级别是否启用，不启用直接忽略。这里使用C# 6的InterpolatedStringHandlerAttribute自定义实现LogMessageBuilder，一方面避免值类型的装箱，另一方面可以记录结构化信息（名称、类型、值、格式化）；

• 启用则将日志消息、对应的属性类型及属性值序列化后写入LogMessage内。这里的序列化非常简单，仅相当于一个内存复制（参考下图）。LogMessage是一个结构体，如果序列化后的数据小于阀值则直接存储在内置的缓冲块内（没有Heap内存分配的问题），否则从ArrayPool内租用一个缓冲块存储超出部分；

+--------------------LogMessage 缓冲块-----------------------+
|-TokenType-|---Value---|-TokenType-|--------Value------|---|
|  Literal  | 5,"Hello" |   Int     | "name",12345,"X2" |   |
+-----------------------------------------------------------+

• 序列化后的事件信息(LogEvent)及消息数据(LogMessage)直接加入一个多生产者-单消费者的消息队列，至此前端日志记录过程结束，不阻塞后续代码执行；

• 后台线程循环从队列取出待处理日志，由配置的ILogger实现处理。例如ConsoleLogger格式化后输出至控制台；FileLogger将数据写入文件存储。

四、日志搜索

  结构化日志当然得支持结构化搜索，参考控制台工程NanoLog.File.Viewer使用Roslyn解析字符串表达式编译后过滤日志记录（参考下图):

• 表达式中e.XXX对应LogEvent的相关属性条件；
• 表达式中e["xxx"]["yyy"]对应LogMessage结构化记录的值条件。

五、本文小结

  最后GitHub地址：https://github.com/enjoycode/NanoLog.git, 作者个人能力实在有限Bug在所难免，如有问题请邮件联系或Github Issue，欢迎感兴趣的小伙伴们加入共同完善，当然更欢迎赞助项目或给作者介绍工作（目前找工作中）。