PGO前瞻

pgo,前瞻 · 浏览次数 : 138

小编点评

**代码分析** 本文代码分析关于如何使用PGO来提升Go代码的性能。通过创建性能分析文件,并使用PGO进行构建,可以获得2%到4%的CPU使用率提升。 **关键代码** * `go build -pgo=auto -o markdown.withpgo performance对比` * ``./markdown.nopgo` * ``./markdown.withpgo` **性能提升** 通过创建性能分析文件,并使用PGO进行构建,可以获得2%到4%的CPU使用率提升。这可以通过使用Go的PGO特性来实现,即使用PGO来编译Go代码。 **其他** * 代码中使用了Go 1.20的PGO特性,包括自动PGO。 * 代码中使用了性能分析文件,可以帮助用户了解应用程序的性能行为。 * 代码分析展示了如何使用PGO来提升Go代码的性能。

正文

原文在这里

原文发布于2023年2月8日

在构建Go二进制文件时,Go编译器会进行优化,以尽可能生成性能最佳的二进制文件。例如,常量传播可以在编译时对常量表达式进行求值,避免了运行时的计算开销;逃逸分析可以避免对局部作用域对象进行堆分配,从而减少了垃圾回收的负担;内联则将简单函数的代码体复制到调用处,通常能够进一步优化调用处的代码(例如额外的常量传播或更好的逃逸分析)。

Go在发布的每个版本中都会改进优化,但这并不总是一项容易的任务。某些优化是可调节的,但编译器不能对每个函数都进行过度激进的优化,因为过于激进的优化实际上可能会损害性能或导致过长的构建时间。其他优化要求编译器对函数中的“常见”和“不常见”路径进行判断。编译器必须根据静态启发式规则进行最佳猜测,因为它无法在运行时知道哪些情况将是常见的。

但现在编译器可以在运行时知道哪些情况是常见的了。

在没有关于代码在生产环境中如何使用的确切信息的情况下,编译器只能对包的源代码进行操作。但是我们确实有一种工具来评估生产行为:性能分析。如果我们向编译器提供一个性能分析文件,它就可以做出更明智的决策:对最常用的函数进行更积极的优化,或更准确地选择常见情况。

使用应用程序行为的性能分析文件进行编译器优化的方法被称为基于性能分析的优化(Profile-Guided Optimization,简称PGO,也被称为反馈导向优化(Feedback-Directed Optimization,简称FDO))。

PGO/FDO通过收集和分析运行时的性能数据,使得编译器能够更准确地了解代码的执行特性,从而进行更精细的优化。通过结合静态分析和动态运行时数据,PGO/FDO可以产生更优化的代码,提高程序的性能和效率。这种技术在提高大型复杂应用程序的性能方面非常有用,特别是对于高度频繁执行的代码路径进行优化。

Go 1.20中包含了PGO的初步支持,作为预览版本提供。请参阅profile-guided optimization user guide以获取完整的文档。尽管距离在生产环境中使用还有一段距离,但仍希望大家在工作中使用,并反馈遇到的问题或意见

示例

以Markdown转HTML服务为例:用户通过/render上传Markdown文件,然后接收转换后的HTML文件。这里使用gitlab.com/golang-commonmark/markdown

创建项目

$ go mod init example.com/markdown  
$ go get gitlab.com/golang-commonmark/markdown  

main.go内容:

package main

import (
	"bytes"
	"io"
	"log"
	"net/http"
	_ "net/http/pprof"

	"gitlab.com/golang-commonmark/markdown"
)

func render(w http.ResponseWriter, r *http.Request) {
	if r.Method != "POST" {
		http.Error(w, "Only POST allowed", http.StatusMethodNotAllowed)
		return
	}

	src, err := io.ReadAll(r.Body)
	if err != nil {
		log.Printf("error reading body: %v", err)
		http.Error(w, "Internal Server Error", http.StatusInternalServerError)
		return
	}

	md := markdown.New(
		markdown.XHTMLOutput(true),
		markdown.Typographer(true),
		markdown.Linkify(true),
		markdown.Tables(true),
	)

	var buf bytes.Buffer
	if err := md.Render(&buf, src); err != nil {
		log.Printf("error converting markdown: %v", err)
		http.Error(w, "Malformed markdown", http.StatusBadRequest)
		return
	}

	if _, err := io.Copy(w, &buf); err != nil {
		log.Printf("error writing response: %v", err)
		http.Error(w, "Internal Server Error", http.StatusInternalServerError)
		return
	}
}

func main() {
	http.HandleFunc("/render", render)
	log.Printf("Serving on port 8080...")
	log.Fatal(http.ListenAndServe(":8080", nil))
}

启动服务:

$ go build -o markdown.nopgo
$ ./markdown.nopgo
2023/06/25 11:27:13 Serving on port 8080...  

使用Go项目的README来进行测试:

$ curl -o README.md -L "https://raw.githubusercontent.com/golang/go/c16c2c49e2fa98ae551fc6335215fadd62d33542/README.md"  
$ curl --data-binary @README.md http://localhost:8080/render  
<h1>The Go Programming Language</h1>
<p>Go is an open source programming language that makes it easy to build simple,
reliable, and efficient software.</p>  
...  
<p>Note that the Go project uses the issue tracker for bug reports and
proposals only. See <a href="https://go.dev/wiki/Questions">https://go.dev/wiki/Questions</a> for a list of
places to ask questions about the Go language.</p>  

性能分析

现在我们来采集一个profile文件,再使用PGO来重新构建服务,看看性能能提升多少。

main.go中,我们导入了net/http/pprof包,它会自动为服务器添加一个/debug/pprof/profile地址,用于获取CPU分析数据。

通常情况下,我们都是从生产环境中收集性能分析数据,以便编译器能够获取在实际生产环境中的行为情况。但这个示例没有一个真实的“生产”环境,我们将创建一个简单的程序来生成负载,同时收集性能分析数据。将该程序的源码复制到load/main.go,并启动负载生成器(确保服务器仍在运行!)。

$ go run example.com/markdown/load

下载性能分析文件:

$ curl -o cpu.pprof "http://localhost:8080/debug/pprof/profile?seconds=30"  

下载完成后,关闭服务。

启用PGO

我们可以使用go build命令的-pgo标志要求Go工具链使用PGO进行构建。-pgo标志可以接受以下两种参数:

  • 指定要使用的性能分析文件的路径
  • 使用"auto",它将使用主包目录中的default.pgo文件

我们建议将default.pgo性能分析文件提交到你的代码仓库中。将性能分析文件与源代码放在一起,可以确保用户只需获取代码仓库(无论是通过版本控制系统还是通过go get命令),就能自动获得性能分析文件,并且构建过程仍然可重现。在Go 1.20中,默认的-pgo选项是off,因此用户仍需要添加-pgo=auto选项,但预计将来的Go版本将把默认值改为-pgo=auto,这样任何构建该二进制文件的人都将获得PGO的好处。

构建:

$ mv cpu.pprof default.pgo
$ go build -pgo=auto -o markdown.withpgo

性能对比

我们将使用一个基于Go的基准测试版本的负载生成器来评估PGO对性能的影响。将这个基准测试的代码复制到load/bench_test.go文件中。

首先没有使用PGO的情况下进行测试:

$ ./markdown.nopgo  

进行测试:

$ go test example.com/markdown/load -bench=. -count=100 -source ../README.md > nopgo.txt

然后启用PGO:

$ ./markdown.withpgo  

进行测试:

$ go test example.com/markdown/load -bench=. -count=100 -source ../README.md > withpgo.txt

运行结束后进行结果对比:

$ go install golang.org/x/perf/cmd/benchstat@latest  
$ benchstat nopgo.txt withpgo.txt
goos: linux
goarch: amd64
pkg: example.com/markdown/load
cpu: Intel(R) Core(TM) i7-6700HQ CPU @ 2.60GHz
       │  nopgo.txt  │             withpgo.txt             │
       │   sec/op    │   sec/op     vs base                │
Load-8   445.1µ ± 4%   408.6µ ± 2%  -8.21% (p=0.000 n=100)

新版本大约快了8.2%!在Go 1.20中,通过启用PGO,可以获得2%到4%的CPU使用率提升。性能分析文件包含了关于应用程序行为的丰富信息,而Go 1.20仅仅开始利用这些信息进行内联优化。未来的发布版本将继续改进性能,因为编译器的更多部分将利用PGO带来的好处。

原文中效率提升了2.6%

文中的代码可以在这里找到。


孟斯特

声明:本作品采用署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)进行许可,使用时请注明出处。
Author: mengbin
blog: mengbin
Github: mengbin92
cnblogs: 恋水无意


与PGO前瞻相似的内容:

PGO前瞻

原文在[这里](https://go.dev/blog/pgo-preview)。 > 原文发布于2023年2月8日 在构建Go二进制文件时,Go编译器会进行优化,以尽可能生成性能最佳的二进制文件。例如,常量传播可以在编译时对常量表达式进行求值,避免了运行时的计算开销;逃逸分析可以避免对局部作用域对

PGO in Go 1.21

原文在这里。 由 Michael Pratt 发布于 2023年9月5日 在2023年早些时候,Go 1.20发布了供用户测试的概要版本的基于性能分析的优化(PGO)。经过解决预览版已知的限制,并得益于社区反馈和贡献的进一步改进,Go 1.21中的PGO支持已经准备好供一般生产使用!请查阅性能分析优

Go 语言中的异常处理简单实践 panic、recover【GO 基础】

〇、Go 中的异常处理简介 Golang 没有结构化异常,使用 panic 抛出错误,recover 捕获错误。 panic、recover 参数类型为 interface{},因此可抛出任何类型对象。 func panic(v interface{}) func recover() interfa

glog 日志库简介与测试【GO 常用的库】

在 GO 语言中,glog 日志库还是比较常用的,下面来详细介绍下。

crypto 加解密库简介与测试【GO 常用的库】

加密算法是任何语言都不可或缺的,关于 GO 语言的实现本文简单梳理了下,仅供参考。

GO 中的时间操作(time & dateparse)【GO 基础】

本文通过 GO 的标准库 time 和 三方库 dateparse 的详解,梳理了关于时间的全部操作。

math 库中常用的数学运算和常量【GO 基础】

GO 语言的 math 库是一个内置的标准库,其中包含了许多数学函数和常量,用于计算各种数学运算和统计学计算,今天来梳理下备查。

map 简单梳理【GO 基础】

map 是一种无序的基于 key-value 的数据结构,Go 语言中的 map 是引用类型,必须初始化才能使用。比较容易混淆,本文来梳理下。

struct 结构体【GO 基础】

虽然 Go 语言中没有“类”的概念,也不支持“类”的继承等面向对象的概念,但是可以通过结构体的内嵌,再配合接口,来实现面向对象,甚至具有更高的扩展性和灵活性。那么本文就将详细看下怎么使用结构体。

interface 接口相关【GO 基础】

〇、接口简介 接口(interface)定义了一个对象的行为规范,只定义规范不实现,由具体的对象来实现规范的细节。也就是说,接口可以将一种或多种特征归纳到一起,其他不同的对象通过实现此接口,来表示可以具有此类特征,使得不同的类或模块之间进行通信和交互,而不需要了解彼此的具体实现细节,从而提高代码的可