Linux CPU 性能分析工具：火焰图 (Flame Graphs) 详解

功能性操作

鼠标悬浮特性

原始的火焰图软件生成的 SVG 文件内置了 JavaScript，可以被加载到浏览器中，用于实现实时交互。其中的一个特性是，当鼠标指针移动到相应的栈帧上时，会有一行信息显示出来，表明该栈帧在整个剖析文件中所占的比例。

缩放

可以单击栈帧实现横向缩放。这可将较窄的栈帧展开放大，这样就能看到它们的名字。类似一个数据可视化中下转操作。

搜索

使用搜索按钮，或者按 Ctrl+F 组合键，允许输入搜索关键词，命中的会以洋红色高亮显示出来，同时显示搜索命中结果在所有堆栈中所占的百分比。这就使得计算特定代码区域在整个文件中所占的比例十分容易。

如何生成火焰图？

当前实验环境

[root@localhost ~]# hostnamectl Static hostname: vms99.liruilongs.github.io Icon name: computer-vm Chassis: vm Machine ID: ea70bf6266cb413c84266d4153276342 Boot ID: e09f7f3829ca4df1bea57385262eb16b Virtualization: vmware Operating System: Rocky Linux 8.9 (Green Obsidian) CPE OS Name: cpe:/o:rocky:rocky:8:GA Kernel: Linux 4.18.0-513.9.1.el8_9.x86_64 Architecture: x86-64

某一内核函数调用采样

stackcount 工具是一个 BPF 工具，用于通过给定频率对函数的内核堆栈进行计数。这是在内核中使用 eBPF 映射来实现的。只有唯一的堆栈和它们的计数被复制到用户级进行打印。

[root@localhost ~]# stackcount -f -P -D 10 ktime_get > out.txt

上面的命令的意思：

• -f、–folded：输出折叠格式
• -P、–perpid：对每个进程分别显示栈信息
• -D DURATION、–duration DURATION：总共跟踪的秒数
• ktime_get: 调用函数 (Linux 内核空间的系统调用，获取时钟时间)

[root@localhost ~]# ls anaconda-ks.cfg date.log output.txt out.txt set.sh SHA256SUMS
[root@localhost ~]# wc out.txt 220 440 53978 out.txt

生成对应的堆栈数据之后需要通过工具 (FlameGraph) 转化为火焰图

项目地址：

克隆项目

[root@localhost ~]# git clone https://github.com/brendangregg/FlameGraph.git
正克隆到 'FlameGraph'...
remote: Enumerating objects: 1285, done.
remote: Counting objects: 100% (707/707), done.
remote: Compressing objects: 100% (146/146), done.
remote: Total 1285 (delta 584), reused: 575 (delta 561), pack-reused: 578
接收对象中：100% (1285/1285), 1.92 MiB | 174.00 KiB/s, 完成.
处理 delta 中：100% (761/761), 完成.
[root@localhost ~]# cd FlameGraph/

通过下面的命令生成对应的火焰图矢量图

[root@localhost ~/FlameGraph]# ./flamegraph.pl --hash --bgcolors=grey < ../out.txt > out.svg
Can't locate open.pm in @INC (you may need to install the open module) (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5) at ./flamegraph.pl line 97.
BEGIN failed--compilation aborted at ./flamegraph.pl line 97.

可以看到报错了，这个错误消息表明在运行 ./flamegraph.pl 脚本时，Perl 解释器无法找到所需的 open.pm 模块。该模块可能没有正确安装或没有包含在 Perl 解释器的模块搜索路径中。

要解决这个问题，你可以尝试以下几个步骤：

检查模块安装：确保 open.pm 模块已经正确安装。你可以使用 CPAN 或其他 Perl 模块管理工具来安装该模块。

安装模块管理器

[root@localhost ~/FlameGraph]# yum install perl-CPAN -y

安装模块

[root@localhost ~/FlameGraph]# cpan open
Loading internal null logger. Install Log::Log4perl for logging messages
CPAN.pm requires configuration, but most of it can be done automatically.
If you answer 'no' below, you will enter an interactive dialog for each configuration option instead.
Would you like to configure as much as possible automatically? [yes] yes
CPAN: HTTP::Tiny loaded ok (v0.074)
...............
http://www.cpan.org/modules/03modlist.data.gz
Reading '/root/.cpan/sources/modules/03modlist.data.gz'
DONE
Writing /root/.cpan/Metadata
Running install for module 'open'
The most recent version "1.13" of the module "open" is part of the perl-5.38.2 distribution.
To install that, you need to run force install open --or-- install P/PE/PEVANS/perl-5.38.2.tar.gz

安装完之后提示我们需要安装对应的 perl 版本

[root@localhost ~/FlameGraph]# perl -v This is perl 5, version 26, subversion 3 (v5.26.3) built for x86_64-linux-thread-multi (with 58 registered patches, see perl -V for more detail)
Copyright 1987-2018, Larry Wall
Perl may be copied only under the terms of either the Artistic License or the GNU General Public License, which may be found in the Perl 5 source kit.
Complete documentation for Perl, including FAQ lists, should be found on this system using "man perl" or "perldoc perl".
If you have access to the Internet, point your browser at http://www.perl.org/, the Perl Home Page.
[root@localhost ~/FlameGraph]# yum -y install perl -y

升级 perl 版本之后，火焰图可以正常生成

[root@localhost ~/FlameGraph]# ./flamegraph.pl --hash --bgcolors=grey < ../out.txt > out.svg
[root@localhost ~/FlameGraph]#

下面为生成到的火焰图

可以看到最下层为 swapper 调用系统时间函数对应每个 VCPU，当前系统为 6 核，都是 swapper 的调用

说明系统整体 CPU 利用率很低，大部分时间都在执行 swapper 代表的 idle 等待状态。

[root@localhost ~]# top
 top - 17:56:14 up 1 day, 10:11, 2 users, load average: 0.00, 0.00, 0.00
Tasks: 243 total, 1 running, 242 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu4 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu5 : 0.0 us, 1.0 sy, 0.0 ni, 99.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
MiB Mem : 6141.5 total, 4655.9 free, 405.9 used, 1079.7 buff/cache
MiB Swap: 2068.0 total, 2068.0 free, 0.0 used.
5465.6 avail Mem

单击其中一个核的调用，可以查看详细调用信息，更深的颜色代表占用时间更长的函数。更浅的颜色代表占用时间较短的函数。

swapper 任务没有实质工作，它实际代表的就是 CPU 等待工作或空闲的时间。通过统计其 CPU 时间可以评估系统负载和 CPU 使用效率。它起到了监控和统计 CPU 的作用。

全局的采样

profile(8) 是一个定时采样调用栈信息并且汇报调用栈出现频率信息的 BCC 工具。该工具可以同时记录几乎所有占用 CPU 的代码调用栈。该工具的额外消耗几乎可以忽略不计，因为该工具是定时采样，采样频率可以随时调整。

默认情况下，该工具以 49Hz 的频率同时采样所有 CPU 的用户态和内核态的调用栈

下面的命令将 30 秒的采样信息输出到 out.stacks01 文件中，并且在输出中标记内核函数 (a)，-f 以折叠的方式

[root@localhost ~]# profile -af 30 > out.stacks01

生成对应的火焰图

[root@localhost ~]# cd FlameGraph/
[root@localhost ~/FlameGraph]# ./flamegraph.pl < ../out.stacks01 > outs.svg

指定时间的所以的调用栈信息

查看 haproxy 相关的调用栈信息

查看容器运行时相关的调用栈信息