使用 sysdig 监控和调试 Linux 系统

过滤

完整使用方法：

sysdig [option]... [filter]

sysdig 过滤器分成不同类别：

• fd: 文件描述符过滤
• process: 进程信息过滤
• evt: 事件信息过滤
• user: 用户信息过滤
• syslog: 系统日志过滤
• fdlist: poll event 的文件描述符过滤

完整过滤器列表可用 sysdig -l 查看。例如建立 TCP 连接的事件：

sudo sysdig evt.type=accept

过滤器支持 =、!=、>=、>、<、<=、contains、in 和 exists 等操作符。

$ sysdig fd.name contains /etc
$ sysdig "evt.type in ( 'select', 'poll' )"
$ sysdig proc.name exists

多个条件可通过 and、or 和 not 组合：

$ sysdig "not (fd.name contains /proc or fd.name contains /dev)"

自定义输出格式

标准输出已打印常用信息，sysdig 允许自定义打印内容，参数 -p 可加上类似 C 语言 printf 字符串。

$ sysdig -p"user:%user.name dir:%evt.arg.path" evt.type=chdir

字段必须用 % 作为前缀。如果某字段不存在，默认该事件会被过滤掉，在字符串最前面加上 * 符号会打印所有事件，不存在的字段变成 <NA>。

$ sysdig -p"*%evt.type %evt.dir %evt.arg.name" evt.type=open

保存到文件

直接终端查看事件流难以深入分析。sysdig 允许把捕获时间保存到本地文件，再读取分析。

保存到文件通过 -w 实现，从文件中读取需 -r 参数：

# 捕获事件，并保存到文件中
$ sudo sysdig -w sysdig-trace-file.scap

# 从文件中读取 sysdig 格式的事件进行分析
$ sudo sysdig -r sysdig-trace-file.scap

控制捕获文件大小可通过过滤器或参数：

• sysdig -C 5 -W 10 -w dump.pcap：每个文件不超过 5M，只保存最近 10 个文件
• sysdig -G 60 -W 60 -w dump.pcap：每个文件只保存一分钟内的系统活动，只保存 60 个文件
• sysdig -e 1000 -W 5 -w dump.scap：保存 5 个文件，每个文件只有 1000 个事件

使用 -w 保存文件时，还可使用 -z 参数压缩内容。 读取时也可使用过滤器：

$ sysdig -r sysdig-trace-nano.scap evt.type=write

常用的参数

• -A --print-ascii：把 buffer 中数据按照 ASCII 格式打印
• -x --print-hex：把 buffer 中数据按照十六进制格式打印
• -X --print-hex-ascii：同时按照 ASCII 和十六进制格式打印
• -s 1024：捕获 buffer 的数据大小，默认为 80
• -N：不用把端口号转换成可读的名字，提高效率

Chisels：实用的工具箱

Chisels 是一组预定义的功能集合，通过 Lua 脚本实现，用来分析特定场景。

列出支持的 chisels：

sudo sysdig -cl

常用 chisels：

• httplog：输出所有的 HTTP 请求
• topprocs_cpu：输出按照 CPU 使用率排序的进程列表
• echo_fds：输出进程读写的数据
• netstat：列出网络的连接情况
• spy_file：输出文件的读写数据

了解具体使用说明可用 -i 参数：

$ sudo sysdig -i spy_file

示例：

• 按照网络使用情况对进程进行排序：sysdig -c topprocs_net
• 按照建立连接数量对进程进行排序：sysdig -c fdcount_by fd.sport "evt.type=accept"
• 查看系统中用户执行的命令：sysdig -r sysdig.pcap -c spy_users

在 Linux 机器上，这些 chisels 保存在 /usr/share/sysdig/chisels 文件夹中。

对容器的支持

sysdig 对容器（docker 和 kubernetes）有良好支持。

使用 -pc 参数自动在打印的事件中添加容器信息：

$ sysdig -pc container.name=zen_knuth

集成 Kubernetes 系统监控的话，使用 -k http://master_ip:8080 参数，后面是 apiserver 的地址。如果需要认证，指定 -K filename 说明 apiserver CA 证书的文件地址。

Csysdig：图形化的 sysdig

sysdig 还提供了图形化工具 Csysdig，界面和 top/htop 命令相似，接受用户交互。

和 sysdig 一样，csysdig 可以实时捕获系统事件，也可以读取之前保存的文件。