# 安装依赖, 这里有的教程说是 linux-perf 或者 perf, 可能有的版本变迁之后更改包名
sudo apt install performance-tools

# 查看目前监控工具版本
# 需要注意: 系统性能采集本身是很高级的功能, 所以大部分情况都是需要用到 root 高级权限
sudo perf --version # 这里目前版本为 perf version 6.14.11

# 参考文档: https://www.man7.org/linux/man-pages/man1/perf.1.html

# 实时 CPU 性能火焰监控, 核心使用方法
# 用于分析占用 CPU 最高的函数 / 进程 / 模块
sudo perf top -g
# 有的时候会提示让你选择, 比如 cpu_atom 和 cpu_core, 这是因为 CPU 采用大小核结构
# cpu_core: P-Core, Performance Core | 性能核, 算力强、主频高、缓存大，单核心性能拉满, 支持超线程
# cpu_atom: E-Core, Efficient Core | 能效核, 功耗低、能效比高、核心数多, 单核心性能弱于 P 核, 但胜在数量多、占用资源少
# 服务器很多时候都是只有 P-Core, 因为本身是服务器不讲究功耗节能, 要求的是最大限度释放核心性能, 所以既有 cpu_core
# 部分内核版本中, cpu_atom 也可能显示为 cpu_efficiency, cpu_core 也可能显示为 cpu_performance, 含义完全一致只是命名不同

# 选择主要核心之后就可以看到对应的列表, 主要的三个指标
# Children/Self/Shared Object/Symbol
#
# - Children: 代表子树占比, 为当前函数 + 它调用的所有子函数合计消耗的 CPU 占比, 代表整个调用链路的总算力消耗
#             若 Children 很高, Self 很低 → 该函数本身不耗 CPU, 它调用的子函数才是真正瓶颈
#             如果出现 Children 很高, Self 很低的情况, 需要检查下是不是程序内部业务代码逻辑是不是编写正确
#             但是这个指标不是唯一的, 因为确实有些业务必须要占用大量资源来处理, 所以这方面只能参考
#
# - Self: 代表程序自身 CPU 占比, 为当前函数自身代码执行消耗的 CPU 占比, 不包含它调用的子函数, 代表函数本身的算力消耗
#         若 Self 占比越高 → 该函数自身是纯 CPU 密集型(如循环、计算、序列化),是直接性能瓶颈, 优先优化这个函数本身
#
# - Shared Object: 代表所属模块|程序, 用于确定当前热点函数属于哪个程序/内核模块
#                  明确 CPU 高耗是业务进程、还是内核、还是第三方库, 常见取值如下
#                   [kernel] - 内核调用, 系统级瓶颈(如上下文切换频繁、内核锁竞争)
#                   nginx/clickhouse-server - 业务进程, 进程任务占用瓶颈
#                   libc.so/libpthread.so - 系统库, 业务代码调用系统库的逻辑低效(如频繁内存分配、线程锁)
# 
# - Symbol: 代表 CPU 占比最高的具体函数名称, 是性能分析的终点, 能够精确检索到代码层面
#           确定瓶颈是 用户态函数/内核态函数/匿名符号 哪个方面导致的问题
#           用户态函数 - 如 kafka_consumer_poll()、data_process() → 业务代码写的函数, 可直接优化
#           内核态函数 - 函数名前带 [kernel], 如 schedule()、sys_read() → 内核逻辑, 需调系统参数/内核配置解决
#           匿名符号 - 显示为 0xffffffffxxxxxx → 程序无调试符号, 需给程序加 -g 编译/安装调试包
#
# 核心的指标就是 Self + Children, 如果占用异常高的时候就要分析内部调用确定是代码问题还是系统问题, 而简单来看
# Self  → 函数「自己」耗CPU → 优化函数本身
# Children → 函数「全家」耗CPU → 优化它调用的子函数


# 进去火焰图之后的操作如下
# ↑ ↓ 方向键   → 上下滚动列表，查看更多热点函数
# Enter       → 选中某行函数，展开/收起 -g 的调用栈
# q           → 退出 perf top 监控界面
# s           → 切换排序方式（按 Self/Children 排序，优先按 Self 排）
# /xxx        → 搜索关键字（如 /java 只看Java进程的热点、/kafka 只看kafka相关函数）
# d           → 按进程PID过滤（输入目标PID，只显示该进程的CPU热点，精准无噪音）
# P           → 按CPU核心过滤（只看指定核心的负载，适合大小核服务器）


# 开始记录 CPU 的性能分析报告
# perf record -e task-clock,cache-misses,cycles {程序二进制}

# 记录目前服务器 60 秒内的所有性能报告, 其中以每秒99次频率进行采样检测
sudo perf record -F 99 -a -g -- sleep 60 # 执行之后要等 60s 等待报告生成

# 耗费 60 秒收集之后就可以导出对应报告
# 模板默认版本不支持 JSON 输出, 只能生成默认 text 报告, 为了兼容性最好导出 txt 之后做每行数据分析
sudo perf report -i perf.data -g --stdio > perf_report.txt

# 纯文本结构化报告, 会打印父子节点分叉
sudo perf report -i perf.data -g --stdio --sort overhead > perf_struct.txt

# 导出perf原始结构化数据
sudo perf script -i perf.data > perf_raw.data

# 安装依赖
sudo apt install -y iperf3

# 查看目前版本
sudo iperf3 --version # iperf 3.16 (cJSON 1.7.15)

# 注意: 如果要测速必须要保证内网有最少两台实体服务器/NAS, 才能正确获取到性能指标

# 1. 首先必须要在准备测试的设备创建服务端
sudo iperf3 -s # 默认监听端口为 5201, 可以通过 -p <端口> 指定监听服务端口
# 不要在同一个服务上启动服务端同时启动客户端进行测试, 这种测速方式是没用的


# 2. 其他服务器发起正向测试, 用于检测 客户端 → 服务器 的网络速率, 可以看作是上传速率
# iperf3 -c <服务器IP>
sudo iperf3 -c 192.168.1.9
# 最后可能输出速度如下
# [ ID] Interval           Transfer     Bitrate         Retr
# [  5]   0.00-10.00  sec  99.9 GBytes  85.8 Gbits/sec    0             sender
# [  5]   0.00-10.00  sec  99.9 GBytes  85.8 Gbits/sec                  receiver

# 3. 其他服务器发起反向测试, 用于检测 服务器 → 客户端 的网络速率, 可以看作是下载速率
sudo iperf3 -c 192.168.1.9 -R

# 4. 其他服务器发起双向测试, 同时测试上传和下载速率
sudo iperf3 -c 192.168.1.9 --bidir
# 最后的速率结果可能如下:
# [ ID][Role] Interval           Transfer     Bitrate         Retr
# [  5][TX-C]   0.00-10.00  sec  86.8 GBytes  74.5 Gbits/sec    0             sender
# [  5][TX-C]   0.00-10.00  sec  86.8 GBytes  74.5 Gbits/sec                  receiver
# [  7][RX-C]   0.00-10.00  sec  87.7 GBytes  75.3 Gbits/sec   36             sender
# [  7][RX-C]   0.00-10.00  sec  87.7 GBytes  75.3 Gbits/sec                  receiver

# 如果需要输出成 JSON 报告, 可以追加参数 --json --logfile <文件名>
# 可以提供给监控文件采集对应的数据, 用于做服务器的状态监控
sudo iperf3 -c 192.168.1.9 --bidir --json --logfile iperf3.json


# 5. 另外还有 UDP 的吞吐测速判断, 适合测试视频流、实时数据传输等 UDP 业务场景
# -u 指定 UDP 协议, -t 指定测试时长(秒), -b 指定带宽上限
sudo iperf3 -c 192.168.1.9 -u -b 1G -t 10


# 6. 实际内网环境都是多线程并发很激烈, 所以需要模拟下这部分并发
# -P <线程数> 代表模拟业务并发线程
# 这里模拟内网 10G 带宽, 开 4 线程区来测速
sudo iperf3 -c 192.168.1.9 -b 10G -P 4 -R
# [ ID] Interval           Transfer     Bitrate         Retr
# [  5]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec    0             sender
# [  5]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec                  receiver
# [  7]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec    0             sender
# [  7]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec                  receiver
# [  9]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec    0             sender
# [  9]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec                  receiver
# [ 11]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec    0             sender
# [ 11]   0.00-10.00  sec  11.6 GBytes  10.0 Gbits/sec                  receiver
# [SUM]   0.00-10.00  sec  46.6 GBytes  40.0 Gbits/sec    0             sender
# [SUM]   0.00-10.00  sec  46.6 GBytes  40.0 Gbits/sec                  receiver

# 这部分原生工具 dd 和 df 就可以测试
# 生成 /tmp/disk_write_test 测试写入 1G 的本地测试数据
# 检测写入速度, oflag 规避缓存处理
dd if=/dev/zero of=/tmp/disk_write_test bs=1G count=1 oflag=direct
# 这里输出如下信息:
# 输入了 1+0 块记录
# 输出了 1+0 块记录
# 1073741824 字节 (1.1 GB, 1.0 GiB) 已复制，0.599968 s，1.8 GB/s

# 测试硬盘读取速度
dd if=/tmp/disk_write_test of=/dev/null bs=1G count=1 iflag=direct
# 这里输出如下信息:
# 输入了 1+0 块记录
# 输出了 1+0 块记录
# 1073741824 字节 (1.1 GB, 1.0 GiB) 已复制，0.363162 s，3.0 GB/s

# 最后删除生成文件
rm -f /tmp/disk_write_test

# df 查看硬盘容量使用率+挂载信息, 排查磁盘满导致的性能问题
# -h 人性化单位显示, -T 显示硬盘文件系统格式(ext4/xfs等)
df -hT


# 这里我是外部扩展出来的机械硬盘, 用于查看机械和固态硬盘的差距
# /data 是外部扩展硬盘, 这里测试写入速度
dd if=/dev/zero of=/data/disk_write_test bs=1G count=1 oflag=direct
# 输入了 1+0 块记录
# 输出了 1+0 块记录
# 1073741824 字节 (1.1 GB, 1.0 GiB) 已复制，5.69057 s，189 MB/s

# 测试读取速率
dd if=/data/disk_write_test of=/dev/null bs=1G count=1 iflag=direct
# 输入了 1+0 块记录
# 输出了 1+0 块记录
# 1073741824 字节 (1.1 GB, 1.0 GiB) 已复制，6.34121 s，169 MB/s

# 最后删除生成文件
rm -f /data/disk_write_test