4.5 配套代码：系统级观测命令与快照脚本

#!/usr/bin/env bash
# tools/system-snapshot.sh <OUTPUT_FILE> [PID]
#
# 采集完整的系统级快照。适合在压测进行中或故障排查时运行。
set -uo pipefail

OUT="${1:?usage: system-snapshot.sh <output_file> [pid]}"
PID="${2:-}"
mkdir -p "$(dirname "$OUT")"

{
  echo "═══ 系统快照 $(date -Iseconds) ═══"
  echo

  # ── CPU 总体与五段分解 ─────────────────────────────────
  echo "───── CPU 总体（重点看 sy / wa / st）─────"
  if command -v mpstat > /dev/null 2>&1; then
    mpstat 1 3 | tail -4
  else
    top -b -n 1 | head -5
  fi
  echo

  echo "───── CPU 频率（是否降频）─────"
  if [ -f /proc/cpuinfo ]; then
    grep -m4 "MHz" /proc/cpuinfo
    echo "governor: $(cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor 2>/dev/null || echo n/a)"
  else
    echo "（非 Linux，跳过）"
  fi
  echo

  # ── 上下文切换 ────────────────────────────────────────
  echo "───── 上下文切换（cswch=自愿/锁竞争, nvcswch=被抢占/线程过多）─────"
  if [ -n "$PID" ]; then
    pidstat -w -p "$PID" 1 3 2>/dev/null | tail -4
  else
    echo "（未指定 PID，显示系统级）"
  fi
  vmstat 1 3 | tail -3
  echo

  # ── 进程级 CPU ────────────────────────────────────────
  if [ -n "$PID" ]; then
    echo "───── 进程 CPU（PID=$PID）─────"
    pidstat -u -p "$PID" 1 3 2>/dev/null | tail -4
    echo
  fi

  # ── 内存 ──────────────────────────────────────────────
  echo "───── 内存 ─────"
  free -h 2>/dev/null || vm_stat 2>/dev/null | head -6
  echo

  # ── 磁盘 IO（看 await，不是 %util）────────────────────
  echo "───── 磁盘 IO（关键：await）─────"
  if command -v iostat > /dev/null 2>&1; then
    iostat -x 1 2 | grep -E "Device|^sd|^nvme|^dm-" | head -10
  else
    echo "（iostat 不可用，请安装 sysstat）"
  fi
  echo

  # ── 网络 ──────────────────────────────────────────────
  echo "───── 网络连接状态 ─────"
  if command -v ss > /dev/null 2>&1; then
    ss -s
    echo
    echo "连接状态分布："
    ss -tan | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn | head -8
    echo
    echo "TIME_WAIT 数量: $(ss -tan | grep -c TIME-WAIT || echo 0)"
  fi
  echo

  echo "───── 网络重传与错误 ─────"
  if [ -f /proc/net/snmp ]; then
    grep -A1 "^Tcp:" /proc/net/snmp | tail -1 | awk '{
      printf "重传段数=%s  错误段数=%s\n", $13, $14
    }' 2>/dev/null || echo "（解析失败，请手工查看 /proc/net/snmp）"
  else
    netstat -s 2>/dev/null | grep -E "retransmit|error|drop" | head -5
  fi
  echo

  # ── 容器限制 ──────────────────────────────────────────
  echo "───── 容器资源限制 ⭐ ─────"
  if [ -f /sys/fs/cgroup/cpu.max ]; then
    echo "cpu.max: $(cat /sys/fs/cgroup/cpu.max)"
    echo "--- cpu.stat（重点看 nr_throttled）---"
    head -5 /sys/fs/cgroup/cpu.stat
    # 计算节流比例
    awk '/nr_periods/{p=$2} /nr_throttled/{t=$2} END{
      if (p>0) printf "节流比例: %.1f%%%s\n", 100*t/p, (t/p>0.25 ? "  ⚠️ 严重" : "")
    }' /sys/fs/cgroup/cpu.stat
  elif [ -f /sys/fs/cgroup/cpu/cpu.cfs_quota_us ]; then
    echo "cgroup v1:"
    echo "  quota: $(cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us)"
    echo "  period: $(cat /sys/fs/cgroup/cpu/cpu.cfs_period_us)"
  else
    echo "（非容器环境或 cgroup 不可见）"
  fi
  echo "memory.max: $(cat /sys/fs/cgroup/memory.max 2>/dev/null || echo n/a)"
  echo

  # ── 文件描述符 ────────────────────────────────────────
  echo "───── 文件描述符 ─────"
  echo "ulimit -n: $(ulimit -n)"
  if [ -n "$PID" ] && [ -d "/proc/$PID/fd" ]; then
    echo "当前进程 FD 数: $(ls /proc/"$PID"/fd | wc -l)"
  fi
  echo

  # ── NUMA 与超线程 ─────────────────────────────────────
  echo "───── 硬件拓扑 ─────"
  if command -v lscpu > /dev/null 2>&1; then
    lscpu | grep -E "^CPU\(s\)|Thread|Core|Socket|NUMA|Model name"
  fi

} > "$OUT" 2>&1

echo "✅ 系统快照 → $OUT"
echo
echo "快速判读入口："
echo "  grep -A3 'CPU 总体' '$OUT'        # 看 sy / st 是否偏高"
echo "  grep -A2 '上下文切换' '$OUT'      # 看切换次数"
echo "  grep -A3 '容器资源限制' '$OUT'    # 看节流比例"
echo "  grep -A2 '磁盘 IO' '$OUT'         # 看 await"

# 采集 10 次 st 值
for i in $(seq 1 10); do
  vmstat 1 1 | tail -1 | awk '{print "st=" $17 "%"}'
  sleep 1
done

# 观察 5 秒
pidstat -w -p "$PID" 1 5 | tail -6

如果 nvcswch/s ≈ 每秒几十万，而 CPU 核数是 8
→ 说明每个核上有很多线程在轮转
→ 应该减少线程数或改用协程

# 方法一：async-profiler 的 wall 模式（推荐，最简单）
asprof -d 60 -e wall -f wall.html "$PID"

# 方法二：perf 的调度事件（需要权限）
perf record -e sched:sched_stat_sleep -e sched:sched_switch -a -g -- sleep 10
perf report --stdio | head -50

# 方法三：bpftrace 一行统计阻塞时长
bpftrace -e '
  tracepoint:sched:sched_switch /args.prev_state == 2/ {
    @[kstack] = sum(nsecs - args.prev_state_start);
  }
'