Rocky Linux实例监控完全手册从基础工具配置到高级性能分析掌握系统监控核心技能保障服务器高效稳定运行提升企业级应用可靠性实现自动化运维

威震华夏关云长

引言

Rocky Linux作为CentOS的替代品，已经成为企业级Linux服务器的重要选择。系统监控是保障服务器高效稳定运行的关键环节，对于提升企业级应用可靠性和实现自动化运维具有重要意义。本手册将全面介绍Rocky Linux系统监控的各个方面，从基础工具配置到高级性能分析，帮助读者掌握系统监控的核心技能。

基础监控工具配置

系统信息工具

在Rocky Linux中，首先需要配置一些基础的系统信息工具，这些工具可以帮助我们快速了解系统的基本情况。

2. # 安装基础系统信息工具
3. dnf install -y util-linux coreutils procps-ng
5. # 查看系统基本信息
6. uname -a              # 显示所有系统信息
7. hostnamectl           # 显示系统主机名和相关信息
8. lsb_release -a        # 显示发行版信息（需要安装redhat-lsb-core）
9. cat /etc/os-release   # 显示操作系统信息

复制代码

系统监控基础工具包

2. # 安装基础监控工具
3. dnf install -y sysstat htop iotop nmap telnet net-tools
5. # 启用sysstat服务（包含sar等工具）
6. systemctl enable sysstat
7. systemctl start sysstat

复制代码

性能监控工具

2. # 安装性能监控工具
3. dnf install -y perf bc
5. # perf是Linux内核自带的性能分析工具
6. # bc是一个计算器语言，用于处理监控数据中的数学计算

复制代码

系统资源监控

CPU监控

CPU是系统的核心资源，监控CPU使用情况对于系统性能分析至关重要。

2. # 使用top命令实时监控CPU使用情况
3. top
5. # 使用vmstat监控CPU使用情况
6. vmstat 1 5    # 每秒刷新一次，共5次
8. # 使用mpstat监控多核CPU使用情况
9. mpstat -P ALL 1 5
11. # 使用sar监控历史CPU使用情况
12. sar -u 1 5    # 每秒刷新一次，共5次
13. sar -u -f /var/log/sa/saDD  # 查看历史数据（DD为日期）

复制代码

内存监控

内存使用情况直接影响系统性能，需要密切监控。

2. # 使用free命令查看内存使用情况
3. free -h      # 以人类可读格式显示
5. # 使用vmstat监控内存使用情况
6. vmstat -s    # 显示内存计数器
7. vmstat 1 5   # 每秒刷新一次，共5次
9. # 使用slabtop监控内核 slab 内存分配器信息
10. slabtop
12. # 使用smem显示更详细的内存使用信息（需要安装）
13. dnf install -y smem
14. smem -tk     # 按进程显示内存使用情况，包括比例

复制代码

磁盘监控

磁盘空间和I/O性能是系统稳定运行的关键因素。

2. # 使用df命令查看磁盘空间使用情况
3. df -h        # 以人类可读格式显示
5. # 使用du命令查看目录大小
6. du -sh /path/to/directory    # 显示指定目录的总大小
8. # 使用iostat监控磁盘I/O
9. iostat -xz 1 5    # 每秒刷新一次，共5次，显示扩展统计信息
11. # 使用iotop监控进程I/O情况
12. iotop -oP     # 只显示有I/O操作的进程和线程

复制代码

网络监控

网络性能对于服务器应用至关重要，需要全面监控。

2. # 使用ifconfig查看网络接口信息
3. ifconfig
5. # 使用ip命令查看网络接口信息（推荐）
6. ip addr show
8. # 使用netstat监控网络连接
9. netstat -tuln   # 显示所有监听的TCP和UDP端口
10. netstat -s      # 显示网络统计信息
12. # 使用ss命令替代netstat（推荐）
13. ss -tuln        # 显示所有监听的TCP和UDP端口
14. ss -s           # 显示网络统计信息
16. # 使用nload监控网络流量（需要安装）
17. dnf install -y nload
18. nload           # 显示网络接口的实时流量

复制代码

日志监控与分析

系统日志监控

系统日志记录了系统运行的各种事件，是故障排查的重要依据。

2. # 使用journalctl查看系统日志
3. journalctl -xe     # 显示所有日志，从最新到最旧
4. journalctl -u service_name  # 显示特定服务的日志
5. journalctl -f      # 实时跟踪日志
7. # 配置日志轮转
8. vim /etc/logrotate.conf   # 编辑日志轮转配置文件

复制代码

应用日志监控

应用日志对于了解应用程序运行状态和排查问题非常重要。

2. # 使用tail命令实时监控日志文件
3. tail -f /path/to/logfile
5. # 使用grep过滤日志内容
6. grep "error" /path/to/logfile
8. # 使用awk分析日志内容
9. awk '{print $1}' /path/to/logfile | sort | uniq -c  # 统计IP访问次数

复制代码

集中化日志管理

对于多服务器环境，集中化日志管理是必要的。

2. # 安装ELK Stack（Elasticsearch, Logstash, Kibana）
3. # 首先安装Java运行环境
4. dnf install -y java-1.8.0-openjdk
6. # 安装Elasticsearch
7. dnf install -y elasticsearch
8. systemctl enable elasticsearch
9. systemctl start elasticsearch
11. # 安装Logstash
12. dnf install -y logstash
13. systemctl enable logstash
14. systemctl start logstash
16. # 安装Kibana
17. dnf install -y kibana
18. systemctl enable kibana
19. systemctl start kibana

复制代码

高级性能分析工具

perf工具

perf是Linux内核自带的强大性能分析工具。

2. # 使用perf进行CPU性能分析
3. perf top                    # 实时显示CPU使用最多的函数
4. perf record -a              # 记录系统所有进程的性能数据
5. perf report                 # 分析记录的性能数据
7. # 使用perf分析内存访问
8. perf stat -e cache-misses,cache-references ./program  # 统计程序运行的缓存命中率

复制代码

eBPF工具

eBPF（extended Berkeley Packet Filter）是Linux内核的高级技术，可以用于安全、网络和性能监控。

2. # 安装BCC工具包
3. dnf install -y bcc-tools
5. # 使用execsnoop跟踪新进程创建
6. /usr/share/bcc/tools/execsnoop
8. # 使用opensnoop跟踪文件打开操作
9. /usr/share/bcc/tools/opensnoop
11. # 使用biolatency跟踪块设备I/O延迟
12. /usr/share/bcc/tools/biolatency

复制代码

SystemTap

SystemTap是一个强大的动态追踪工具，可以用于深入分析系统行为。

2. # 安装SystemTap
3. dnf install -y systemtap systemtap-runtime
5. # 安装内核调试信息（用于SystemTap脚本）
6. dnf debuginfo-install kernel
8. # 使用SystemTap监控进程创建
9. stap -ve 'probe begin { print("Hello, SystemTap!\n") exit() }'
11. # 监控系统调用
12. stap -c 'cat /proc/cpuinfo' 'probe syscall.* { if (pid() == target()) printf("%s\n", name) }'

复制代码

可视化监控方案

Grafana与Prometheus

Grafana和Prometheus是现代监控系统的黄金组合，提供强大的数据采集、存储和可视化功能。

2. # 安装Prometheus
3. dnf install -y prometheus
4. systemctl enable prometheus
5. systemctl start prometheus
7. # 安装Grafana
8. dnf install -y grafana
9. systemctl enable grafana
10. systemctl start grafana
12. # 配置Prometheus数据源到Grafana
13. # 访问Grafana Web界面（默认端口3000），添加Prometheus数据源

复制代码

Node Exporter

Node Exporter是Prometheus的官方导出器，用于收集系统级别的指标。

2. # 下载并安装Node Exporter
3. wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
4. tar xzf node_exporter-1.3.1.linux-amd64.tar.gz
5. mv node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin/
7. # 创建systemd服务文件
8. cat > /etc/systemd/system/node_exporter.service <<EOF
9. [Unit]
10. Description=Node Exporter
11. After=network.target
13. [Service]
14. User=prometheus
15. ExecStart=/usr/local/bin/node_exporter
17. [Install]
18. WantedBy=multi-user.target
19. EOF
21. # 启动Node Exporter
22. systemctl enable node_exporter
23. systemctl start node_exporter
25. # 配置Prometheus抓取Node Exporter数据
26. # 编辑/etc/prometheus/prometheus.yml，添加以下内容：
27. scrape_configs:
28.   - job_name: 'node_exporter'
29.     static_configs:
30.       - targets: ['localhost:9100']

复制代码

自定义仪表盘

使用Grafana创建自定义仪表盘，展示关键系统指标。

2. // 示例：CPU使用率仪表盘JSON配置
3. {
4.   "dashboard": {
5.     "id": null,
6.     "title": "Rocky Linux System Monitor",
7.     "tags": ["rocky", "linux", "system"],
8.     "timezone": "browser",
9.     "panels": [
10.       {
11.         "id": 1,
12.         "title": "CPU Usage",
13.         "type": "graph",
14.         "targets": [
15.           {
16.             "expr": "100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)",
17.             "legendFormat": "{{instance}} CPU Usage"
18.           }
19.         ],
20.         "yaxes": [
21.           {
22.             "format": "percent",
23.             "min": 0,
24.             "max": 100
25.           }
26.         ]
27.       }
28.     ]
29.   }
30. }

复制代码

自动化监控与告警

Prometheus告警规则

配置Prometheus告警规则，在系统异常时及时通知。

2. # 创建告警规则文件 /etc/prometheus/rules.yml
3. groups:
4. - name: system
5.   rules:
6.   - alert: HighCPUUsage
7.     expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) > 80
8.     for: 5m
9.     labels:
10.       severity: warning
11.     annotations:
12.       summary: "High CPU usage detected"
13.       description: "CPU usage is above 80% for more than 5 minutes (current value: {{ $value }}%)"
14.   
15.   - alert: HighMemoryUsage
16.     expr: (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100 > 90
17.     for: 5m
18.     labels:
19.       severity: critical
20.     annotations:
21.       summary: "High memory usage detected"
22.       description: "Memory usage is above 90% for more than 5 minutes (current value: {{ $value }}%)"

复制代码

Alertmanager配置

配置Alertmanager处理告警并发送通知。

2. # /etc/alertmanager/alertmanager.yml
3. global:
4.   smtp_smarthost: 'localhost:587'
5.   smtp_from: 'alertmanager@example.com'
6.   smtp_auth_username: 'alertmanager@example.com'
7.   smtp_auth_password: 'password'
9. route:
10.   group_by: ['alertname', 'cluster', 'service']
11.   group_wait: 10s
12.   group_interval: 10s
13.   repeat_interval: 1h
14.   receiver: 'web.hook'
16. receivers:
17. - name: 'web.hook'
18.   email_configs:
19.   - to: 'admin@example.com'
20.     subject: '[Rocky Linux Alert] {{ .GroupLabels.alertname }}'
21.     body: |
22.       {{ range .Alerts }}
23.         Alert: {{ .Annotations.summary }}
24.         Description: {{ .Annotations.description }}
25.         Labels: {{ .Labels }}
26.       {{ end }}

复制代码

自动化监控脚本

使用Shell脚本实现自定义的自动化监控任务。

2. #!/bin/bash
3. # 系统监控脚本
4. # 保存为 /usr/local/bin/system_monitor.sh
6. LOG_FILE="/var/log/system_monitor.log"
7. ALERT_THRESHOLD_CPU=80
8. ALERT_THRESHOLD_MEM=90
9. ALERT_THRESHOLD_DISK=90
11. # 获取系统指标
12. CPU_USAGE=$(top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1}')
13. MEM_USAGE=$(free | grep Mem | awk '{print ($3/$2) * 100.0}')
14. DISK_USAGE=$(df -h / | awk 'NR==2{print $5}' | sed 's/%//')
16. # 记录系统指标
17. echo "$(date): CPU: ${CPU_USAGE}%, MEM: ${MEM_USAGE}%, DISK: ${DISK_USAGE}%" >> $LOG_FILE
19. # 检查告警阈值
20. if (( $(echo "$CPU_USAGE > $ALERT_THRESHOLD_CPU" | bc -l) )); then
21.     echo "$(date): WARNING: High CPU usage: ${CPU_USAGE}%" >> $LOG_FILE
22.     # 发送告警邮件或其他通知
23. fi
25. if (( $(echo "$MEM_USAGE > $ALERT_THRESHOLD_MEM" | bc -l) )); then
26.     echo "$(date): CRITICAL: High memory usage: ${MEM_USAGE}%" >> $LOG_FILE
27.     # 发送告警邮件或其他通知
28. fi
30. if [ $DISK_USAGE -gt $ALERT_THRESHOLD_DISK ]; then
31.     echo "$(date): CRITICAL: High disk usage: ${DISK_USAGE}%" >> $LOG_FILE
32.     # 发送告警邮件或其他通知
33. fi

复制代码

设置定时任务：

2. # 编辑crontab
3. crontab -e
5. # 添加以下行，每5分钟运行一次监控脚本
6. */5 * * * * /usr/local/bin/system_monitor.sh

复制代码

企业级监控方案构建

分布式监控架构

对于大型企业环境，需要构建分布式监控架构。

2. # 安装Prometheus联邦配置
3. # 在主Prometheus服务器上配置 /etc/prometheus/prometheus.yml
4. scrape_configs:
5.   - job_name: 'federate'
6.     scrape_interval: 15s
7.     honor_labels: true
8.     metrics_path: '/federate'
9.     params:
10.       'match[]':
11.         - '{job="prometheus"}'
12.         - '{__name__=~"job:.*"}'
13.     static_configs:
14.       - targets:
15.         - 'prometheus-server-1:9090'
16.         - 'prometheus-server-2:9090'
17.         - 'prometheus-server-3:9090'

复制代码

高可用监控方案

确保监控系统本身的高可用性。

2. # 安装Keepalived实现监控服务器高可用
3. dnf install -y keepalived
5. # 配置Keepalived /etc/keepalived/keepalived.conf
6. vrrp_script check_prometheus {
7.     script "killall -0 prometheus"
8.     interval 2
9.     weight 2
10. }
12. vrrp_instance VI_1 {
13.     state BACKUP
14.     interface eth0
15.     virtual_router_id 51
16.     priority 100
17.     advert_int 1
18.     authentication {
19.         auth_type PASS
20.         auth_pass prometheus-ha
21.     }
22.     virtual_ipaddress {
23.         192.168.1.100
24.     }
25.     track_script {
26.         check_prometheus
27.     }
28. }
30. # 启动Keepalived
31. systemctl enable keepalived
32. systemctl start keepalived

复制代码

监控数据长期存储

配置长期存储解决方案，保存历史监控数据。

2. # 安装Thanos作为Prometheus的长期存储解决方案
3. # 下载Thanos
4. wget https://github.com/thanos-io/thanos/releases/download/v0.25.0/thanos-0.25.0.linux-amd64.tar.gz
5. tar xzf thanos-0.25.0.linux-amd64.tar.gz
6. mv thanos-0.25.0.linux-amd64/thanos /usr/local/bin/
8. # 配置Thanos Sidecar与Prometheus一起运行
9. # 编辑Prometheus systemd服务 /etc/systemd/system/prometheus.service
10. [Unit]
11. Description=Prometheus
12. After=network.target
14. [Service]
15. User=prometheus
16. ExecStart=/usr/local/bin/prometheus \
17.     --config.file=/etc/prometheus/prometheus.yml \
18.     --storage.tsdb.path=/var/lib/prometheus \
19.     --web.enable-lifecycle
20. ExecStartPost=/usr/local/bin/thanos sidecar \
21.     --prometheus.url=http://localhost:9090 \
22.     --tsdb.path=/var/lib/prometheus \
23.     --objstore.config-file=/etc/thanos/object-storage.yaml
25. [Install]
26. WantedBy=multi-user.target
28. # 创建对象存储配置 /etc/thanos/object-storage.yaml
29. type: S3
30. config:
31.   bucket: "monitoring-data"
32.   endpoint: "s3.example.com"
33.   access_key: "access-key"
34.   secret_key: "secret-key"

复制代码

最佳实践与常见问题

监控最佳实践

1. 监控关键指标：专注于对业务最重要的指标，避免监控过多无关数据。
2. 设置合理的告警阈值：避免告警疲劳，只对真正需要关注的问题发送告警。
3. 建立监控层次：从基础设施到应用层，建立完整的监控层次。
4. 定期审查监控策略：随着业务发展，定期审查和调整监控策略。
5. 文档化监控配置：保持监控配置的文档化，便于团队协作和知识传承。

常见问题解决

2. # 检查时间同步
3. timedatectl status
5. # 如果时间不同步，启用NTP同步
6. dnf install -y chrony
7. systemctl enable chronyd
8. systemctl start chronyd

复制代码

2. # 调整Prometheus资源限制
3. # 编辑 /etc/systemd/system/prometheus.service
4. [Service]
5. LimitNOFILE=65000
6. LimitNPROC=65000
7. MemoryMax=8G

复制代码

2. # 检查Alertmanager日志
3. journalctl -u alertmanager -f
5. # 调整告警处理配置
6. # 编辑 /etc/alertmanager/alertmanager.yml
7. route:
8.   group_wait: 30s
9.   group_interval: 5m
10.   repeat_interval: 12h

复制代码

监控安全考虑

2. # 配置监控服务的基本认证
3. # 对于Prometheus，添加以下配置到 /etc/prometheus/web.yml
4. basic_auth_users:
5.   admin: $2y$10$salt.hashedpassword
7. # 编辑Prometheus启动参数，添加
8. --web.config.file=/etc/prometheus/web.yml
10. # 对于Grafana，配置反向代理和SSL
11. # 安装Nginx
12. dnf install -y nginx
14. # 配置Nginx反向代理 /etc/nginx/conf.d/grafana.conf
15. server {
16.     listen 443 ssl;
17.     server_name grafana.example.com;
18.    
19.     ssl_certificate /etc/ssl/certs/grafana.crt;
20.     ssl_certificate_key /etc/ssl/private/grafana.key;
21.    
22.     location / {
23.         proxy_pass http://localhost:3000;
24.         proxy_set_header Host $host;
25.         auth_basic "Grafana";
26.         auth_basic_user_file /etc/nginx/.htpasswd;
27.     }
28. }
30. # 创建密码文件
31. htpasswd -c /etc/nginx/.htpasswd admin

复制代码

总结与展望

Rocky Linux系统监控是保障服务器高效稳定运行的关键环节。通过本手册介绍的基础工具配置、系统资源监控、日志分析、高级性能分析、可视化监控、自动化告警和企业级监控方案构建等内容，读者可以全面掌握Rocky Linux系统监控的核心技能。

随着技术的发展，监控系统也在不断演进。未来，基于AI的智能监控、云原生监控解决方案和更精细化的性能分析将成为趋势。持续学习和实践这些技术，将有助于提升企业级应用的可靠性，实现更高效的自动化运维。

通过建立完善的监控系统，企业可以及时发现并解决潜在问题，保障业务连续性，提高系统性能，最终实现业务目标。希望本手册能够帮助读者在Rocky Linux系统监控领域取得成功。

版权声明

1、转载或引用本网站内容(Rocky Linux实例监控完全手册从基础工具配置到高级性能分析掌握系统监控核心技能保障服务器高效稳定运行提升企业级应用可靠性实现自动化运维)须注明原网址及作者(威震华夏关云长)，并标明本网站网址(https://pixtech.org/)。

2、对于不当转载或引用本网站内容而引起的民事纷争、行政处理或其他损失，本网站不承担责任。

3、对不遵守本声明或其他违法、恶意使用本网站内容者，本网站保留追究其法律责任的权利。

本文地址: https://pixtech.org/thread-39677-1-1.html