Kubernetes监控的重要性
Kubernetes集群监控是确保应用稳定运行的关键。通过全面的监控体系，我们可以实时了解集群的健康状态、资源使用情况和应用性能指标，及时发现和解决问题。
一个完善的监控系统应该能够监控：
- 集群资源：CPU、内存、磁盘、网络等
- Pod状态：运行状态、重启次数、资源使用
- 应用性能：请求量、响应时间、错误率
- 业务指标：订单量、用户数、交易量等
Prometheus监控架构
Prometheus是Kubernetes生态系统中最流行的监控解决方案。它采用拉取模式收集指标，具有强大的查询语言和告警功能。
Prometheus核心组件
- Prometheus Server：核心服务器，负责数据采集和存储
- Exporters：各种导出器，将不同系统的指标暴露给Prometheus
- Alertmanager：告警管理器，处理告警通知
- Grafana：可视化工具，用于创建监控仪表板
- ServiceMonitor：Prometheus Operator提供的CRD，用于自动发现服务
Prometheus监控架构图
Prometheus工作流程
- 服务发现：Prometheus通过ServiceMonitor自动发现Kubernetes中的服务
- 指标采集：定期从Exporters和应用程序拉取指标数据
- 数据存储：将指标存储在时间序列数据库中
- 查询分析：使用PromQL查询语言分析指标数据
- 告警触发：根据告警规则触发告警，发送到Alertmanager
- 可视化展示：Grafana从Prometheus获取数据并可视化展示
部署Prometheus到Kubernetes
使用Helm安装Prometheus Stack
推荐使用Prometheus Operator和kube-prometheus-stack，它提供了完整的监控解决方案：
验证安装
配置ServiceMonitor
ServiceMonitor是Prometheus Operator提供的CRD，用于自动发现和监控服务：
Grafana仪表板配置
导入Kubernetes监控仪表板
Grafana提供了丰富的Kubernetes监控仪表板模板，我们可以直接导入使用：
| 仪表板ID | 名称 | 描述 |
|---|---|---|
| 315 | Kubernetes Cluster Monitoring | 集群整体监控，包括节点、Pod、资源使用等 |
| 8588 | Kubernetes Pods Monitoring | Pod级别监控，包括CPU、内存、网络等 |
| 6417 | Node Exporter Full | 节点资源监控，包括CPU、内存、磁盘、网络 |
| 7249 | Kubernetes Deployment Statefulset Daemonset metrics | 工作负载监控，包括Deployment、StatefulSet等 |
导入仪表板步骤
- 登录Grafana，点击左侧菜单的"+" → "Import"
- 输入仪表板ID（如315）
- 选择Prometheus数据源
- 点击"Import"完成导入
创建自定义仪表板
除了使用现成的仪表板，我们也可以创建自定义仪表板：
关键监控指标
集群级别指标
监控整个Kubernetes集群的健康状态：
| 指标名称 | PromQL查询 | 说明 |
|---|---|---|
| 节点CPU使用率 | 100 - (avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100) |
所有节点的平均CPU使用率 |
| 节点内存使用率 | (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100 |
所有节点的平均内存使用率 |
| Pod数量 | count(kube_pod_info) |
集群中Pod的总数 |
| 运行中的Pod数量 | count(kube_pod_status_phase{phase="Running"}) |
处于Running状态的Pod数量 |
| 节点数量 | count(kube_node_info) |
集群中节点的总数 |
应用级别指标
监控应用程序的性能和健康状态：
告警规则配置
创建Prometheus告警规则
告警规则定义了何时触发告警以及告警的严重程度：
配置Alertmanager
Alertmanager负责处理告警通知，支持多种通知渠道：
监控最佳实践
1. 分层监控策略
建立分层的监控体系，从基础设施到应用层全面覆盖：
2. 合理设置告警阈值
- 避免告警疲劳：设置合理的阈值，不要过于敏感
- 分级告警：区分warning和critical级别
- 告警聚合：使用Alertmanager的group功能聚合相关告警
- 告警静默：对于已知问题设置静默期
3. 指标保留策略
4. 性能优化
- 指标采样：对于高频指标，适当降低采样频率
- 指标过滤：只采集必要的指标，减少存储压力
- 长期存储：使用Thanos或Cortex进行长期存储
- 查询优化：使用Recording Rules预计算常用查询
5. 监控仪表板管理
- 标准化仪表板：为不同类型的应用创建标准模板
- 权限管理：合理设置Grafana用户权限
- 版本控制：使用Git管理仪表板配置
- 定期审查：定期审查和优化监控指标
总结
Kubernetes监控是一个系统工程，需要选择合适的工具，建立完善的监控体系。通过Prometheus和Grafana的组合，我们可以构建强大的监控解决方案，确保Kubernetes集群和应用的稳定运行。
关键要点：
- 使用Prometheus Operator简化部署和管理
- 建立分层的监控体系，覆盖所有层面
- 合理设置告警规则，避免告警疲劳
- 定期审查和优化监控指标
- 建立完善的告警通知机制
：监控不是为了收集数据，而是为了发现问题、预防问题、优化性能。只有将监控数据转化为 actionable insights，才能真正发挥监控的价值。