1
2
3

# 安装请参考官网: https://prometheus.io/docs/prometheus/latest/installation/
# 下载地址: https://prometheus.io/download/
# github地址: https://github.com/prometheus/prometheus

概述

Prometheus 是一个开源的监控系统和告警工具包，用于收集和存储监控数据。它提供了强大的查询语言 PromQL，用于分析和可视化监控数据。Prometheus 可以与多种数据源集成，包括 Prometheus 自身、外部服务、数据库等。

下图是官方提供的架构图:

Prometheus 由多个组件组成，包括:

• Prometheus Server: 负责收集和存储监控数据，提供查询和聚合功能。
• Alertmanager: 负责处理告警，包括分组、静默、抑制、静默规则等。
• Pushgateway: 用于临时存储和转发监控数据的中间网关。
• Exporter: 用于收集和导出监控数据的客户端。
• Service discovery: 用于自动发现和配置监控数据的客户端。
• Prometheus web UI: 用于查询和可视化监控数据的 Web 界面。

适用场景

Prometheus 非常适合记录任何纯粹的数字时间序列。它既适合以机器为中心的监控，也适合监控高度动态的面向服务的体系结构。在微服务的世界中，它对多维数据收集和查询的支持是一个特别的优势。

Prometheus 旨在实现可靠性，成为您在出现故障时可以求助的系统，以便您可以快速诊断问题。每个 Prometheus 服务器都是独立的，不依赖于网络存储或其他远程服务。当您的基础设施的其他部分出现故障时，您可以依靠它，并且您不需要设置大量基础设施来使用它。

不适用场景

Prometheus 重视可靠性。您始终可以查看有关系统的可用统计信息，即使在故障情况下也是如此。如果您需要 100% 的准确性，例如针对每个请求的计费，那么 Prometheus 不是一个好的选择，因为收集的数据可能不够详细和完整。在这种情况下，最好使用其他系统来收集和分析计费数据，并将 Prometheus 用于其他监控需求。

安装

解压安装包

1
2
3

[root@192 ~]# tar xzvf prometheus-3.0.1.linux-arm64.tar.gz
[root@192 ~]# ls prometheus-3.0.1.linux-arm64
LICENSE  NOTICE  prometheus  prometheus.yml  promtool

可以看到其中主要包含三个文件:

• promethues: 监控服务端
• prometool: 监控工具
• prometheus.yml: 配置文件

启动参数

prometheus 启动参数，可以通过prometheus -h进行查看,支持参数的列表包括:

配置文件参数

我们可以看一下配置文件默认的内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# my global config 
global:
  scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).
# Alertmanager configuration
alerting:
  alertmanagers:
    - static_configs:
        - targets:
          # - alertmanager:9093
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ["localhost:9090"]

在配置文件中我们可以看到有多个配置块: global、alerting、rule_files、scrape_configs。 除此之外，还支持其他配置块信息，示例如下:

global 全局配置

在 global 配置块中，我们可以定义全局的配置参数，这些参数将应用于所有的抓取任务。以下是一些常用的全局配置参数：

alerting 告警配置项

rule_files 告警规则文件配置项

scrape_config_files 指标配置文件

scrape_configs 指标配置

remote_write 远程写入

remote_read 远程读取

storage 存储

tracing 跟踪

启动

1

[root@192 ~]# ./prometheus --config.file prometheus.yml

也可以通过配置 systemd service 文件进行启动

Start.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#!/bin/bash

set -e

ROOT=$(unset CDPATH && cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
cd $ROOT

exec $ROOT/prometheus \
    --config.file "prometheus.yml" \
    --web.listen-address "0.0.0.0:9080" \
    --web.enable-lifecycle \
    --web.enable-admin-api \
    --query.max-concurrency "1000" \
    --query.timeout "2m" \
    --storage.tsdb.retention.time "12h" \
    --storage.tsdb.retention.size "1GB" \
    --storage.tsdb.path "/root/prometheus/prometheus/data"

1
2
3
4
5
6
7
8
9
10
11
12
13
14

# /usr/lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus Monitoring System
Documentation=https://prometheus.io/docs/introduction/overview/
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
ExecStart=/root/prometheus/prometheus/start.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

接入exporter

exporter 是一个收集指标的程序，Prometheus 服务器通过抓取这些指标数据来监控目标系统。Prometheus 提供了丰富的 exporter，用于监控各种系统和服务。例如，用于监控 Linux 系统的 node_exporter、用于监控 MySQL 数据库的 mysqld_exporter、用于监控 Redis 数据库的 redis_exporter 等。此外，用户还可以编写自己的 exporter 来监控其他系统和服务。

常见 exporter 如下:

• node_exporter：用于监控 Linux 系统。
• mysqld_exporter：用于监控 MySQL 数据库。
• redis_exporter：用于监控 Redis 数据库。
• blackbox_exporter：用于监控网络服务。
• nginx_exporter：用于监控 Nginx 服务器。
• process_exporter: 监控进程服务
• nginxlog_exporter: 监控 nginx 日志
• ……

我在本地启动了node_exporter、process_exporter、nginxlog_exporter，并将其配置到prometheus.yml中。node_exporter用于监控本地主机，process_exporter用于监控本地进程，nginxlog_exporter用于监控本地 nginx 日志。prometheus.yml配置如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ["localhost:9090"]

  - job_name: "node_exporter"
    static_configs:
      - targets: ["localhost:9100"]

  - job_name: "process_exporter"
    static_configs:
      - targets: ["localhost:9256"]

  - job_name: "nginxlog_exporter"
    static_configs:
      - targets: ["localhost:9302"]

指标接入后，我们就可以查看采集到的指标，当然也可以在通过对应端口查看/metrics信息。

监控 docker

如果我们想监控 docker 容器中的指标，我们可以使用 docker stats 命令来查看容器的资源使用情况。例如，我们可以使用以下命令来查看所有正在运行的容器的资源使用情况：

1
2
3
4

[root@192 ~]# docker stats
CONTAINER ID   NAME      CPU %     MEM USAGE / LIMIT    MEM %     NET I/O           BLOCK I/O         PIDS
5e48f91da9cd   kibana    0.60%     281MiB / 1.42GiB     19.33%    1.95GB / 3.47GB   5.04GB / 1.06GB   19
186c160bd03e   es        0.44%     401.8MiB / 1.42GiB   27.64%    3.5GB / 2.02GB    6.63GB / 43.6GB   93

Docker 容器的监控方案有很多，除了 Docker 自带的docker stats命令，还有很多开源的解决方案，例如 sysdig、cAdvisor。

cAdvisor 是谷歌开源的一款通用的容器监控解决方案。cAdvisor 不仅可以采集机器上所有运行的容器信息，还提供了基础的查询界面和 HTTP 接口，更方便与外部系统结合。所以，cAdvisor很快成了容器指标监控最常用组件，并且 Kubernetes 也集成了 cAdvisor 作为容器监控指标的默认工具。我们这里通过 cAdvisor 来监控 docker 容器。

安装 cAdvisor

1
2
3
4
5
6
7
8
9
10
11
12
13

$ docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  --privileged \
  --device=/dev/kmsg \
  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/gcr.io/cadvisor/cadvisor-arm64:v0.49.1-linuxarm64
  

由于我个人环境是 arm 版本的，并且原始的源太慢，所以使用华为云的镜像。
安装完成后，可以通过 http://localhost:8080 访问 cAdvisor 的监控界面

查询

查询语法

Prometheus 的查询语法基于 PromQL，PromQL 是一种用于在 Prometheus 中查询时间序列数据的查询语言。

promql 指标和语法请参考:https://www.prometheus.wang/promql/

内置函数

部分内置函数:

查询示例

1
2
3
4
5
6
7
8
9
10
11
12

# 查询机器负载
node_load1/node_load5/node_load15
# 查询 CPU 使用率
sum by (instance)(irate(node_cpu_seconds_total{mode!="idle"}[1m])) / sum by (instance)(irate(node_cpu_seconds_total[1m]))
# 查看某个进程的CPU使用率 
sum by (instance)(irate(namedprocess_namegroup_cpu_seconds_total{groupname="sysstress"}[1m])) //该指标由 process_exporter 提供
# 查看某个进程的内存使用率
sum by (groupname)(namedprocess_namegroup_memory_bytes{groupname="sysstress"})
# 可以使用正则
http_requests_total{job=~".*server"}
# 按照应用和进程类型来获取 CPU 利用率最高的 3 个样本数据：
topk(3, sum(rate(instance_cpu_time_ns[5m])) by (app, proc))

告警配置

告警规则允许基于 Prometheus 表达式语言表达式定义告警条件，并将有关触发告警的通知发送到外部服务。每当告警表达式在给定时间点产生一个或多个向量元素时，该告警即被视为针对这些元素的标签集处于活动状态。

告警规则

告警规则配置文件通常使用 YAML 编写，以固定的格式进行操作，下面是告警规则支持的参数:

其中，annnotations 下的附加信息是可以自定义的，例如 summary 和 description都是自定义的。如果需要，还可以添加其他自定义的标签

以下是一个简单的告警规则配置示例（rules/alert.yml）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14

groups:
- name: localhost alert
  rules:
  - alert: HighLoad           # 告警名称
    expr: node_load1 > 1.5    # 触发告警的 PromQL 表达式
    for: 1m                   # 触发告警前条件保持满足的时间
    labels:
      severity: critical      # 自定义标签
      resource: node          # 自定义标签
    annotations:
      summary: "High load on {{ $labels.instance }}" # 告警的简要描述（自定义）
      description: "{{ $labels.instance }} has a load average of {{ $value }}" # 告警的详细描述 (自定义)
      runbook_url: https://baixiaozhou.github.io/p/%E7%BA%BF%E4%B8%8A%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5%E6%96%B9%E6%B3%95%E6%B1%87%E6%80%BB/ # 告警处理文档 (自定义)
      recovery: node_load1 < 1.5 # 恢复条件 (自定义)

在 promethues 引用告警文件

1
2

rule_files:
  - 'rules/alert.yml' # 也可以使用通配，例如 rules/*.yml

告警通知

alertmanager 用于接收prometheus 发出的告警并发送通知。它负责去重、分组和将告警路由到正确的接收器集成（email 等），还负责静默和抑制告警。

1. 分组:分组将性质相似的告警归类到一个通知中。这在大型故障期间尤其有用，因为此时许多系统会同时发生故障，可能会同时触发数百甚至数千个告警。
   • 示例：在您的集群中运行着数十或数百个服务实例，当网络分区发生时，一半的服务实例无法再访问数据库。Prometheus 中的告警规则被配置为在每个服务实例无法与数据库通信时发送告警。因此，会向 Alertmanager 发送数百个告警。
   • 作为一个用户，您只想收到一个页面，但仍然能够看到哪些服务实例受到了影响。因此，您可以将 Alertmanager 配置为按其集群和告警名称对告警进行分组，以便它发送一个简化的通知。
   • 告警的分组、分组通知的计时和这些通知的接收者是在配置文件中的路由树中配置的。
2. 抑制:抑制是指在某些其他告警已经触发的情况下抑制某些告警的通知。
   • 示例：一个告警正在触发，通知您整个集群不可访问。Alertmanager 可以配置为在该特定告警触发时静默有关该集群的所有其他告警。这将阻止发送与实际问题无关的数百或数千个触发告警的通知。
   • 抑制是在 Alertmanager 的配置文件中配置的。
3. 静默:静默是一种简单的方法，可以将告警静默一段时间。静默是根据匹配器配置的，就像路由树一样。传入的告警会检查它们是否与活动静默的所有相等或正则表达式匹配器匹配。如果匹配，则不会为该告警发送任何通知。
   • 静默是在 Alertmanager 的 Web 界面中配置的。

告警通知配置文件通常使用 YAML 格式编写。以下是一个简单的告警通知配置示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

global:
  smtp_smarthost: 'smtp.example.com:25'
  smtp_from: '<EMAIL>'
  smtp_auth_username: '<EMAIL>'
  smtp_auth_password: '<PASSWORD>'
  smtp_require_tls: false

route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 5m
  repeat_interval: 12h
  receiver: 'email'
receivers:
- name: 'email'
  email_configs:
  - to: '<EMAIL>'

长期存储方案对比

https://kubesphere.io/zh/blogs/prometheus-storage/

许可协议

本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议，转载请注明出处。

分享文章