Prometheus 监控盲区解决方案：使用 Pushgateway 可视化临时任务

验证服务状态：

systemctl status pushgateway
curl http://localhost:9091/metrics

如需外部访问，记得放行防火墙端口（以 CentOS 7 为例）：

sudo firewall-cmd --permanent --add-port=9091/tcp
sudo firewall-cmd --reload

此时访问 http://<ip>:9091 即可看到 UI 页面，默认包含 Go 和 Process 相关的系统指标。

2. Docker 安装

如果环境已配置 Docker，直接使用官方镜像更为便捷：

docker pull prom/pushgateway
docker run -d \
  --name=pg \
  -p 9091:9091 \
  prom/pushgateway

配置 Prometheus

要让 Pushgateway 的数据进入大盘，需在 Prometheus 配置文件中添加对应的 scrape job。

编辑 prometheus.yml：

scrape_configs:
  - job_name: 'pushgateway'
    static_configs:
      - targets: ['localhost:9091']
        labels:
          app: "pushgateway"

重启 Prometheus 服务使配置生效：

systemctl restart prometheus

在 Prometheus UI 的 Targets 页面确认 Pushgateway 状态为 UP。

推送指标数据

Pushgateway 提供了标准的 HTTP API 接口用于接收指标。默认 URL 格式为：

http://<host>:9091/metrics/job/{<LABEL_NAME>/<LABEL_VALUE>}

其中 job 是必填项，后续可追加 instance 等标签以便区分来源。

基础测试

使用 curl 推送一个简单的计数器：

echo "test_metric 123456" | curl --data-binary @- http://192.168.42.140:9091/metrics/job/test_job

访问 Pushgateway 页面或查询 /metrics 端点，可以看到新增的 test_metric 以及系统自动生成的 push_time_seconds 等指标。

复杂场景示例

实际使用中，通常会带上 instance 标签来标识具体实例：

cat <<EOF | curl --data-binary @- http://192.168.42.140:9091/metrics/job/some_job/instance/some_instance
# HELP some_metric Example metric
# TYPE some_metric counter
some_metric{label="val1"} 42
# HELP another_metric Gauge example
# TYPE another_metric gauge
another_metric 2398.283
EOF

删除特定组下的数据可使用 DELETE 请求：

curl -X DELETE http://192.168.42.140:9091/metrics/job/some_job/instance/some_instance

实战：Shell 与 Python 脚本集成

1. Shell 脚本模拟备份任务

将关键指标（耗时、成功状态）推送到网关，便于后续监控告警：

#!/bin/bash
JOB_NAME="daily_backup"
INSTANCE="server01"
PUSHGATEWAY_URL="http://localhost:9091"

start_time=$(date +%s)
echo "Starting backup..."
sleep 3
backup_success=1
end_time=$(date +%s)
duration=$((end_time - start_time))

cat <<EOF | curl --data-binary @- ${PUSHGATEWAY_URL}/metrics/job/$JOB_NAME/instance/$INSTANCE
# HELP backup_duration_seconds Duration of the backup job in seconds
# TYPE backup_duration_seconds gauge
backup_duration_seconds $duration
# HELP backup_success Whether the backup succeeded (1) or failed (0)
# TYPE backup_success gauge
backup_success $backup_success
EOF
echo "Metrics pushed to Pushgateway."

执行后，Prometheus 中可查询到如下指标：

backup_duration_seconds{job="daily_backup", instance="server01"} 3
backup_success{job="daily_backup", instance="server01"} 1

2. Python 脚本处理批任务

对于 Python 批处理任务，同样可以在结束后主动上报结果：

import requests
import time

def push_metrics(job, instance, records_processed, success):
    metrics = f"""
# HELP data_records_processed Number of records processed
# TYPE data_records_processed gauge
data_records_processed {records_processed}
# HELP data_job_success Job success status (1 = success, 0 = failure)
# TYPE data_job_success gauge
data_job_success {int(success)}
"""
    url = f"http://localhost:9091/metrics/job/{job}/instance/{instance}"
    response = requests.post(url, data=metrics.encode('utf-8'))
    if response.status_code == 202:
        print("Metrics pushed successfully.")
    else:
        print(f"Failed to push metrics: {response.status_code}")

# 模拟任务逻辑
start = time.time()
try:
    records = 1500
    time.sleep(2)
    success = True
except Exception as e:
    records = 0
    success = False

push_metrics(job="data_pipeline", instance="worker-node-01", records_processed=records, success=success)

运行脚本后，Prometheus 即可采集到 data_records_processed 和 data_job_success 指标。

总结

Pushgateway 并非复杂的新技术，而是补全 Prometheus 监控闭环的关键一环。它没有改变核心的拉取逻辑，却通过'推送 + 中转'的思路，让监控触角延伸到了那些容易被忽略的临时任务上。无论是 Shell 脚本还是 Python 批处理，只要配置得当，都能轻松将执行状态、耗时及处理量上报，配合内网穿透方案，即便是异地临时任务也能稳稳纳入监控大盘。监控的本质是让系统状态可感知，而 Pushgateway 就是实现这一目标的小而美的方案。