Helm Monitor 插件：基于监控数据自动回滚 Release

使用 Helm 可以方便地部署 Kubernetes 应用。如果线上应用更新后出现问题，需要回滚到之前的版本，除了手动通过 kubectl rollout 控制外，还可以使用 Helm 插件 Helm Monitor，通过监听 Prometheus 或 ElasticSearch 监控或日志数据，在发生故障时自动回滚 release。

Helm 命令

使用 helm 命令更新一个 release:

$ helm upgrade my-release company-repo/common-chart

如果需要回滚：

$ helm rollback my-release

安装 Helm 插件：

$ helm plugin install https://github.com/repo/name

然后可以使用下面命令查看插件使用方法：

$ helm foo --help

Helm Monitor

安装 Helm Monitor 插件：

$ helm plugin install https://github.com/ContainerSolutions/helm-monitor

查看使用方法：

$ helm monitor --help

如果在过去 5 分钟内的 5xx 错误率超过 0，则启动回滚：

$ helm monitor prometheus \
--prometheus=http://prometheus \
my-release \
'rate(http_requests_total{code=~"^5.*$"}[5m]) > 0'

需要通过 --prometheus 参数指定 prometheus server 的地址，默认连接地址 http://localhost:9090。

使用 ElasticSearch, Lucene Query，在发现了 500 状态码后触发回滚操作：

$ helm monitor elasticsearch \
--elasticsearch=http://elasticsearch:9200 \
my-release \
'status:500 AND kubernetes.labels.app:app AND version:2.0.0'

同样需要通过 --elasticsearch 参数指定 Elasticsearch 集群的地址，默认连接地址：http://localhost:9200。

当然也可以使用一个查询的 DSL 文件进行监控:

$ helm monitor elasticsearch my-release ./elasticsearch-query.json

除了使用 Prometheus 和 Elasticsearch 进行监控触发回滚之外，也可以使用 Sentry：

$ helm monitor sentry my-app \
    --api-key <SENTRY_API_KEY> \
    --organization sentry \
    --project my-project \
    --sentry http://sentry:9000 \
    --tag release=2.0.0 \
    --regexp \
    'Error with database connection.*'

Helm Monitor 插件：基于监控数据自动回滚 Release