Helm Monitor 插件:基于监控数据自动回滚 Release
使用 Helm 可以方便地部署 Kubernetes 应用。如果线上应用更新后出现问题,需要回滚到之前的版本,除了手动通过 kubectl rollout 控制外,还可以使用 Helm 插件 Helm Monitor,通过监听 Prometheus 或 ElasticSearch 监控或日志数据,在发生故障时自动回滚 release。
Helm 命令
使用 helm 命令更新一个 release:
$ helm upgrade my-release company-repo/common-chart
如果需要回滚:
$ helm rollback my-release
安装 Helm 插件:
$ helm plugin install https://github.com/repo/name
然后可以使用下面命令查看插件使用方法:
$ helm foo --help
Helm Monitor
安装 Helm Monitor 插件:
$ helm plugin install https://github.com/ContainerSolutions/helm-monitor
查看使用方法:
$ helm monitor --help
如果在过去 5 分钟内的 5xx 错误率超过 0,则启动回滚:
$ helm monitor prometheus \
--prometheus=http://prometheus \
my-release \
'rate(http_requests_total{code=~"^5.*$"}[5m]) > 0'
需要通过 --prometheus 参数指定 prometheus server 的地址,默认连接地址 http://localhost:9090。
使用 ElasticSearch, Lucene Query,在发现了 500 状态码后触发回滚操作:
$ helm monitor elasticsearch \
--elasticsearch=http://elasticsearch:9200 \
my-release \
'status:500 AND kubernetes.labels.app:app AND version:2.0.0'
同样需要通过 --elasticsearch 参数指定 Elasticsearch 集群的地址,默认连接地址:http://localhost:9200。
当然也可以使用一个查询的 DSL 文件进行监控:
$ helm monitor elasticsearch my-release ./elasticsearch-query.json
除了使用 Prometheus 和 Elasticsearch 进行监控触发回滚之外,也可以使用 Sentry:
$ helm monitor sentry my-app \
--api-key <SENTRY_API_KEY> \
--organization sentry \
--project my-project \
--sentry http://sentry:9000 \
--tag release=2.0.0 \
--regexp \
'Error with database connection.*'

