跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客GitHub 精选镜像工具UI配色美学隐私政策关于联系
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
Javajava

Kafka 常用命令行工具实战指南

综述由AI生成Kafka 3.6.0 版本下常用的命令行工具操作指南,涵盖主题创建删除描述、控制台消费数据及消费者组状态查看。重点演示了使用 bootstrap-server 连接集群的方式,包括列出所有主题、从头消费消息以及指定消费者组进行调试的具体命令与参数说明,适用于运维排查与开发测试场景。

SparkGeek发布于 2024/9/7更新于 2026/6/1117 浏览
Kafka 常用命令行工具实战指南

在使用 Kafka 进行分布式消息处理时,掌握命令行工具是日常运维和调试的基础。

本文基于 Kafka 3.6.0 版本,整理了最常用的三个脚本:主题管理、控制台消费和消费者组监控。以下命令均通过 --bootstrap-server 指定集群地址,这是较新版本推荐的方式,相比 Zookeeper 方式更稳定。

主题管理:kafka-topics.sh

该脚本用于创建、删除、描述或更改主题配置。

查看所有主题

列出当前集群中所有的 Topic 名称。

kafka-topics.sh --bootstrap-server centos701:9092,centos702:9092,centos704:9092 --list
描述主题详情

查看特定主题的分区、副本分布及 Leader 信息,常用于排查同步问题。

kafka-topics.sh --bootstrap-server centos701:9092,centos702:9092,centos704:9092 --describe --topic first

控制台消费:kafka-console-consumer.sh

这是一个临时消费工具,适合快速验证消息内容或测试生产环境数据流向。

消费最新数据

默认从最新的 Offset 开始消费,不读取历史消息。

kafka-console-consumer.sh --bootstrap-server centos701:9092,centos702:9092,centos704:9092 --topic first
从头开始消费

如果需要回溯历史数据,加上 --from-beginning 参数即可。

kafka-console-consumer.sh --bootstrap-server centos701:9092,centos702:9092,centos704:9092 --from-beginning --topic first
指定消费者组

在实际业务中,消费者通常需要加入某个 Group 来平衡负载。这里演示如何指定组 ID。

kafka-console-consumer.sh --bootstrap-server centos701:9092,centos702:,centos704: ---beginning --topic first -- first_group
9092
9092
from
group

消费者组监控:kafka-consumer-groups.sh

当出现消息积压或消费停滞时,这个工具能帮我们快速定位问题。

查看所有消费者组

列出当前集群中活跃的 Consumer Group。

kafka-consumer-groups.sh --bootstrap-server centos701:9092,centos702:9092,centos704:9092 --list

实际运行示例如下(注意不同环境下 IP 可能不同):

root@hcss-ecs-6296:/home/kafka/opt/kafka_2.13-3.6.0# ./bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list
video_retrieval service-ai-analysis-access
描述指定消费者组

查看特定组的 Lag(延迟)、Offset 状态等详细信息。

kafka-consumer-groups.sh --bootstrap-server centos701:9092,centos702:9092,centos704:9092 --describe --group first_group

提示:执行这些命令前请确保 Kafka 服务已启动,且网络可达。生产环境操作建议先在测试集群验证。

目录

  1. 主题管理:kafka-topics.sh
  2. 查看所有主题
  3. 描述主题详情
  4. 控制台消费:kafka-console-consumer.sh
  5. 消费最新数据
  6. 从头开始消费
  7. 指定消费者组
  8. 消费者组监控:kafka-consumer-groups.sh
  9. 查看所有消费者组
  10. 描述指定消费者组
  • 💰 8折买阿里云服务器限时8折了解详情
  • Magick API 一键接入全球大模型注册送1000万token查看
  • 🤖 一键搭建Deepseek满血版了解详情
  • 一键打造专属AI 智能体了解详情
极客日志微信公众号二维码

微信扫一扫,关注极客日志

微信公众号「极客日志V2」,在微信中扫描左侧二维码关注。展示文案:极客日志V2 zeeklog

更多推荐文章

查看全部
  • MySQL 视图与触发器核心用法解析
  • Windows 系统下 Python 环境配置及 pip 安装完整指南
  • MySQL 数据类型详解与实战指南
  • Faster-Whisper 本地实时语音转文本部署指南
  • 二分查找算法详解与实战
  • 仿 Mudou 库 one thread per loop 式并发服务器实现:边缘测试与性能测试
  • Python FastAPI 入门实战:从环境搭建到核心功能
  • Pi0 机器人 VLA 大模型昇腾 A2 平台测评报告
  • Spring Boot + Kotlin + Gradle 构建现代化后端应用
  • 基于 DeepSeek 与 Cursor 构建智能代码审查工具实战
  • AI Agent 架构概况:关于推理、规划和工具调用
  • 英伟达与 GitHub 免费大模型 API Key 获取方法
  • Scan2CAD 教程:AI 驱动扫描图像转 CAD 模型
  • GraphRAG Linux 部署指南:集成 Ollama 本地大模型
  • SLAM Toolbox 实战指南:机器人定位与建图核心技术
  • Nunchaku FLUX.1 CustomV3:AI 绘画快速上手指南
  • 2025 年值得推荐的 ChatGPT 桌面客户端汇总
  • 基于 YOLOv 的 Web 目标检测系统:从模型导出到生产部署实战
  • Stable Diffusion WebUI 入门与进阶实战指南
  • 大模型落地困境分析与解决思路

相关免费在线工具

  • Keycode 信息

    查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具,Keycode 信息在线工具,online

  • Escape 与 Native 编解码

    JavaScript 字符串转义/反转义;Java 风格 \uXXXX(Native2Ascii)编码与解码。 在线工具,Escape 与 Native 编解码在线工具,online

  • JavaScript / HTML 格式化

    使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具,JavaScript / HTML 格式化在线工具,online

  • JavaScript 压缩与混淆

    Terser 压缩、变量名混淆,或 javascript-obfuscator 高强度混淆(体积会增大)。 在线工具,JavaScript 压缩与混淆在线工具,online

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online

  • Base64 文件转换器

    将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online