消息队列对比与选型笔记
· 阅读需 9 分钟
RabbitMQ vs Kafka 横向对比 + 选型决策 + 可视化平台 + CLI/UI 操作实践。 单库详情:RabbitMQ笔记 · Kafka笔记。 本笔记聚焦"什么场景选哪个"和"生产环境怎么用",避免把两者当同类产品对比。
目录
- 一句话定位
- 维度对比表
- 性能 / 吞吐对比
- 消息模型本质差异
- 场景选型决策
- 可视化平台对比
- CLI vs UI 操作实践
- 反向场景 + 共存架构
1. 一句话定位
| 消息队列 | 一句话 |
|---|---|
| RabbitMQ | 复杂路由 + 低延迟 + 传统任务队列的消息代理(Broker 范式) |
| Kafka | 高吞吐 + 持久化 + 可重放的分布式日志(Log 范式) |
最本质差异:RabbitMQ 投递后默认删除消息(队列消费);Kafka 默认保留消息(日志消费,consumer 各自维护 offset)。
2. 维度对比表
| 维度 | RabbitMQ | Kafka |
|---|---|---|
| 架构范式 | 消息代理(Broker) | 分布式日志(Log) |
| 消息模型 | 队列(消费后删除) | 日志(保留期 + offset) |
| 路由能力 | ✅ 4 种 Exchange(direct/topic/fanout/headers) | ❌ 仅按 topic + partition |
| 投递语义 | At-most-once / At-least-once | At-most-once / At-least-once / Exactly-Once |
| 消息保留 | 投递后删除 | 保留期(默认 7 天,可设数月) |
| 顺序保证 | 单队列单消费者 FIFO | 单 partition 内严格有序 |
| 单机吞吐 | 万~十万 QPS | 十万~百万 TPS |
| 延迟 | 微秒~毫秒级 | 毫秒~十几毫秒 |
| 协议 | AMQP 0.9.1 / 1.0 / MQTT / STOMP | 自定义二进制协议 |
| 集群协调 | Erlang 分布式(4.0+ Quorum) | KRaft(4.x)/ ZK(≤3.9) |
| 持久化 | 可选 | 始终 |
| 多消费者 | 抢消费(一条消息只给一个 consumer) | 各自消费(每 group 一份) |
| 重放历史 | ❌ 不支持 | ✅ offset 可回退 |
| 适用规模 | 中小规模(百万级 QPS 以下) | 大规模(百万 TPS+) |
| 运维复杂度 | 中(集群 + 镜像) | 中(KRaft / ZK 复杂度转移) |
| 生态成熟度 | 老牌、传统企业广泛使用 | 互联网 / 大数据领域事实标准 |
| 客户端库 | 所有主流语言 | 所有主流语言 |
| 云厂商支持 | AWS MQ / Azure Service Bus | Confluent Cloud / MSK / 所有云厂 |
3. 性能 / 吞吐对比
3.1 数量级参考
| 指标 | RabbitMQ(Quorum Queue 3 节点) | Kafka(3 broker + RF=3) |
|---|---|---|
| 峰值吞吐 | 5~10 万 msg/s | 50~100 万 msg/s |
| 单消息延迟 | < 1ms | 5~15ms |
| 消息体大小 | 推荐 < 1MB | 推荐 < 1MB(默认 1MB,可调到数 MB) |
| 堆积能力 | 弱(百万级就开始告警) | 强(TB 级常态) |
3.2 性能特征差异
- RabbitMQ:每条消息走队列、ack、DLX 等流程,单条延迟低,但堆积后性能急剧下降
- Kafka:顺序写 + 零拷贝 + 页缓存,批量吞吐高,延迟主要来自 batch + fsync
3.3 选型参考
| 场景 | 性能指标 | 推荐 |
|---|---|---|
| 高频交易(万 TPS + 毫秒延迟) | 延迟 < 10ms | RabbitMQ |
| 日志聚合(10 万+ TPS) | 吞吐优先 | Kafka |
| 事件溯源(消息可重放) | 历史可重读 | Kafka |
| 复杂任务路由(多 Exchange) | 路由能力 | RabbitMQ |
| 实时数据管道(流处理) | 吞吐 + 重放 | Kafka |
4. 消息模型本质差异
4.1 队列消费(RabbitMQ)
[Producer] → Exchange → [Queue: msg1, msg2, msg3]
↓
Consumer A
(msg1 被 ack 后从队列删除)
- 消息消费后即删除(ack 后)
- 多个 consumer 抢同一条消息
- 适合任务分发(一个任务被一个 worker 消费)
4.2 日志消费(Kafka)
[Producer] → Topic partition: [msg0, msg1, msg2, msg3, ...] (append-only)
↓
Consumer Group A: offset=2
Consumer Group B: offset=0
(两个 group 各自维护 offset,互不影响)
- 消息保留期内不删除
- 多个 Consumer Group 各自维护 offset,各看各的
- 适合事件流(同一事件被多个服务消费:搜索 + 缓存 + 审计)
4.3 业务影响
- 想"消费完删掉" → RabbitMQ
- 想"消费完还能查" → Kafka(offset 可回放、replay 历史)
- 想"一条事件被多服务处理" → Kafka
- 想"一个任务被一个 worker 抢走" → RabbitMQ
5. 场景选型决策
5.1 决策流程图
业务核心诉求是什么?
├── 复杂路由 / 多 Exchange / 主题分发 ──→ ✅ RabbitMQ
├── RPC 风格 / 同步请求-响应 ──→ ✅ RabbitMQ(原生支持)
├── 消息保留 + 可重放 + 流处理 ──→ ✅ Kafka
├── 事件溯源 / 日志聚合 / CDC ──→ ✅ Kafka
├── 延迟敏感(毫秒级) ──→ ✅ RabbitMQ
├── 极致吞吐(10 万+ TPS) ──→ ✅ Kafka
├── 与大数据生态对接(Spark/Flink) ──→ ✅ Kafka
├── 简单任务队列(小规模) ──→ ✅ RabbitMQ(Quorum)
└── 不确定 ──→ 简单用 RabbitMQ;需要扩展时再考虑 Kafka
5.2 按场景列表
| 场景 | 推荐 | 理由 |
|---|---|---|
| 订单 / 支付核心业务 | RabbitMQ | 低延迟、强可靠投递、复杂路由 |
| 异步通知(短信 / 邮件) | RabbitMQ | 简单、延迟不敏感 |
| 微服务间事件总线 | Kafka | 多服务订阅、消息可重放 |
| 日志聚合 | Kafka | 高吞吐、可被多个消费者解析 |
| 用户行为埋点 | Kafka | 高吞吐、可重放计算 |
| CDC(数据库变更捕获) | Kafka | Debezium → Kafka 是业界标准 |
| 实时流处理 | Kafka | Flink / Spark Streaming 原生支持 |
| IoT 设备数据 | Kafka | 高吞吐、消息保留可追溯 |
| RPC 同步请求 | RabbitMQ | 原生 RPC 支持 |
| 大文件传输 | 都不合适 | 走对象存储 / 大文件专用通道 |
5.3 两者共存(业界常见)
大型系统两个都用是常态:
[Web 业务] ──→ RabbitMQ(核心交易,复杂路由)
├──→ [订单服务]
├──→ [库存服务]
└──→ [审计服务(同时投递到 Kafka 归档)]
↓
Kafka(事件流 / 大数据 / 风控)
├──→ [实时风控]
├──→ [BI 分析]
├──→ [数据湖归档]
└──→ [实时推荐]
典型分层:
- 业务关键路径 → RabbitMQ(强一致)
- 跨域事件流 / 数据管道 → Kafka(高吞吐 + 重放)
6. 可视化平台对比
6.1 RabbitMQ 工具
| 工具 | 类型 | 优势 | 限制 |
|---|---|---|---|
| Management UI | 官方自带 | 装 RMQ 就有,队列/连接/Channel 可视化 | 大集群性能差 |
| Prometheus + Grafana | 监控 | 指标丰富、告警灵活 | 需自建 |
| rabbitmqadmin | CLI | 批量操作、API 化 | 学习曲线 |
6.2 Kafka 工具
| 工具 | 类型 | 优势 | 限制 |
|---|---|---|---|
| AKHQ(akhq.io) | 开源 Web UI | 多集群 + Schema Registry + Connect | 中等规模 |
| Redpanda Console | 开源 Web UI | 轻量、UI 简洁 | 功能较基础 |
| Confluent Control Center | 商业 | 官方最全、监控 + 告警 + 治理 | 重 + 付费 |
| Conduktor | 桌面端 | 桌面级 + 企业功能 | 商业 |
| Kowl(已被 Redpanda 收购) | 开源 | 轻量 | 已停更 |
| kafka-ui(UI for Apache Kafka) | 开源 | 部署简单 | 维护节奏一般 |
| Prometheus JMX Exporter + Grafana | 监控 | 指标丰富 | 需自建 |
6.3 推荐组合
| 团队规模 | RMQ | Kafka |
|---|---|---|
| 小团队 / 中小规模 | Management UI + Prometheus | AKHQ(开源免费) |
| 中大型 | Prometheus + Grafana | Redpanda Console + Prometheus |
| 企业付费 | Prometheus + Grafana + 商业 APM | Confluent Control Center |
7. CLI vs UI 操作实践
7.1 生产实践原则
日常查问题用 UI,批量操作 / 灾备 / 监控告警用 CLI + 自动化脚本。
| 场景 | 用什么 | 原因 |
|---|---|---|
| 查看消息内容(debug) | UI | 直观、过滤方便 |
| 看队列长度、Consumer Lag | UI / Grafana | 实时面板 |
| 创建/删除队列/Topic | CLI(脚本化) | 可审计、可批量 |
| 调整 partition / 配额 | CLI | UI 容易误操作 |
| 灾备数据导入导出 | CLI | 可写脚本、可定时 |
| 监控告警 | Prometheus + Alertmanager | 自动化 |
| 跨环境同步配置 | CLI + IaC(Terraform) | 幂等、可追溯 |
7.2 RabbitMQ CLI 速查
# 查看队列列表
rabbitmqctl list_queues name messages_ready messages_unacknowledged
# 启用 Prometheus 插件
rabbitmq-plugins enable rabbitmq_prometheus
# 设置 Policy(动态改 DLX)
rabbitmqctl set_policy DLX "orders.*" \
'{"dead-letter-exchange":"orders.dlx"}' --apply-to queues --priority 7
# rabbitmqadmin(HTTP API 封装)
rabbitmqadmin -u admin -p admin list queues
rabbitmqadmin -u admin -p admin publish exchange=orders routing_key=order.created payload='{"id":1}'
7.3 Kafka CLI 速查
# 启动 kafka-shell 容器后操作(或在 broker 容器内)
# Topic 管理
kafka-topics.sh --bootstrap-server localhost:9092 --create --topic orders --partitions 6 --replication-factor 3
kafka-topics.sh --bootstrap-server localhost:9092 --list
kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic orders
kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic orders --partitions 12
# 生产/消费
kafka-console-producer.sh --bootstrap-server localhost:9092 --topic orders
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic orders --from-beginning
# Consumer Group 管理
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group order-processor
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --group order-processor --topic orders --to-earliest --execute
7.4 生产实践 tips
- Topic 创建走 IaC(Terraform / Ansible),不靠人肉 CLI
- 监控告警 100% CLI + Prometheus,不用 UI 报警(UI 是给人看的)
- 生产变更 全留操作记录(CLI 配 shell history / audit log)
- 查问题 先 UI 看现象,再 CLI 拉日志,再加 debug
8. 反向场景 + 共存架构
8.1 什么时候不选 RabbitMQ
- ❌ 消息要保留几天到几周(用 Kafka)
- ❌ 日志 / 事件流(用 Kafka)
- ❌ 单集群 > 50 万 QPS(Kafka 集群更划算)
- ❌ 需要多个服务独立消费同一事件流(Kafka 多 Consumer Group)
8.2 什么时候不选 Kafka
- ❌ 复杂路由(topic + partition 不够灵活)
- ❌ RPC / 同步请求-响应
- ❌ 极小消息量(运维成本不划算)
- ❌ 团队完全没接触过(学习曲线陡)
8.3 共存架构
[Web 业务]
↓
[RabbitMQ 集群] ← 核心交易,Quorum Queue,复杂路由
├── 订单服务
├── 支付服务
├── 库存服务
└── 审计服务
↓ (投递到 Kafka 归档)
[Kafka 集群] ← 事件流,跨域,高吞吐
├── 实时风控
├── 数据湖
├── 推荐系统
└── BI 报表
优点:
- 业务关键路径用 RMQ(强一致)
- 数据管道用 Kafka(高吞吐 + 重放)
- 各取所长
代价:
- 两套运维
- 数据双写一致性要自己处理
关联笔记
- RabbitMQ 详情:RabbitMQ笔记
- Kafka 详情:Kafka笔记
- Demo:
example/mq/(docker-compose + 生产级 Producer/Consumer + 事务示例)
标签:#rabbitmq #kafka