跳到主要内容

1 篇博文 含有标签「Kafka」

查看所有标签

消息队列对比与选型笔记

· 阅读需 9 分钟

RabbitMQ vs Kafka 横向对比 + 选型决策 + 可视化平台 + CLI/UI 操作实践。 单库详情:RabbitMQ笔记 · Kafka笔记。 本笔记聚焦"什么场景选哪个"和"生产环境怎么用",避免把两者当同类产品对比。

目录​

  1. 一句话定位
  2. 维度对比表
  3. 性能 / 吞吐对比
  4. 消息模型本质差异
  5. 场景选型决策
  6. 可视化平台对比
  7. CLI vs UI 操作实践
  8. 反向场景 + 共存架构

1. 一句话定位​

消息队列一句话
RabbitMQ复杂路由 + 低延迟 + 传统任务队列的消息代理(Broker 范式)
Kafka高吞吐 + 持久化 + 可重放的分布式日志(Log 范式)

最本质差异:RabbitMQ 投递后默认删除消息(队列消费);Kafka 默认保留消息(日志消费,consumer 各自维护 offset)。


2. 维度对比表​

维度RabbitMQKafka
架构范式消息代理(Broker)分布式日志(Log)
消息模型队列(消费后删除)日志(保留期 + offset)
路由能力✅ 4 种 Exchange(direct/topic/fanout/headers)❌ 仅按 topic + partition
投递语义At-most-once / At-least-onceAt-most-once / At-least-once / Exactly-Once
消息保留投递后删除保留期(默认 7 天,可设数月)
顺序保证单队列单消费者 FIFO单 partition 内严格有序
单机吞吐万~十万 QPS十万~百万 TPS
延迟微秒~毫秒级毫秒~十几毫秒
协议AMQP 0.9.1 / 1.0 / MQTT / STOMP自定义二进制协议
集群协调Erlang 分布式(4.0+ Quorum)KRaft(4.x)/ ZK(≤3.9)
持久化可选始终
多消费者抢消费(一条消息只给一个 consumer)各自消费(每 group 一份)
重放历史❌ 不支持✅ offset 可回退
适用规模中小规模(百万级 QPS 以下)大规模(百万 TPS+)
运维复杂度中(集群 + 镜像)中(KRaft / ZK 复杂度转移)
生态成熟度老牌、传统企业广泛使用互联网 / 大数据领域事实标准
客户端库所有主流语言所有主流语言
云厂商支持AWS MQ / Azure Service BusConfluent Cloud / MSK / 所有云厂

3. 性能 / 吞吐对比​

3.1 数量级参考​

指标RabbitMQ(Quorum Queue 3 节点)Kafka(3 broker + RF=3)
峰值吞吐5~10 万 msg/s50~100 万 msg/s
单消息延迟< 1ms5~15ms
消息体大小推荐 < 1MB推荐 < 1MB(默认 1MB,可调到数 MB)
堆积能力弱(百万级就开始告警)强(TB 级常态)

3.2 性能特征差异​

  • RabbitMQ:每条消息走队列、ack、DLX 等流程,单条延迟低,但堆积后性能急剧下降
  • Kafka:顺序写 + 零拷贝 + 页缓存,批量吞吐高,延迟主要来自 batch + fsync

3.3 选型参考​

场景性能指标推荐
高频交易(万 TPS + 毫秒延迟)延迟 < 10msRabbitMQ
日志聚合(10 万+ TPS)吞吐优先Kafka
事件溯源(消息可重放)历史可重读Kafka
复杂任务路由(多 Exchange)路由能力RabbitMQ
实时数据管道(流处理)吞吐 + 重放Kafka

4. 消息模型本质差异​

4.1 队列消费(RabbitMQ)​

[Producer] → Exchange → [Queue: msg1, msg2, msg3]
↓
Consumer A
(msg1 被 ack 后从队列删除)
  • 消息消费后即删除(ack 后)
  • 多个 consumer 抢同一条消息
  • 适合任务分发(一个任务被一个 worker 消费)

4.2 日志消费(Kafka)​

[Producer] → Topic partition: [msg0, msg1, msg2, msg3, ...] (append-only)
↓
Consumer Group A: offset=2
Consumer Group B: offset=0
(两个 group 各自维护 offset,互不影响)
  • 消息保留期内不删除
  • 多个 Consumer Group 各自维护 offset,各看各的
  • 适合事件流(同一事件被多个服务消费:搜索 + 缓存 + 审计)

4.3 业务影响​

  • 想"消费完删掉" → RabbitMQ
  • 想"消费完还能查" → Kafka(offset 可回放、replay 历史)
  • 想"一条事件被多服务处理" → Kafka
  • 想"一个任务被一个 worker 抢走" → RabbitMQ

5. 场景选型决策​

5.1 决策流程图​

业务核心诉求是什么?
├── 复杂路由 / 多 Exchange / 主题分发 ──→ ✅ RabbitMQ
├── RPC 风格 / 同步请求-响应 ──→ ✅ RabbitMQ(原生支持)
├── 消息保留 + 可重放 + 流处理 ──→ ✅ Kafka
├── 事件溯源 / 日志聚合 / CDC ──→ ✅ Kafka
├── 延迟敏感(毫秒级) ──→ ✅ RabbitMQ
├── 极致吞吐(10 万+ TPS) ──→ ✅ Kafka
├── 与大数据生态对接(Spark/Flink) ──→ ✅ Kafka
├── 简单任务队列(小规模) ──→ ✅ RabbitMQ(Quorum)
└── 不确定 ──→ 简单用 RabbitMQ;需要扩展时再考虑 Kafka

5.2 按场景列表​

场景推荐理由
订单 / 支付核心业务RabbitMQ低延迟、强可靠投递、复杂路由
异步通知(短信 / 邮件)RabbitMQ简单、延迟不敏感
微服务间事件总线Kafka多服务订阅、消息可重放
日志聚合Kafka高吞吐、可被多个消费者解析
用户行为埋点Kafka高吞吐、可重放计算
CDC(数据库变更捕获)KafkaDebezium → Kafka 是业界标准
实时流处理KafkaFlink / Spark Streaming 原生支持
IoT 设备数据Kafka高吞吐、消息保留可追溯
RPC 同步请求RabbitMQ原生 RPC 支持
大文件传输都不合适走对象存储 / 大文件专用通道

5.3 两者共存(业界常见)​

大型系统两个都用是常态:

[Web 业务] ──→ RabbitMQ(核心交易,复杂路由)
├──→ [订单服务]
├──→ [库存服务]
└──→ [审计服务(同时投递到 Kafka 归档)]
↓
Kafka(事件流 / 大数据 / 风控)
├──→ [实时风控]
├──→ [BI 分析]
├──→ [数据湖归档]
└──→ [实时推荐]

典型分层:

  • 业务关键路径 → RabbitMQ(强一致)
  • 跨域事件流 / 数据管道 → Kafka(高吞吐 + 重放)

6. 可视化平台对比​

6.1 RabbitMQ 工具​

工具类型优势限制
Management UI官方自带装 RMQ 就有,队列/连接/Channel 可视化大集群性能差
Prometheus + Grafana监控指标丰富、告警灵活需自建
rabbitmqadminCLI批量操作、API 化学习曲线

6.2 Kafka 工具​

工具类型优势限制
AKHQ(akhq.io)开源 Web UI多集群 + Schema Registry + Connect中等规模
Redpanda Console开源 Web UI轻量、UI 简洁功能较基础
Confluent Control Center商业官方最全、监控 + 告警 + 治理重 + 付费
Conduktor桌面端桌面级 + 企业功能商业
Kowl(已被 Redpanda 收购)开源轻量已停更
kafka-ui(UI for Apache Kafka)开源部署简单维护节奏一般
Prometheus JMX Exporter + Grafana监控指标丰富需自建

6.3 推荐组合​

团队规模RMQKafka
小团队 / 中小规模Management UI + PrometheusAKHQ(开源免费)
中大型Prometheus + GrafanaRedpanda Console + Prometheus
企业付费Prometheus + Grafana + 商业 APMConfluent Control Center

7. CLI vs UI 操作实践​

7.1 生产实践原则​

日常查问题用 UI,批量操作 / 灾备 / 监控告警用 CLI + 自动化脚本。

场景用什么原因
查看消息内容(debug)UI直观、过滤方便
看队列长度、Consumer LagUI / Grafana实时面板
创建/删除队列/TopicCLI(脚本化)可审计、可批量
调整 partition / 配额CLIUI 容易误操作
灾备数据导入导出CLI可写脚本、可定时
监控告警Prometheus + Alertmanager自动化
跨环境同步配置CLI + IaC(Terraform)幂等、可追溯

7.2 RabbitMQ CLI 速查​

# 查看队列列表
rabbitmqctl list_queues name messages_ready messages_unacknowledged

# 启用 Prometheus 插件
rabbitmq-plugins enable rabbitmq_prometheus

# 设置 Policy(动态改 DLX)
rabbitmqctl set_policy DLX "orders.*" \
'{"dead-letter-exchange":"orders.dlx"}' --apply-to queues --priority 7

# rabbitmqadmin(HTTP API 封装)
rabbitmqadmin -u admin -p admin list queues
rabbitmqadmin -u admin -p admin publish exchange=orders routing_key=order.created payload='{"id":1}'

7.3 Kafka CLI 速查​

# 启动 kafka-shell 容器后操作(或在 broker 容器内)

# Topic 管理
kafka-topics.sh --bootstrap-server localhost:9092 --create --topic orders --partitions 6 --replication-factor 3
kafka-topics.sh --bootstrap-server localhost:9092 --list
kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic orders
kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic orders --partitions 12

# 生产/消费
kafka-console-producer.sh --bootstrap-server localhost:9092 --topic orders
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic orders --from-beginning

# Consumer Group 管理
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group order-processor
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --reset-offsets --group order-processor --topic orders --to-earliest --execute

7.4 生产实践 tips​

  • Topic 创建走 IaC(Terraform / Ansible),不靠人肉 CLI
  • 监控告警 100% CLI + Prometheus,不用 UI 报警(UI 是给人看的)
  • 生产变更 全留操作记录(CLI 配 shell history / audit log)
  • 查问题 先 UI 看现象,再 CLI 拉日志,再加 debug

8. 反向场景 + 共存架构​

8.1 什么时候不选 RabbitMQ​

  • ❌ 消息要保留几天到几周(用 Kafka)
  • ❌ 日志 / 事件流(用 Kafka)
  • ❌ 单集群 > 50 万 QPS(Kafka 集群更划算)
  • ❌ 需要多个服务独立消费同一事件流(Kafka 多 Consumer Group)

8.2 什么时候不选 Kafka​

  • ❌ 复杂路由(topic + partition 不够灵活)
  • ❌ RPC / 同步请求-响应
  • ❌ 极小消息量(运维成本不划算)
  • ❌ 团队完全没接触过(学习曲线陡)

8.3 共存架构​

[Web 业务]
↓
[RabbitMQ 集群] ← 核心交易,Quorum Queue,复杂路由
├── 订单服务
├── 支付服务
├── 库存服务
└── 审计服务
↓ (投递到 Kafka 归档)
[Kafka 集群] ← 事件流,跨域,高吞吐
├── 实时风控
├── 数据湖
├── 推荐系统
└── BI 报表

优点:

  • 业务关键路径用 RMQ(强一致)
  • 数据管道用 Kafka(高吞吐 + 重放)
  • 各取所长

代价:

  • 两套运维
  • 数据双写一致性要自己处理

关联笔记​

  • RabbitMQ 详情:RabbitMQ笔记
  • Kafka 详情:Kafka笔记
  • Demo:example/mq/(docker-compose + 生产级 Producer/Consumer + 事务示例)

标签:#rabbitmq #kafka