Khi xây dựng các ứng dụng phân tán hoặc hệ thống quản lý dòng dữ liệu, việc lựa chọn một hệ thống quản lý message phù hợp là rất quan trọng. Hai trong số những hệ thống phân phối message phổ biến nhất là Apache Kafka (gọi tắt là Kafka) và RabbitMQ.

Mặc dù cả hai đều có mục tiêu quản lý và truyền tải message, nhưng chúng có những đặc điểm riêng biệt mà bạn nên xem xét khi lựa chọn. Trong bài viết này, chúng ta sẽ phân tích sự khác biệt giữa Kafka và RabbitMQ.

Đọc thêm:

• Kafka là gì? Các thành phần trong Kafka
• RabbitMQ là gì? RabbitMQ hoạt động như nào?

1. So sánh về kiến trúc

1.1. Kafka

1. Broker-Based Architecture: Apache Kafka sử dụng một kiến trúc dựa trên broker. Kiến trúc này bao gồm các máy chủ Kafka, được gọi là broker, hoạt động cùng nhau để duyệt và xử lý message. Mỗi broker là một phần của một cụm Kafka.
2. Producer: Producer là thành phần gửi message đến các chủ đề Kafka. Producer gửi message đến một chủ đề cụ thể và các broker Kafka lưu trữ message trong chủ đề đó.
3. Consumer: Consumer là thành phần nhận message từ các topic trong Kafka. Consumer đăng ký để theo dõi một chủ đề và nhận các message từ đó.
4. Topic: Topic trong Kafka là nơi mà các message được gửi và lưu trữ. Producer gửi message đến một topic cụ thể, và các consumer đọc từ topic đó.
5. Log-Based Storage: Kafka lưu trữ message theo dạng dòng dữ liệu (log-based). Mỗi message được đánh số và thời gian đặt. Điều này cho phép Kafka xử lý message theo thứ tự và theo thời gian.

1.2. RabbitMQ

1. Message Broker: RabbitMQ là một message broker. Nó xử lý và định tuyến message từ producer đến consumer thông qua hàng đợi (queues).
2. Producer: Producer gửi message đến các queue. Producer không cần biết về consumer cuối cùng của message.
3. Consumer: Consumer đọc message từ các hàng đợi RabbitMQ. Mỗi queue có một hoặc nhiều consumer đăng ký để nhận message.
4. Queue: RabbitMQ lưu trữ các message trong queue. Producer gửi message vào queue và consumer đọc từ queue đó.

2. So sánh về tính năng

3. So sánh về cách quản lý message

Khía Cạnh	Apache Kafka	RabbitMQ
Delivery Guarantee	- At Least Once: Kafka đảm bảo gửi message ít nhất một lần. Điều này đảm bảo rằng message sẽ không bị mất và có thể được gửi lại nhiều lần. - Exactly Once: Kafka cung cấp tính năng "exactly once" gửi message chính xác 1 lần. - At Most Once: Message được gửi tối đa 1 lần. Có thể xảy ra tình huống message bị mất do không có retry.	- At Least Once: RabbitMQ đảm bảo gửi message ít nhất một lần bằng cách gửi xác nhận (acknowledgment) từ consumer về producer. - At Most Once: Cũng như Kafka, RabbitMQ có thể được cấu hình để đảm bảo giao message tối đa một lần.
Tiêu thụ message	pull model	- push model (mặc định) - pull model
Ưu tiên message	- Kafka không có cơ chế tích hợp sẵn để xử lý ưu tiên của message. - Ưu tiên message có thể được tùy chỉnh thông qua cách sắp xếp Kafka topic hoặc thực hiện trong ứng dụng.	RabbitMQ hỗ trợ xử lý ưu tiên message bằng cách gán priority level (mức ưu tiên) cho các message và sắp xếp chúng dựa trên priority level.
Sắp xếp message	Sắp xếp message bằng topic	Sắp xếp theo thứ tự trong queue
Xoá message	- Kafka giữ message trong một kho dữ liệu (log) trong khoảng thời gian được cấu hình. - Message có thể được xóa sau khi đạt đến thời gian sống định sẵn.	- RabbitMQ xóa message sau khi chúng đã được consumer xác nhận (ACK). - Có khả năng cấu hình thời gian sống (TTL) cho queue hoặc cho từng message.
Thời gian tồn tại của message	Thời gian sống của một message trong Kafka có thể được cấu hình theo thời gian thực. Message có thể tồn tại trong khoảng thời gian bạn chọn.	RabbitMQ cho phép cấu hình thời gian sống (TTL) cho queue hoặc từng message. Message sẽ bị xóa khi hết thời gian sống.
Message retry	- Kafka không có tích hợp sẵn cho việc tự động gửi lại message nếu lỗi (message retry). - Message bị gửi thất bại có thể được xử lý bằng cách gửi lại hoặc sử dụng các kỹ thuật xử lý lỗi tùy chỉnh.	- RabbitMQ hỗ trợ tích hợp sẵn cho việc xử lý tự động gửi lại message khi xảy ra lỗi. - Có thể cấu hình số lần thử lại và khoảng thời gian giữa các lần thử lại.

4. So sánh về hiệu suất

4.1. Kafka

• Tốc độ xử lý cao: Kafka được thiết kế với mục tiêu đảm bảo tốc độ xử lý cao cho việc truyền tải message. Điều này làm cho nó phù hợp cho các ứng dụng cần xử lý dòng dữ liệu lớn và có yêu cầu thời gian thực.
• Xử lý đồng thời: Kafka hỗ trợ xử lý đồng thời (concurrency) và có khả năng mở rộng bằng cách thêm broker vào cụm Kafka để tăng khả năng xử lý.

4.2. RabbitMQ

• Hiệu suất tốt cho hàng đợi: RabbitMQ là một hệ thống quản lý hàng đợi message xuất sắc và thích hợp cho các ứng dụng sử dụng hàng đợi để truyền tải message. Nó có hiệu suất tốt trong việc quản lý hàng đợi và đảm bảo tính ổn định.

5. So sánh về tính ổn định

5.1. Kafka

• Tính ổn định cao: Kafka được sử dụng rộng rãi trong các ứng dụng quan trọng và đòi hỏi tính ổn định cao. Nó được thiết kế để chịu lỗi và đảm bảo tính toàn vẹn dữ liệu.
• Lưu trữ lâu dài: Kafka có khả năng lưu trữ message lâu dài trong kho dữ liệu (log), cho phép bạn tái xử lý message hoặc xem lịch sử.

5.2. RabbitMQ

• Tính ổn định cho message queue: RabbitMQ là một message broker truyền thống và có tính ổn định cho việc quản lý hàng đợi message. Nó đảm bảo tính toàn vẹn của message và cung cấp kiểm soát độ tin cậy thông qua xác nhận (acknowledgment).

6. So sánh về trường hợp sử dụng

6.1. Kafka

Kafka thường được sử dụng cho việc xử lý dòng dữ liệu lớn, ứng dụng thời gian thực và lưu trữ dữ liệu thời gian thực. Một vài trường hợp sử dụng phổ biến của Kafka bao gồm:

6.1.1. Xử lý Big Data

• Apache Kafka thích hợp cho các trường hợp sử dụng yêu cầu xử lý Big Data. Điều này bao gồm việc thu thập, lưu trữ và phân tích lượng lớn dữ liệu thời gian thực như thông tin từ các thiết bị IoT, log ứng dụng, và sự kiện trực tiếp từ hệ thống phân tán.

6.1.2. Real-time Applications

• Kafka là lựa chọn hàng đầu cho các ứng dụng thời gian thực như xử lý sự kiện trực tuyến (OLAP), theo dõi dữ liệu trực tiếp, xử lý giao dịch tài chính, và phân tích dữ liệu thời gian thực.

6.1.3. Monitoring Systems

• Kafka được sử dụng rộng rãi trong hệ thống theo dõi để thu thập dữ liệu về hiệu suất hệ thống và ứng dụng. Nó cho phép xem xét dữ liệu ngay lập tức và định rõ các sự cố.

6.1.4. Data Storage

• Kafka có khả năng lưu trữ message trong log trong một khoảng thời gian. Điều này giúp nó trở thành một giải pháp lưu trữ dữ liệu lâu dài cho việc tạo bản sao dự phòng, phân tích dữ liệu, và báo cáo.

6.2. RabbitMQ

RabbitMQ thích hợp cho việc quản lý message queue (hàng đợi thông điệp), load balancing, tích hợp ứng dụng, và xử lý message priority. Một vài trường hợp sử dụng phổ biến của RabbitMQ bao gồm:

6.2.1. Quản lý message queue

• RabbitMQ là một hệ thống quản lý message queue mạnh mẽ và phù hợp cho các ứng dụng đòi hỏi xử lý message queue như xử lý đơn hàng, và tích hợp ứng dụng.

6.2.2. Cân bằng tải

• RabbitMQ có thể được sử dụng để phân phối công việc đến các ứng dụng và máy chủ khác nhau. Điều này giúp cân bằng tải và tăng tính khả dụng.

6.2.3. Tích hợp với ứng dụng khác

• RabbitMQ thích hợp cho việc tích hợp các ứng dụng khác nhau sử dụng các giao thức như AMQP, STOMP, MQTT, và HTTP.

6.2.4. Xử lý thông điệp ưu tiên (Message Priority)

• RabbitMQ hỗ trợ xử lý message priority bằng cách gán mức ưu tiên (priority level) cho message và sắp xếp chúng dựa trên mức độ ưu tiên.

7. Tổng kết

Khía Cạnh	Apache Kafka	RabbitMQ
Ngôn ngữ	Scala, Java	Erlang
Protocol	binary protocol over TCP	AMQP
Hỗ trợ Client API	Java, Ruby, Python, Node.js	Java, Ruby, JavaScript, Go, C, Swift, Spring, Elixir, PHP, .NET
Tiêu thụ message	pull	push
Sắp xếp message	Sắp xếp message bằng topic	Sắp xếp theo thứ tự trong queue
Xoá message	- Kafka giữ message trong một kho dữ liệu (log) trong khoảng thời gian được cấu hình. - Message có thể được xóa sau khi đạt đến thời gian sống định sẵn.	- RabbitMQ xóa message sau khi chúng đã được consumer xác nhận (ACK). - Có khả năng cấu hình thời gian sống (TTL) cho queue hoặc cho từng message.
Thời gian tồn tại của message	Thời gian sống của một message trong Kafka có thể được cấu hình theo thời gian thực. Message có thể tồn tại trong khoảng thời gian bạn chọn.	RabbitMQ cho phép cấu hình thời gian sống (TTL) cho hàng đợi hoặc từng thông điệp. Message sẽ bị xóa khi hết thời gian sống.
Message Retry	- Kafka không có tích hợp sẵn cho việc tự động gửi lại message. - Message bị gửi thất bại có thể được xử lý bằng cách gửi lại hoặc sử dụng các kỹ thuật xử lý lỗi tùy chỉnh.	- RabbitMQ hỗ trợ tích hợp sẵn cho việc xử lý tự động gửi lại message khi xảy ra lỗi. - Có thể cấu hình số lần gửi lại và khoảng thời gian giữa các lần.
Bảo mật	TLS, JAAS	Quản lý qua tool dành cho admin
Khả năng chịu lỗi	Có	Có
Hiệu năng	triệu message/giây	~10.000 message/giây
Hệ sinh thái	Hỗ trợ tốt Big Data và streaming	Hạn chế, không bằng Kafka

8. Tài liệu tham khảo

• How to choose a message queue? Kafka vs. RabbitMQ
• Kafka vs RabbitMQ: Biggest Differences and Which Should You Learn?