Kafka Before Kafka # 1. IO Multiplexing

[kyungjunleeme]

Kafka를 공부하기 전에 알아두면 좋은 개념 중 하나는 I/O Multiplexing입니다. 
Kafka는 네트워크 기반의 분산 시스템이기 때문에, 효율적인 데이터 송수신을 위해 비동기 I/O와 다중 접속을 처리하는 메커니즘을 이해하는 것이 중요합니다

• https://blog.naver.com/n_cloudplatform/222189669084
• https://d2.naver.com/helloworld/6560422
• https://www.quora.com/Why-did-Kafka-developers-prefer-to-implement-their-own-socket-server-instead-of-using-Netty-Does-that-help-with-performance-Does-Kafka-implement-such-features-already

[kyungjunleeme]

Kafka가 Netty를 사용하지 않고 직접 네트워크 계층을 구현한 이유는:

- epoll 기반의 고성능 I/O Multiplexing을 직접 컨트롤하기 위해.
- Zero-Copy를 최적화하여 불필요한 메모리 복사를 줄이기 위해.
- 불필요한 기능을 제거하고 Kafka에 최적화된 네트워크 계층을 설계하기 위해.
- 백프레셔 및 네트워크 튜닝을 유연하게 하기 위해.
- 이러한 최적화 덕분에 Kafka는 초당 수십만 개의 메시지를 처리하는 초고성능 메시징 시스템이 될 수 있었습니다. 🚀