eunzae's develog

Apache Kafka(Kafka install on EC2) 본문

Database/Data Engineering

Apache Kafka(Kafka install on EC2)

eunzae 2021. 12. 9. 12:38

kafka

메세지 큐이고, 분산환경에 특화되어 설계되어 있다는 특징을 가짐으로써, 기존의 RabbitMQ와 같은 다른 메세지 큐보다 훨씬 빠르게 처리한다.

 

특징

  • LinkedIn에서 개발된 분산 메시징 처리 시스템
  • 파일시스템을 사용하므로 데이터영속성이 보장된다
  • 대용량의 실시간 로그 처리에 특화되어 설계된 메시징 시스템
  • 기존 점용 메시징 시스템대비 TPS*가 매우 우수
    * TPS(transactions per second): 초당 트랜잭션 수
      - 일반적인 관점에서 초당 특정 엔티티가 수행한 원자 동작의 수
      - 더 제한된 관점에서 이 용어는 DBMS 벤더와 사용자 공동체가 초당 데이터베이스 트랜잭션의 수

 

Producer와 Consumer

producer는 메세지를 생산하는 주체, Consumer는 소비자로써 메세지를 소비하는 주체(다대다 가능)
Producer → QUEUE → Consumer

 

실습 구성도


https://kafka.apache.org/

 

Apache Kafka

Apache Kafka: A Distributed Streaming Platform.

kafka.apache.org