eunzae's develog
Apache Kafka(Kafka install on EC2) 본문
kafka
메세지 큐이고, 분산환경에 특화되어 설계되어 있다는 특징을 가짐으로써, 기존의 RabbitMQ와 같은 다른 메세지 큐보다 훨씬 빠르게 처리한다.
특징
- LinkedIn에서 개발된 분산 메시징 처리 시스템
- 파일시스템을 사용하므로 데이터영속성이 보장된다
- 대용량의 실시간 로그 처리에 특화되어 설계된 메시징 시스템
- 기존 점용 메시징 시스템대비 TPS*가 매우 우수
* TPS(transactions per second): 초당 트랜잭션 수
- 일반적인 관점에서 초당 특정 엔티티가 수행한 원자 동작의 수
- 더 제한된 관점에서 이 용어는 DBMS 벤더와 사용자 공동체가 초당 데이터베이스 트랜잭션의 수
Producer와 Consumer
producer는 메세지를 생산하는 주체, Consumer는 소비자로써 메세지를 소비하는 주체(다대다 가능)
Producer → QUEUE → Consumer
실습 구성도
Apache Kafka
Apache Kafka: A Distributed Streaming Platform.
kafka.apache.org
'Database > Data Engineering' 카테고리의 다른 글
[EC2] 데이터 파이프라인 구축을 위한 VM 생성하기(EC2 리눅스 프리티어 생성하기) (0) | 2021.12.11 |
---|---|
데이터엔지니어 (0) | 2021.12.09 |
쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 (0) | 2021.12.09 |
데이터 파이프라인을 위한 AWS 서비스 (1) | 2021.12.08 |
Data Lambda Architecture (0) | 2021.12.04 |