eunzae's develog

https://github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki/데이터-엔지니어 GitHub - Team-Neighborhood/I-want-to-study-Data-Science: 데이터 사이언스를 공부하고 싶은 분들을 위한 글 데이터 사이언스를 공부하고 싶은 분들을 위한 글 . Contribute to Team-Neighborhood/I-want-to-study-Data-Science development by creating an account on GitHub. github.com

kafka 메세지 큐이고, 분산환경에 특화되어 설계되어 있다는 특징을 가짐으로써, 기존의 RabbitMQ와 같은 다른 메세지 큐보다 훨씬 빠르게 처리한다. 특징 LinkedIn에서 개발된 분산 메시징 처리 시스템 파일시스템을 사용하므로 데이터영속성이 보장된다 대용량의 실시간 로그 처리에 특화되어 설계된 메시징 시스템 기존 점용 메시징 시스템대비 TPS*가 매우 우수 * TPS(transactions per second): 초당 트랜잭션 수 - 일반적인 관점에서 초당 특정 엔티티가 수행한 원자 동작의 수 - 더 제한된 관점에서 이 용어는 DBMS 벤더와 사용자 공동체가 초당 데이터베이스 트랜잭션의 수 Producer와 Consumer producer는 메세지를 생산하는 주체, Consumer는 소비자로써 ..

https://tech.socarcorp.kr/data/2021/03/24/what-socar-data-engineering-team-does.html 쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 안녕하세요. 데이터 엔지니어링 팀에서 이제 막 신입 1년차를 마친 하디입니다. 요즘 취업 준비하시는 분들에게 ‘데이터 엔지니어가 되려면 어떤 걸 준비해야 하나요?’라는 질문을 종종 받습 tech.socarcorp.kr

Amazon ec2(Amazon Elastic Compute Cloud) 인스턴스: 가상 컴퓨팅 환경 Amazon 머신 이미지(AMI): 서버에 필요한 운영체제와 여러 소프트웨어들이 적절히 구성된 상태로 제공되는 템플릿으로 인스턴스를 쉽게 만들 수 있습니다. 인스턴스 유형: 인스턴스를 위한 CPU, 메모리, 스토리지, 네트워킹 용량의 여러 가지 구성 제공 키 페어를 사용하여 인스턴스 로그인 정보 보호(AWS는 퍼블릭 키를 저장하고 사용자는 개인 키를 안전한 장소에 보관하는 방식) 인스턴스 스토어 볼륨: 임시 데이터를 저장하는 스토리지 볼륨으로 인스턴스 중단, 최대 절전 모드로 전환 또는 종료 시 삭제됨 Amazon Elastic Block Store(Amazon EBS), 즉 Amazon EBS 볼륨을 ..

Raw Data store(IoT rule, App, Echo, SNS 등 ↔ Internet) - Amazon API Gateway, Amazon Kinesis Streams, Amazon Kinesis Firehose, Amazon Pinpoint* 등 * Amazon Pinpoint: CRM 서비스 ↓ Batch-Processing Engine(ETL 작업) - Amazon Spark(AWS EMR이라는 Echo 서비스에 올라가있음, EMR을 통해 Spark 배포) - AWS DMS(이기종 데이터 transformation 하는데 활용/Spark 대신 DMS를 통해 가져오면 서비스에 부하가 적음) 등 Real-Time Processing Engine - Spark Streaming(장: EMR 안에..

https://mattturck.com/data2020/

# 파이프라인: 한 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 형태로 연결된 구조 요구사항수집, 데이터선정 → 데이터 수집 → 데이터 전처리, 데이터 저장 → 데이터 분석, 시각화 # 데이터 파이프라인 아키텍처 데이터 생성(앱, 웹, 외부 서비스, IOT, 소셜 등) ↓ 데이터 수집 - Amazon Kinesis Streams: 스트림(실시간)데이터 (큐를 꼭 넣어서 진행해야 한다) - Amazon Kinesis Firehose: 실시간 데이터 완전관리형 서비스 - Amazon API Gate way: 앱이나 웹에서 발생한 이벤트를 AWS 서비스와 연결해주는 프록시서버*, 마이크로서비스**의 근간 * 프록시서버: 클라이언트와 서버 사이에서 데이터를 중계하는 역할을 하는 서버 ** 마이크로서..

1. Passionate about their database specialty 2. Decisive 3. Flexible and able to manage time properly 4. Be the go to person 5. Detail oriented 6. Tactful 7. Accountable 8. Trustworthy and dependable 9. Excellent communication skills. 10. Be able to work independently or on a team https://www.actifio.com/company/blog/post/10-qualities-of-an-exceptional-enterprise-dba/