Kinesis

Kinesis Data Streams

• 실시간으로 데이터 수집 및 저장
• N개의 Shard로 처리 용량 확장 가능
• 데이터 보관 기간: 1~365일(기본 1일)
• Partition Key와 Sequence Number로 순서 보장

Kinesis Data Firehose

• 스트림 데이터를 S3, Redshift, OpenSearch 등에 자동 로딩
• 자체적인 저장소 없음
• 데이터 형식 변환 지원 (JSON → Parquet/ORC)
• 정적/동적 키로 데이터를 그룹화하여 S3에 저장

 

KDF VS KDS

 

Kinesis Data Analytics

• Apache Flink 기반의 완전 관리형 서비스
• 실시간 데이터에 대한 SQL 쿼리 지원
• 스트림 및 배치 처리, 이벤트 시간 기반 처리 지원