#광고 - 링크로 구매 시 글쓴이에게 소정의 수수료가 제공됩니다.
카프카 커넥트(Kafka Connect)는 아파치 카프카의 핵심 구성 요소로, 다양한 데이터 소스와 싱크 시스템을 연결하여 실시간 데이터 파이프라인을 구축하는 데 필수적인 도구입니다. 이 책은 카프카 커넥트를 활용하여 강력하고 유연한 데이터 파이프라인을 설계하고 운영하는 방법을 다룹니다.
저자 미카엘 메종은 아파치 카프카 프로젝트 관리 위원회(PMC)의 커미터이자, 레드햇의 카프카 팀에서 수석 소프트웨어 엔지니어로 활동하며, 카프카의 생태계에 기여해온 전문가입니다. 이 책은 데이터 엔지니어, 개발자, 사이트 신뢰성 엔지니어(SRE)를 위한 실용적인 가이드를 제공하며, 카프카 커넥트를 통해 데이터 흐름을 최적화하는 방법을 심도 있게 설명합니다.
책에서는 카프카 커넥트의 기본 개념부터 시작해, 데이터베이스 변경사항 캡처, 데이터 레이크 구축, 클러스터 간 데이터 미러링 등 다양한 활용 사례를 소개합니다. 또한, 상용 환경에서 카프카 커넥트를 배포하고 운영하는 방법, 로그와 지표를 통한 지속적인 모니터링 기법도 상세히 설명되어 있어 실무에서 유용하게 활용할 수 있습니다.
특히, 이 책은 카프카 커넥트의 플러그인 아키텍처를 활용하여 코드 작성 없이도 강력한 데이터 파이프라인을 구축할 수 있는 방법을 제시합니다. 쿠버네티스 환경에서의 카프카 커넥트 클러스터 운영에 대한 내용도 포함되어 있어, 현대의 IT 환경에 적합한 데이터 통합 솔루션을 제시합니다.
카프카 커넥트는 데이터 통합과 관리의 중요성이 증가하는 오늘날, 실시간 데이터 처리를 위한 핵심 기술로 자리 잡고 있습니다. 이 책을 통해 독자들은 카프카 커넥트의 다양한 기능과 활용법을 익혀, 실무에서 데이터 파이프라인을 효과적으로 구축하고 운영할 수 있는 능력을 갖추게 될 것입니다.
목차
1부 l 카프카 커넥트란
1장 카프카 커넥트 입문
카프카 커넥트 기능
__플러그형 아키텍처
__확장성과 신뢰성
__선언적 파이프라인 정의
__카프카 커넥트도 아파치 카프카의 일부
사용 사례
__데이터베이스 변경사항 캡처
__카프카 클러스터 미러링
__데이터 레이크 구축
__로그 집계
__레거시 시스템 현대화
카프카 커넥트의 대안
정리
2장 아파치 카프카란
분산 이벤트 스트리밍 플랫폼
__오픈소스
__분산 시스템
__이벤트 스트리밍
__플랫폼
카프카 주요 개념
__발행-구독
__브로커와 레코드
__토픽과 파티션
__리플리케이션
__보관 주기와 컴팩션
__크래프트와 주키퍼
카프카와 상호작용하기
__프로듀서
__컨슈머
__카프카 스트림즈
카프카 시작하기
__카프카 실행
__레코드 주고받기
__카프카 스트림즈 애플리케이션 실행
정리
2부 l 카프카 커넥트로 데이터 파이프라인 구축하기
3장 카프카 커넥트 데이터 파이프라인의 구성요소
카프카 커넥트 런타임
__카프카 커넥트 실행하기
__카프카 커넥트 REST API
__플러그인 설치하기
__배포 모드
소스 커넥터와 싱크 커넥터
__커넥터와 태스크
__커넥터 구성하기
__커넥터 실행하기
컨버터
__데이터 형식과 스키마
__컨버터 구성하기
__컨버터 사용하기
트랜스포메이션과 프레디케이트
__트랜스포메이션 사용 사례
__프레디케이트
__트랜스포메이션과 프레디케이트 구성하기
__트랜스포메이션과 프레디케이트 사용하기
정리
4장 효과적인 데이터 파이프라인 설계하기
커넥터 선택하기
__파이프라인 방향
__라이선싱과 지원
__커넥터의 기능
데이터 모델 정의하기
__데이터 변환
__시스템 간 데이터 매핑하기
데이터 포매팅
__데이터 포맷
__스키마
카프카 커넥트 내부 살펴보기
__내부 토픽
__그룹 멤버십
__리밸런스 프로토콜
카프카 커넥트에서 장애 상황 다루기
__워커 장애
__커넥터/태스크 장애
__카프카/외부 시스템 장애
__데드 레터 큐
처리 시맨틱 이해하기
__싱크 커넥터
__소스 커넥터
정리
5장 커넥터 인 액션
컨플루언트 S3 싱크 커넥터
__커넥터 구성하기
__정확히 한 번 시맨틱
__커넥터 실행하기
컨플루언트 JDBC 소스 커넥터
__커넥터 구성하기
__커넥터 실행하기
데비지움 MySQL 소스 커넥터
__커넥터 구성하기
__이벤트 형식
__커넥터 실행하기
정리
6장 미러메이커로 클러스터 미러링하기
미러링이란
__미러링 사용 사례 살펴보기
__미러링 실전 활용
미러메이커 소개
__공통 개념
__배포 모드
미러메이커 커넥터
__MirrorSourceConnector
__MirrorCheckpointConnector
__MirrorHeartbeatConnector
미러메이커 실행하기
__재해 복구 예제
__지역 간 복제 예제
정리
3부 l 상용 환경에서 카프카 커넥트 실행하기
7장 카프카 커넥트 클러스터 배포 및 운영
카프카 커넥트 환경 준비
__카프카 커넥트 환경 구축
__플러그인 설치
__네트워킹 및 권한
워커 플러그인
__구성 공급자
__REST 확장 기능
__커넥터 클라이언트 구성 오버라이드 정책
규모 산정 및 처리 능력 계획하기
__카프카 커넥트 리소스 활용 이해하기
__적절한 워커와 태스크 수 선정하기
카프카 커넥트 클러스터 운영하기
__워커 추가하기
__워커 제거하기
__워커 업그레이드 및 유지보수하기
__장애 상태인 태스크와 커넥터 재시작하기
__커넥터 오프셋 재설정하기
REST API를 사용해 카프카 커넥트 관리하기
__커넥터 생성 및 삭제하기
__커넥터와 태스크 구성
__커넥터 수명주기 제어하기
__커넥터 오프셋 나열하기
__이슈 디버깅
정리
8장 카프카 커넥트 구성하기
런타임 구성하기
__상용 환경을 위한 구성
__파인 튜닝 구성
커넥터 구성하기
__토픽 구성
__클라이언트 오버라이드
__정확히 한 번을 위한 구성
__오류 처리를 위한 구성
보안을 위한 카프카 커넥트 클러스터 구성하기
__카프카에 대한 연결에 보안 설정하기
__권한 구성하기
__REST API 보안 구성하기
정리
9장 카프카 커넥트 모니터링하기
로그 모니터링
__로깅 구성
__시작 로그 이해하기
__로그 분석하기
지표 모니터링하기
__지표 리포터
__지표 분석하기
__지표 탐색
주요 지표
__카프카 커넥트 런타임 지표들
__그 밖의 시스템 지표
정리
10장 쿠버네티스에서 카프카 커넥트 관리하기
쿠버네티스 소개
__가상화 기술
__쿠버네티스 기본
쿠버네티스에서 카프카 커넥트 실행하기
__컨테이너 이미지
__워커 배포
__네트워킹과 모니터링
__구성
쿠버네티스 오퍼레이터를 사용해 카프카 커넥트 배포하기
__쿠버네티스 오퍼레이터 소개
__카프카 커넥트용 쿠버네티스 오퍼레이터
스트림지
__쿠버네티스 환경 구성하기
__오퍼레이터 시작하기
__카프카 커넥트 CRD 알아보기
__카프카 커넥트 클러스터와 커넥터 배포하기
__미러메이커 CRD
정리
4부 l 커스텀 커넥터와 플러그인 구축하기
11장 소스 커넥터와 싱크 커넥터 구축하기
공통 개념과 API
__커스텀 커넥터 구축하기
__Connector API
__구성
__Task API
__카프카 커넥트 레코드
__ConnectorContext API
소스 커넥터 구현하기
__SourceTask API
__소스 레코드
__SourceConnectorContext와 SourceTaskContext API
__정확히 한 번 시맨틱 지원
싱크 커넥터 구현하기
__SinkTask API
__싱크 레코드
__SinkConnectorContext와 SinkTaskContext API
정리
12장 커넥터와 워커 플러그인으로 카프카 커넥트 확장하기
커넥터 플러그인 구현하기
__Transformation API
__Predicate API
__Converter API와 HeaderConverter API
워커 플러그인 구현하기
__ConfigProvider API
__ConnectorClientConfigOverridePolicy API
__ConnectRestExtension API
정리
- 교보문고: https://bitl.bz/rQ69yf
- Yes24: https://bitl.bz/RCs7ZQ
- 쿠팡: https://bitl.bz/auuQzH