"견고한 데이터 엔지니어링"은 데이터 엔지니어링 분야의 필수적인 지식을 제공하는 책으로, 데이터 환경의 기초부터 고급 개념까지 폭넓게 다루고 있습니다. 이 책은 데이터 엔지니어링 수명 주기의 프레임워크를 통해 데이터를 생성, 수집, 오케스트레이션, 변환, 저장 및 거버넌스하는 방법을 체계적으로 설명합니다. 데이터 엔지니어링의 기본 개념을 이해하고자 하는 분들에게 적합하며, 특히 데이터 과학자, 분석가, 소프트웨어 엔지니어 등 데이터 관련 직종에 종사하는 분들에게 유용한 정보가 가득합니다.
저자인 조 라이스와 맷 하우슬리는 각각 데이터 엔지니어링과 클라우드 전문가로, 이 책을 통해 데이터 엔지니어링의 핵심 원칙과 실무적인 접근 방식을 제시합니다. 이들은 데이터 파이프라인 설계와 구축의 핵심 원칙을 명확히 설명하며, 다양한 클라우드 기술을 결합하여 고객의 요구 사항에 맞는 시스템을 구축하는 방법을 안내합니다.
책은 데이터 엔지니어링의 모든 단계, 즉 데이터 생성에서부터 저장, 수집, 변환, 서빙까지의 과정을 포괄적으로 다루며, 데이터를 활용한 비즈니스 문제 해결에 필요한 통찰력을 제공합니다. 또한, 데이터 엔지니어링 수명 주기의 각 단계에서 고려해야 할 기술적 요소와 비즈니스적 가치를 설명하여, 독자가 실제 업무에서 이를 어떻게 적용할 수 있을지에 대한 명확한 방향을 제시합니다.
데이터 엔지니어링의 이론과 실무를 아우르는 이 책은 데이터 엔지니어링을 처음 접하는 이들뿐만 아니라, 기존의 지식을 체계적으로 정리하고자 하는 전문가들에게도 훌륭한 참고서가 될 것입니다. 데이터 기술의 발전과 함께 지속적으로 변화하는 환경 속에서도 변하지 않는 데이터 엔지니어링의 원칙을 이해하고자 한다면, "견고한 데이터 엔지니어링"은 반드시 읽어야 할 책입니다.
목차
[PART I 데이터 엔지니어링 기반 구축하기]
CHAPTER 1 데이터 엔지니어링 상세
_1.1 데이터 엔지니어링이란?
_1.2 데이터 엔지니어링 기술과 활동
_1.3 조직 내 데이터 엔지니어
_1.4 결론
_1.5 참고 문헌
CHAPTER 2 데이터 엔지니어링 수명 주기
_2.1 데이터 엔지니어링 수명 주기란?
_2.2 데이터 엔지니어링 수명 주기의 드러나지 않는 주요 요소
_2.3 결론
_2.4 참고 문헌
CHAPTER 3 우수한 데이터 아키텍처 설계
_3.1 데이터 아키텍처란?
_3.2 우수한 데이터 아키텍처의 원칙
_3.3 주요 아키텍처 개념
_3.4 데이터 아키텍처의 사례 및 유형
_3.5 데이터 아키텍처 설계 담당자는 누구인가?
_3.6 결론
_3.7 참고 문헌
CHAPTER 4 데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택
_4.1 팀의 규모와 능력
_4.2 시장 출시 속도
_4.3 상호 운용성
_4.4 비용 최적화 및 비즈니스 가치
_4.5 현재 vs 미래: 불변의 기술과 일시적 기술 비교
_4.6 장소: 온프레미스, 클라우드, 하이브리드 클라우드, 멀티클라우드
_4.7 구축과 구매 비교
_4.8 모놀리식과 모듈식 비교
_4.9 서버리스와 서버 비교
_4.10 최적화, 성능, 벤치마크 전쟁
_4.11 데이터 엔지니어링 수명 주기의 드러나지 않는 요소
_4.12 결론
_4.13 참고 문헌
[PART II 데이터 엔지니어링 수명 주기 심층 분석]
CHAPTER 5 1단계: 원천 시스템에서의 데이터 생성
_5.1 데이터 원천: 데이터는 어떻게 생성될까?
_5.2 원천 시스템: 주요 아이디어
_5.3 원천 시스템의 실질적인 세부 사항
_5.4 함께 작업할 대상
_5.5 드러나지 않는 요소가 원천 시스템에 미치는 영향
_5.6 결론
_5.7 참고 문헌
CHAPTER 6 2단계: 데이터 저장
_6.1 데이터 스토리지의 기본 구성 요소
_6.2 데이터 스토리지 시스템
_6.3 데이터 엔지니어링 스토리지 개요
_6.4 스토리지의 주요 아이디어와 동향
_6.5 함께 작업할 대상
_6.6 드러나지 않는 요소
_6.7 결론
_6.8 참고 문헌
CHAPTER 7 3단계: 데이터 수집
_7.1 데이터 수집이란?
_7.2 수집 단계의 주요 엔지니어링 고려 사항
_7.3 배치 수집 고려 사항
_7.4 메시지 및 스트림 수집에 관한 고려 사항
_7.5 데이터 수집 방법
_7.6 함께 일할 담당자
_7.7 드러나지 않는 요소
_7.8 결론
_7.9 참고 문헌
CHAPTER 8 4단계: 쿼리 모델링 및 데이터 변환
_8.1 쿼리
_8.2 데이터 모델링
_8.3 변환
_8.4 함께 일할 담당자
_8.5 드러나지 않는 요소
_8.6 결론
_8.7 참고 문헌
CHAPTER 9 5단계: 분석, 머신러닝 및 역 ETL을 위한 데이터 서빙
_9.1 데이터 서빙의 일반적인 고려 사항
_9.2 분석
_9.3 머신러닝
_9.4 데이터 엔지니어가 ML에 관해 알아야 할 사항
_9.5 분석 및 ML을 위한 데이터 서빙 방법
_9.6 역 ETL
_9.7 함께 작업하는 사람
_9.8 드러나지 않는 요소
_9.9 결론
_9.10 참고 문헌
[PART III 보안, 개인정보보호 및 데이터 엔지니어링의 미래]
CHAPTER 10 보안과 개인정보보호
_10.1 사람
_10.2 프로세스
_10.3 기술
_10.4 결론
_10.5 참고 문헌
CHAPTER 11 데이터 엔지니어링의 미래
_11.1 사라지지 않는 데이터 엔지니어링 수명 주기
_11.2 복잡성의 감소와 사용하기 쉬운 데이터 도구의 부상
_11.3 클라우드 규모의 데이터 OS와 향상된 상호 운용성
_11.4 ‘엔터프라이즈’ 데이터 엔지니어링
_11.5 직책과 책임의 변화
_11.6 모던 데이터 스택을 넘어 라이브 데이터 스택으로
_11.7 결론
APPENDIX A 직렬화와 압축 기술 상세
APPENDIX B 클라우드 네트워킹
에필로그
찾아보기
- 교보문고: https://bitl.bz/iInJ19
- Yes24: https://bitl.bz/7cs0dD
'데이터 과학 > 데이터 엔지니어링' 카테고리의 다른 글
| 바스 하렌슬락 , 율리안 더라위터르, Apache Airflow 기반의 데이터 파이프라인, 제이펍 (3) | 2025.02.28 |
|---|---|
| 니시다 케이스케, 빅데이터를 지탱하는 기술 - 시시각각 변하는 데이터를 파악하는 자동화의 세계, 제이펍 (1) | 2025.01.30 |