Wasserman, Larry A., All of Nonparametric Statistics - 2005. Corr. 3rd, Springer

 

📘 서문: 왜 이 책인가?

통계학을 공부하는 사람이라면 한 번쯤은 마주하게 되는 비모수 통계(nonparametric statistics). 전통적인 통계학에서처럼 정규분포나 선형회귀를 가정하지 않고, 데이터 자체가 지닌 구조를 최대한 덜 제약적으로 분석하는 방법론이죠. 여기서 Larry Wasserman의 “All of Nonparametric Statistics”는 비모수 통계의 이론과 방법을 체계적으로 정리한 정수(精髓) 같은 책입니다.

한국어판 리뷰가 많지는 않지만, 국내에서도 통계학 전공자나 대학원생, 연구자들 사이에서 “필독서”로 꼽힙니다. 이 블로그 글에서는 이 책이 무엇을 다루고, 어떤 장점을 가지며, 실제로 어떻게 읽고 실습에 적용할 수 있는지 자세히 풀어보겠습니다.

---

1. 책 개요

• 제목: All of Nonparametric Statistics
• 저자: Larry Wasserman
• 출판사: Springer
• 분야: 통계 이론 / 비모수 통계

전통 통계학 서적들이 회귀, 분산분석, 가설검정 등을 선형모형 중심으로 구성된 데 비해, 이 책은 **비모수적 접근법(nonparametric approach)**에 집중합니다. 즉, 데이터 분포를 특정 파라미터 집합으로 간주하지 않고, 유연한 모형과 추정 기법을 다룹니다.

---

2. 대상 독자

1. 통계학 전공 대학원생
2. 데이터 과학자 또는 머신러닝 연구자 – 통계 이론 기반 강화
3. 실무자 – 표본 분포, 커널 밀도 추정, 순위 기반 방법 등 실제 데이터 분석 도구로 활용 가능
4. 이론 연구자 – 가설 검정의 일반화, 비모수적 신뢰구간, 부트스트랩 등 심화 개념 익히고 싶은 분

---

3. 구성 개요 및 주요 내용

총 14장 정도로 구성되며, 핵심 흐름은 다음과 같습니다:

3.1. 기초 개념: 확률론 & 결정 문제 (Decision Theory)

• R¹, Rᵈ 공간에서의 추정: 분포 함수(F), 밀도 함수(f), 회귀함수(m) 등
• 손실 함수 및 위험 함수 이해: 편향-분산 트레이드오프, 최소극대 손실(Minimax)

3.2. 커널 방법 (Kernel Methods)

• 커널 밀도 추정: 다양한 커널 함수(K), 대역폭(h), MISE 최적화
• 커널 회귀 (Nadaraya-Watson, Local Polynomial Regression)

3.3. 부트스트랩 및 재표집 (Resampling & Bootstrap)

• 비모수 통계에서 불확실성 평가의 핵심 도구
• 퍼뮤테이션 테스트 (Permutation Test) 등 비모수 검정

3.4. 순위 기반 검정 (Rank-Based Tests)

• Wilcoxon, Mann-Whitney, Kruskal-Wallis
• 비모수 가설검정의 다목적 응용

3.5. 사후적 보정 (Multiple Testing) & FDR (False Discovery Rate)

• 과제들: 대규모 데이터 속 다중가설
• Benjamini-Hochberg 절차 등 오류율 조절 기법

3.6. 밀도 추정 이외의 고급 주제들

• 적응적 추정 (Adaptive Estimation)
• 최소연결망학습 (Graphical Models)
• Gaussian processes, 신뢰밴드(confidence bands)

각 장은 이론 → 예시 → 연습문제 형태로 구성되어 강의 교재로도 손색없습니다.

---

4. 주요 장별 상세 설명

4.1. 분포와 밀도 함수 추정

• 에이스곱(ECDF, empirical CDF) 방법
• 커널 밀도 추정(KDE): 대역폭 선택이 성능을 좌우, Silverman’s rule 등 언급
• L₁, L₂ norm과 최대 절대편차에 따라 수렴률 차이 분석

4.2. 비모수 회귀 및 스무딩

• Nadaraya-Watson estimator: 윈도우 형태, 편향보정
• Local polynomial regression: 근사 다항식 + 가중 회귀
• 분산/편향 균형: bias² vs variance 설명

4.3. 비모수 가설검정

• 순위 기반 통계량 Wilcoxon 순위합검정, 부트스트랩 p-값
• U 통계량 일반 이론, 비모수 분산 추정

4.4. 신뢰구간과 부트스트랩

• 퍼뮤테이션 vs 넌퍼뮤테이션(boostrap) 비교
• BCa 방법, 단일·복수 관측치에 대한 신뢰밴드 제공

4.5. 다중검정 및 거짓발견률

• Bonferroni correction, Holm procedure 등 기본 보정
• FDR: “q-value” 개념과 Benjamini–Hochberg 정리

4.6. 고차원 데이터 분석

• Mallow’s Cp, cross-validation 통한 모델 선택
• 필터 방식 다중변수 선택, 회귀와 지도학습 연결

---

5. 활용 팁: 어떻게 읽고, 어떻게 쓰면 좋을까?

1. 이론 중심 → 예제 적용
   각 장의 이론적 정리를 읽은 뒤 바로 코딩 실습(예: R, Python의 statsmodels, scikit-learn)으로 복습
2. 연습문제 적극 활용
   수학적 직관 습득을 위해 손으로 풀고 컴퓨터로 검증
3. 현업 적용 사례 작성
   회사 프로젝트나 연구에서 “표본 크기 작고 정규분포 가정이 애매할 때”, “ 이상치 많은 데이터” 등 사례 메모
4. 복잡한 장은 스킵하고 다시 보기
   고차원 데이터, 최적화 기법 등 장은 필요할 때마다 천천히 다시 읽기

---

6. 장점과 한계

장점

• 이론과 실습 균형: 수학 증명과 코드 예제 병행
• 알짜배기 구성: 밀도/회귀/검정/부트스트랩/다중검정 등 핵심 기법만 콕콕 선별
• 학부 고급·대학원 입문 모두 커버

한계

• 수학적 난이도: 확률론과 미적분 기초 없이는 쉽게 따라가기 어렵다
• 최신 기계학습과 직접 연결성 약함: 커널 기반 중심이고, 딥러닝 등 신경망 기법은 없음
• 한국어 자료 부족: 영어 원서 혹은 수식 중심 설명이라 번역된 부연례가 필요

---

7. 추천 독자 및 활용 전략

• 통계학·데이터 과학 대학원생: 핸즈온 논문 준비 교재로 최적
• 실무 분석가: 비모수 접근법이 절실할 때 바로 참조 가능한 기법 모음
• 학습자: 증명과 수식을 따라가며 정리 노트 작성
• 강사: 슬라이드·예제 구성에 좋은 자료(유명 대학 강의 참고 가능)

---

8. 요약 정리

항목요약

대상	대학원생, 연구자, 실무자
강점	이론과 실습의 균형, 핵심 비모수 기법 정리
난이도	중~상 (미분·확률 기반 이해 필수)
활용 팁	연습문제 + 코드 도전 → 실제 데이터 적용

 

---

9. 마치며

“All of Nonparametric Statistics”는 단순히 비모수 통계 기법을 소개하는 책이 아닙니다. 어떤 데이터를 접하든, ‘정규분포’나 ‘선형 가정’에 얽매이지 않고 분석할 수 있는 유연한 시각과 기법을 갖추는 것이 비모수 통계의 핵심임을 일깨워 줍니다.

이 글을 통해 “이 책이 무엇을 알려 주는지”, “어떤 독자가 읽으면 좋은지”, “어떻게 활용하면 효과적인지”를 충분히 느껴 보셨다면, 이제는 직접 도전해 보세요! 학부 수준 이상이라면 영어 원서 그대로 읽어도 좋고, 번역서가 있다면 병행하며 공부하는 것도 추천드립니다.

 

 

 

- 교보문고: https://bitl.bz/ObjkPG

- 쿠팡: https://link.coupang.com/a/czjDUR

- Amazon: https://amzn.to/4edpip5