먼저 결론
- "이 전략 연 20%" 같은 영상에는 문제가 하나 이상 섞여 있는 경우가 대부분입니다.
- 그 문제는 과적합, 기간 고르기, 비용 빼먹기 셋 중 하나일 때가 많습니다.
- 그래서 믿거나 버리기 전에 15분이면 끝나는 점검 목록을 아래에 적었습니다.
여기서 백테스트란 과거 데이터로 전략을 미리 돌려보는 것입니다. 아래 항목은 순서대로 따라가며 하나씩 확인하면 됩니다.
1. 재생 전에 보는 것 (1분)
- 백테스트 기간이 적혀 있는가 — 없으면 뒤의 이야기를 따져 볼 근거 자체가 없습니다.
- CAGR(연복리 수익률)만 말하고 MDD(최대 낙폭)는 말하지 않는가 — 떨어진 폭을 가리는 흔한 말하기 방식입니다.
- 매매 규칙이 문장으로 적혀 있는가 — "적절히", "상승장에서" 같은 말이 섞이면 남이 똑같이 따라 할 수 없습니다.
2. 데이터 검증 (5분)
- 시작 연도를 전략에 유리하게 고른 것은 아닌가 — 특히 2008~2009년을 빼지 않았는지 봅니다
- 지수를 실제로 살 수 있는 상품(ETF)으로 바꿔도 되는가 — 지수 수익률에는 비용도, 배당도, 추적오차도 들어 있지 않습니다
- 거래 시점을 "신호가 뜬 날의 종가"로 가정했는가 — 현실에서는 보통 다음 날 시가에 사게 됩니다
- 한국 시장 전략이라면 생존편향(사라진 종목을 빼고 계산하는 잘못)을 어떻게 다뤘는지 말하는가
3. 비용 검증 (5분)
- 왕복 거래 비용(살 때와 팔 때를 합친 비용)이 0으로 잡혀 있는가 — 그렇다면 결과에서 거래 횟수 × 0.1~0.3%를 직접 빼 보세요
- 거래 빈도는 얼마인가 — 월 1회 왕복이면 연 12회입니다. 비용만으로도 연 1.2~3.6%p(퍼센트끼리의 차이)만큼 깎일 수 있습니다
- 슬리피지(주문한 가격과 실제로 사고팔린 가격의 차이) 이야기가 나오는가 — 거래가 뜸한 종목일수록 사려는 값과 팔려는 값의 차이가 큽니다
4. 통계 검증 (4분)
- 자료가 5년도 안 되는데 연 20%+를 말하는가 — 표준오차(표본이 짧을수록 커지는 오차)를 계산해 보면 범위가 -5%~45%처럼 넓게 나오기도 합니다
- 파라미터(전략에서 정해 주는 숫자)가 딱 하나뿐인가 (예: "12개월 모멘텀") — 몇 개를 시도했는지 말하지 않으면, 가장 잘 나온 값만 골랐다고 보고 봐야 합니다
- 샤프 비율이 2를 넘는가 — 전략이 뛰어나서라기보다 데이터에 문제가 있는 쪽을 먼저 의심하는 편이 좋습니다
5. 판정 기준
| 통과 항목 | 판정 |
|---|---|
| 3개 이하 | 재현 가치 없음 — 시청 시간만 낭비 |
| 4~6개 | 직접 재현해볼 가치는 있으나 결과를 그대로 믿으면 안 됨 |
| 7개 이상 | 드묾. 재현 후 자체 비용 가정으로 재계산할 것 |
6. 마지막 질문
영상의 결론이 어느 쪽인지 봅니다. "이 전략을 쓰라"인가요, 아니면 "이런 가정에서 이런 결과가 나왔다"인가요. 뒤쪽이라도 검증은 여전히 필요합니다. 다만 뒤쪽은 최소한 남이 똑같이 다시 해볼 수 있는 주장입니다. 앞쪽이라면 이 체크리스트의 절반은 이미 지나간 셈으로 보입니다.