백테스트 성적표보다 먼저 물어야 할 것이 있습니다. 몇 번 시도해서 나온 숫자인가. 100번 고쳐서 제일 좋은 하나를 보여주면, 그 성적은 실력이 아니라 시도 횟수의 결과일 수 있습니다. 이 페이지는 그 횟수를 숨기지 않고 공개합니다. 기준일 2026-08-25.
동전을 100번 던지면 앞면이 7번 연속 나오는 구간이 생깁니다. 그 구간만 잘라서 보여주면 대단해 보이죠. 백테스트도 같습니다. N번 시도하면 그중 최고 성적은 실력이 없어도 대략 √(2·ln N) 표준편차만큼 좋아 보입니다.
| 세는 범위 | 시도 횟수 N | 우연히 나오는 최고 성적 |
|---|---|---|
| 근거가 남아 있는 시도만 | 218 | 3.28σ |
| 현재 전략 계열 전체 | 2,277 | 3.93σ |
| 이전 세대까지 포함 | 2,382 | 3.94σ |
가장 넓게 세면 2,382번입니다. 즉 3.9σ 정도로 좋아 보이는 결과는 실력의 증거가 아닙니다. 그만큼 시도했으면 우연히 나옵니다. 새 아이디어를 채택할지 판단할 때 이 선을 넘는지부터 봅니다.
| 고친 부분 | 가설 수 | 조합 수 |
|---|---|---|
| signal-research | 5 | 49 |
| 비중 결정 | 5 | 49 |
| 종목 선별 | 9 | 39 |
| 시장 타이밍 | 3 | 35 |
| 청산 규칙 | 2 | 30 |
| 비용 모델 | 2 | 20 |
| execution-timing | 3 | 14 |
| 파라미터 강건성 | 1 | 12 |
| 장세 필터 | 5 | 11 |
| data-quality-audit | 2 | 8 |
| 현금 운용 | 1 | 4 |
| 기여도 분해 | 2 | 3 |
| 데이터 품질 | 1 | 2 |
| 진입 타이밍 | 1 | 1 |
| 백지 탐색 | 1 | 0 |
솔직하게 밝힙니다. 과거에 돌린 것 중 상당수는 원본 결과 파일이 남아 있지 않습니다. 요약 기록이나 커밋 메시지만 남은 것도 있고, 개수만 추정한 것도 있습니다. 이 사실을 감추면 원장의 의미가 없습니다.
전략을 다듬을 때 절대 들여다보지 않기로 정한 기간입니다. 여기서 검증하지 않으면 아이디어가 진짜인지 알 수 없습니다. 한 번 열면 다시 봉인하지 않습니다.
| 기간 | 상태 |
|---|---|
| 2021-01-01 ~ 2026-07-16 | 봉인 유지 |
| 2026-08-24 ~ 2027-12-31 | 봉인 유지 |
| 2025-01-01 ~ 2026-08-21 | 개봉함 (검증 완료) |
| 2002-10-14 ~ 2018-12-31 | 개봉함 (검증 완료) |
| 2023-01-01 ~ 2026-08-21 | 개봉함 (검증 완료) |