봉인이 막은 것 — 성적표 4배짜리 전략이 실전에서 -21%였다

먼저 결론

• 검증 아이디어 21건을 결과를 보기 전에 합격 기준부터 정하고 시험했습니다.
• 채택 0건입니다.
• 그중 최소 세 건은 기준을 미리 정하지 않았다면 채택했을 것이고, 하나는 실전에서 큰 손실이 났을 것입니다.

절차

아이디어가 떠오르면 곧바로 돌려보지 않습니다. 먼저 이렇게 적어둡니다.

1. 무엇으로 판정할지 — 수익률인지 손실폭인지 하나만 정합니다. 나중에 유리한 쪽으로 바꾸지 않기 위해서입니다.
2. 합격선이 얼마인지 — 결과를 보기 전에 숫자로 못박습니다.
3. 어느 기간을 봉인할지 — 데이터 일부를 떼어놓고 아이디어를 다듬을 때 절대 보지 않습니다.

그다음에 돌립니다. 기준에 못 미치면 기각합니다. 결과를 보고 나서 기준을 낮추지 않습니다.

봉인이 실제로 막은 것

가장 극적인 사례입니다.

기존 전략 지식을 전부 버리고 원시 데이터에서 전략을 새로 찾는 실험을 했습니다. 2,000개 후보를 만들어 앞쪽 기간에서 성적을 매겼습니다.

1등 후보의 성적표는 기존 전략의 4배였습니다. 그대로 채택하고 싶은 숫자였습니다.

봉인해둔 뒷 기간을 열었습니다.

지수가 두 배 가까이 오르는 동안 손실을 냈습니다. 상위 5개 후보가 전부 그랬습니다.

다른 두 건

성적표는 좋은데 연도별로 보면 뒤집히는 경우. 전 기간을 한 번에 돌리면 개선으로 보였는데, 연도별로 쪼개 다시 돌리니 반대 결과가 나왔습니다. 한 해의 운이 전체를 끌어올린 것이었습니다.

발견한 구간에서만 통하는 경우. 특정 조건에서 성적이 좋아 보였습니다. 그 조건을 찾을 때 쓰지 않은 16년치 데이터로 확인했더니 부호가 뒤집혔습니다.

왜 이런 일이 생기나

많이 시도하면 그중 하나는 우연히 좋아 보이기 때문입니다.

이걸 재보려고 의미 없는 전략 100만 개를 무작위로 만들어 성적을 매겼습니다. 실력이 전혀 없는 조합들입니다.

많이 만들수록 최고 성적이 계속 올라갑니다. 실력이 전혀 없는데도 그렇습니다.

여기서 중요한 함정이 하나 더 있습니다. 1,000개만 만들어보고 "이 정도면 우연이 아니다"라는 선을 그으면, 실제 우연의 크기를 한참 낮게 잡게 됩니다. 저희도 처음엔 1,000개로 선을 그었다가 100만 개를 돌려보고 나서야 알았습니다.

그래서 채택이 0건입니다

21건 중 통계적으로 그럴듯해 보인 것은 여럿이었습니다. 봉인 구간까지 통과한 것도 하나 있었습니다.

그런데 그것마저 실제 포트폴리오로 만들면 손실이 났습니다. 자세한 이유는 다른 글에 적었습니다.

아무것도 채택하지 못한 것이 이 검증의 결과입니다. 그리고 그게 정직한 답이라고 봅니다.

한계

한 운영자의 기록이며, 이 절차가 항상 옳다는 증명은 아닙니다. 절차가 좋은 아이디어를 놓쳤을 가능성도 있습니다.

다만 절차가 없었다면 성적표 4배짜리를 채택했을 것이고, 그 결과가 지수 +94% 구간에서 -21.7% 였다는 것은 기록으로 남습니다.