자동매매 전략의 사후 검증이 필요한 이유

3년차 때쯤인가, 신입으로 들어온 애가 어떤 실험을 하고 다섯쌍의 [x,y] 를 찍더니,

"이거는 5차함수로 피팅하면 됩니다."

라고 해서 어이가 없었던 적이 있다...(...)

대략 그림으로 치면 이런 느낌?

아 그림그리기 힘들다

실험한 구간에서만 저런 값이 나온것이고, 구간의 앞뒤로 실험을 하면 어떤 실험결과가 나올지 전혀 알수 없다. 

아니면 y축 분포가 작다고 하면 그냥 오차로 볼 수도 있다. 아니면 아래그림 처럼 첫번째 값만 이상치일수도 있고...

 

설명력이 100% 가 되는 모델을 만들더라도, 첫번째 그림처럼 insight 없는 모델을 만들면, 점 다섯개 이외에 다른 곳에서는 아무데도 쓸모없는 모델이 된다.

---

왜 이 이야기를 했냐면.... 특정 구간에서 수익률이 좋은 전략이라도 너무 over fitting 된 전략이라면 소용이 없기 때문이다.

이렇게 저렇게 결과가 엄청나게 좋게 만들 수는 있지만, 그 parameter를 미래에 적용했을 경우에도 잘 나온다는 보장이 없다.

 

2년 전에 만들었던 수익률 쩌는(?) 모델이다.

연복리 수익률 166%

하지만 2년전 9월 13일까지 괜찮았던 이 모델의 지금 현재(2023/5/12) 상태를 보니......

어어어 떨어진다.

무려 mdd 43% 나 떨어지는 결과를 기록하고 있다. -ㅁ-

최근 1년 수익률은 마이너스 3.7% ... 2021년 9월부터 주구장창 떨어지는 저 전략을 유지할 수 있는 사람이 얼마나 될까.

현재 확보되어있는 데이터 기준으로, 특정시점 까지의 데이터를 가지고 전략을 만들고, 그 전략으로 이후 수익률을 계산하면 그것도 좋은 방법일 것 같다. (머신 러닝에서 training set 과 test set 을 나눠서 하듯이...)