[실전 시계열 분석] - chap11 오차 측정

백테스트

히스토리 데이터에서 예측 모델을 테스트하기 위해 모델링 사용되는 용어이다. 이전 기간에 적용되는 특수한 유형의 교차 검증이다.

학습딘 모델의 역동성을 고려해야 한다. 특히 특정 기간의 데이터로 모델을 학습하는 것을 고려해야 한다.

ARIMA와 같은 전통적 통계 모델에서는 모든 데이터가 파라미터를 선택할 때 균등하게 고려되었다. 파라미터가 시간에 따라서 달라져야 한다면, 더 많은 데이터는 모델의 성능을 떨어뜨린다.

---

11.2 예측하기 좋은 시점

모델의 가능성을 식별하기 위한 방법으로 아래와 같은 조치를 취할 수 있다.

1) 테스트 데이터셋에 대한 모델 출력 그래프 그리기

2) 시간에 따른 모델의 잔차 그래프 그리기

3) 시간을 인식하는 간단한 널 모델에 대해 여러분의 모델 검증하기

4) 모델이 이상치를 다루는 방법 살펴보기

5) 시간에 민감한 분석 수행하기

---

11.3 시뮬레이션으로 모델의 불확실성 추정

모델의 적합헤 따라 계수 추정치가 얼마나 가변적인지 살펴보려고 할 때, 몬테카를로 시뮬레이션을 여러번 실행해볼 수 있다. 잠재적 문제를 해결하고, 잘못된 추정 범위를 좁혀나갈 수 있다.

---

11.4 여러 단계를 앞선 예측

뇌의 활동이 보고될 때, 환자에게 주의를 주기 위해 적어도 5분 전에 발작을 예측해야 할 때를 가정해보자.

 

1) 직접 관심 범위에 적합시키기

시간 t+5까지 데이터에 대한 레이블로 모델의 학습을 수행할 수 있다.

 

2) 거리가 먼 시간 범위에 대한 재귀적인 접근 방법

모델의 출력을 다시 입력으로 주입하는 접근 방법이다. 보다 먼 범위를 예측할 수 있다.

 

3) 시계열에 적용된 멀티태스크 학습

하나의 모델을 여러 가지 목적에서 활용될 수 있도록 만들거나, 서로 다르지만 연관된 대상을 한 번에 예측하는 일반화된 학습이 되도록 한다는 개념이다. 

위와 같이 서로 다른 시간 범위를, 서로 다른 예측 대상으로 지정할 수 있다.

---

11.5 모델 검증 시 주의 사항

1) 사전관찰

2) 구조적 변화 : 시계열의 역동성은 시가넹 따라 변화할 수 있다.