MSN의 7월 한달내내 비 예보 검증결과

5월달 MSN에서 내놓은 7월 서울기준 일기예보

지난 7월 초, MSN이 한달 장기예보를 '7월 한달 내내 3일 빼고 비'예보를 한 것에 대해서 대체 뭔 깡으로 이런식의 예보를 하는건가 싶다는 글을 올린적이 있었는데요, 이제 7월도 다 지나갔으니 이에 대한 결과를 확인해 보고자 합니다.

• 관련 글 : https://typhoon-air.tistory.com/804

MSN 7월 날씨 전망 되짚어보기

일단 맨 위의 캡쳐 화면에서 지역은 대한민국 서울이며, 나온 문구는 다음과 같습니다

이번 달은 대부분비일 것입니다. 평균 일일 최고/최저 기온은 29℃/22℃입니다. 예상 최고/최저 온도는 31℃/20℃입니다. 비 오는 날이 28일 있습니다.

당시 5월 중순부터 6월 초 장마 시작 직전까지 꽤나 이슈가 되었었고, 장마 종료 이전까지도 비가 올 떄 마다 7월 한달 내내 비가 맞았다는 얘기가 종종 나돌기도 하였습니다. 일각에서는 7월 날씨 괴담, 노아의 대홍수라는 이야기도 나왔었고요

제가 아는 범위 내에서의 기상예측 모델의 한계는 결정론적 예보모델 기준으로 보면 GFS의 384시간이 한계이고, 대부분은 240시간 안쪽의 시간범위를 한계시간으로 잡고 있는데 도대체 마이크로소프트사에서는 어떤 기상 예측 모델을 썼는지가 궁금하지 않을 수 없는 상황이었습니다.

그래서 찾아봤더니 AI로 정확도를 더 높인 딥러닝 일기예보 모델인 ClimaX(클라이맥스라 읽어야 할 듯 싶습니다)를 오픈소스로 공개했다고 하며, 저해상도 이미지를 고해상도로 업스케일링하는 기능에 다양한 기후 날씨 예보에 맞춰 데이터를 미세조정하는 기능까지 있다고 하였으며, 당시 마이크로소프트측에서는 "시범 테스트 결과 여러 벤치마크에서 최신 모델과 같거나 더 나은 성능을 기록했다."고 밝혔다고 합니다.

• 관련 보도 : https://zdnet.co.kr/view/?no=20230317090126 

MS, AI로 정확도 높인 일기예보 모델 공개

거기다 이것에 대한 소스코드까지 깃헙(GitHub)에 공개하였는데요(https://github.com/microsoft/ClimaX) 여기에 대한 제 개인적인 생각은, 인공지능을 통해 기존 예보 모델의 한계를 넘어서기 위한 시도는 당연히 해야 하고, 분명 보완점(특히 이미지 업스케일링 작업 등)은 기존 작업의 효율을 높여주는 매우 좋은 도구가 될 수 있다고 생각합니다. 그러나 지금 단계에서 이를 공식 예보와 같은 수준으로 사용하는데 있어서는 조금 조심스러운 입장인데요, 우선 해당 모델이 어떠한 해상도로 작동하는지에 대한 언급이 없으며,(양자컴퓨터가 아닌 이상 기상예측모델의 해상도 문제는 반드시 확인해봐야 합니다) 예보값과 실제 결과간의 비교를 하는 작업이 반드시 필요하겠고, 기존 중기 예측 모델 범위 이상의 예보에서 필연적으로 발생하는 해상도 문제를 어떻게 해결할 것인지와, 비선형 복잡계에 해당하는 기상예보 특성상 일정 범위를 넘어서는 예보의 경우 필연적으로 동전던지기 수준과 다를바 없는 상황까지 가게 될 것인데 이에 대한 보정을 하는 것인지 아니면 기존 모델과 같은 범위를 예보하지만 좀 더 낫다는 의미인지에 대한 구체적인 설명을 찾을 수가 없었습니다.

보통 월단위 이상의 기간을 가지는 장기예보의 경우 앙상블 예측을 하는데 이 경우 모델의 해상도가 중기범위를 다루는 결정론적 모델에 비해 상당히 낮은 수준입니다. 이걸 인공지능을 통해 업스케일링한건지는 모르겠지만 사실 이건 이거대로 위험하지 않을까 싶은 부분이 있습니다. 특히 우리나라처럼 중위도에 자리하면서 매우 좁은 구역 내에 세계적으로도 유래를 찾기 힘든 수준의 촘촘한 관측망을 갖춰놓은 경우엔 이런 방식이 더 잘 안맞는 방법이 될 수도 있지 않을까 싶거든요

아무튼 7월이 다 끝난 지금 과연 당시 떠돌던 이야기가 얼마나 맞았을지 확인을 해 보도록 하겠습니다.

일단 기준점은 서울 공식 관측지점인 종로구 송월동 관측소의 강수기록을 사용하였으며, 기본적으로 해당 관측소에 0.1mm이상의 비가 오면 비가 온 것으로, 그게 아니면 비가 오지 않은 것으로 판단하였으며, 비가 온다고 예보한 날에 비가 오면 O, 비가 온다고 한 날에 오지 않으면 X, 오지 않는다고 한 날에 비가 오지 않으면 O, 오지 않는다고 한 날에 비가 오면 X로 보는 아주 단순무식(?)한 방법을 사용하였습니다.(아마 기상청 검증 방식과는 다를겁니다)

다만 국지성 호우로 인한 강수감지와 공식강수량이 차이나는 경우가 2일 있어서 이 경우는 따로 구분해서 이야기하고자 합니다.

날짜	예보	실제	적중	서울 일강수량	비고
7/1	강수	비강수	X	0.0
7/2	강수	비강수	X	0.0
7/3	강수	비강수	X	0.0
7/4	강수	강수	O	61.8
7/5	강수	강수	O	15.3
7/6	강수	비강수	X	0.0
7/7	비강수	비강수	O	0.0
7/8	강수	비강수	X	0.0
7/9	강수	강수	O	47.5
7/10	강수	강수	O	11.5
7/11	강수	강수	O	58.3
7/12	강수	강수	O	0.7
7/13	강수	강수	O	91.3
7/14	강수	강수	O	72.7
7/15	강수	강수	O	2.3
7/16	강수	강수	O	19.4
7/17	강수	강수	O	1.2
7/18	강수	강수	O	2.3
7/19	강수	비강수	X(△)	0.0	강수감지
7/20	비강수	비강수	O	0.0
7/21	강수	비강수	X	0.0
7/22	강수	강수	O	12.3
7/23	강수	강수	O	40.2
7/24	강수	강수	O	0.4
7/25	강수	강수	O	5.6
7/26	비강수	강수	X	1.0
7/27	강수	비강수	X(△)	0.0	강수감지
7/28	강수	비강수	X	0.0
7/29	강수	비강수	X	0.0
7/30	강수	강수	O	25.0
7/31	강수	비강수	O	0.3

비고에 강수감지라고 써 있는 것은 서울 다른 관측소의 강수감지기는 작동하였으나 송월동 관측소의 기록은 0.0으로 찍힌 경우입니다.(서울시내 29개 관측소 중 송월동을 제외한 다른 어딘가에서 비가 한 방울 이상 관측된 경우에 해당)

위의 표를 당초 웹에서 돌던 내용에 대입해보면 이렇게 됩니다.

관측지점을 종로구 송월동 관측소로 한정할 경우 31일 중 20일이 맞았으며, 서울 시내 관측소 중 한 곳이라도 강수감지기가 작동한 경우를 포함할 경우엔 2일이 더 추가되어 31일 중 22일이 맞은 것으로 볼 수 있습니다.

즉, 종로구 송월동 관측소 기준으로는 64.51%의 적중률을, 이외에 서울시내 28개 관측소(23개구 + 현충원(동작), 김포공항, 동작구 기상청, 한강(여의도), 남현동) 중 한 곳이라도 비가 내린 것이 확인되는 것을 포함할 경우엔 70.97%의 적중률이 됩니다.

이 정도면 잘 맞춘거 아니냐고 생각하실 수도 있겠지만, 과거 기상청을 구라청이라고 하면서 기상망명족(이때 윈디가 떴었죠)이 대거 생겨났던 2020년 당시의 기상청 강수예보 적중률이 78%수준이었으며, 도입 초기 상당히 삐걱거리던 KIM모델의 강수적중률이 67%정도 수준이었던걸 생각하면 굳이 이런 방식으로 장기예보를 할 필요성이 있나 싶은 수준입니다.

참고로 우리나라 중부지방의 경우 장마철에 그냥 모든 날을 비가 온다고 찍기만 하여도 평균 60~70%정도의 적중률을 기대할 수 있습니다.(보통 3일 중 2일 정도 비오는 것이 평년 수준)

그냥 우리나라 기상청의 월간 전망처럼 7월달은 평년 대비 비가 많이 올 확률을 40%, 평년과 비슷할 확률 40%, 평년보다 적게 올 확률을 20% 이런 식으로 발표했다면 어느 정도 이해가 가능한 수준이었을겁니다.

참고로 관측을 시작한 1908년 이후 2022년까지의 114년간 송월동 관측소에 기록된 7월 강수량의 평균은 약 378.6mm였으며, 2012~2022년간의 10년 평균은 316.03mm였습니다.

참고로 AWS기준으로 아직 공식값은 아니지만 현재까지 집계한 7월 서울 누적강수량은 469.1mm로 평년보다 다소 많은 비가 내린 것으로 볼 수 있습니다.

 

사라지기 이전에 돌던 8월 예보