VERIFICAÇÃO DAS PREVISÕES DE PRECIPITAÇÃO REALIZADAS COM O MODELO MM5 PARA O SISTEMA DE ALERTA...

20
VERIFICAÇÃO DAS PREVISÕES DE PRECIPITAÇÃO REALIZADAS COM O MODELO MM5 PARA O SISTEMA DE ALERTA DE CHEIAS DA BACIA DO RIO DOCE Eber José de Andrade Pinto 1 ; Elizabeth Guelmam Davis 1 ; Heloisa Moreira Torres Nunes 2 ;Robélia Gabriela Firmiano de Paulo 2 & Dayan Diniz de Carvalho 2 RESUMO – Na operação do Sistema de Alerta contra Cheias na Bacia do Rio Doce, a previsão meteorológica é feita através da utilização de três modelos numéricos hierárquicos: global, mesoescala e regional, ou seja, os modelos GLOBAL-CPTEC-COLA, ETA e MM5, sendo que este último está ainda em fase de avaliação. O objetivo deste trabalho foi avaliar a qualidade das previsões de precipitação realizadas pelo modelo MM5 para 24 horas, com resolução de 21 km, durante a operação do sistema de alerta no período de dezembro de 2004 a março de 2005. As previsões foram arquivadas em meio digital e comparadas com as precipitações diárias observadas na bacia. Na comparação, foram usados índices objetivos para a avaliação da precisão, da tendência e da habilidade das previsões diárias, como também para estimar a magnitude dos erros de previsão. Nesta avaliação, o modelo MM5 mostrou ser eficiente na previsão de ocorrência ou não de precipitações. Com relação às alturas de chuva previstas, o modelo apresentou uma tendência à subestimação em grande parte da bacia. ABSTRACT – In the operation of the Doce river early flood warning system, meteorological forecasts are executed using three hierarchical numerical models: global, mesoscale and regional, i.e., the GLOBAL-CPTEC-COLA, ETA and MM5 models, though the latter is still under evaluation. The objective of this paper was to assess the quality of the precipitation forecasts performed using the MM5 model for 24-hour periods and 21 km resolution, throughout the operation of the early warning system between December 2004 and March 2005. The forecasts have been digitally stored and compared with daily precipitation data from the basin. In the comparison, objective indicators have been used to assess rightness, tendency, and skill of the daily forecasts, as well as to estimate the magnitude of the forecast errors. In this evaluation, MM5 has been shown to be efficient in the forecast of the occurrence or not of precipitation. Regarding the estimated rain volume, the model has presented a tendency to the underestimation in most of the basin. Palavras Chave: Precipitação – verificação de previsões – modelo MM5 1 CPRM - Serviço Geológico do Brasil. Av Brasil,1731 CEP 30140-002 Belo Horizonte, MG Brasil Fax : (031) 3261-4484 ou 3261-5585 Fone: (031) 3261-0337 Email : [email protected]; [email protected] 2 IGAM/SIMGE-. Rua Santa Catarina,1354 - 6o.andar CEP 30170-081 Belo Horizonte, MG Brasil Fone: (031) 3291-0190 Email : [email protected]; [email protected]; [email protected]

Transcript of VERIFICAÇÃO DAS PREVISÕES DE PRECIPITAÇÃO REALIZADAS COM O MODELO MM5 PARA O SISTEMA DE ALERTA...

VERIFICAÇÃO DAS PREVISÕES DE PRECIPITAÇÃO REALIZADAS

COM O MODELO MM5 PARA O SISTEMA DE ALERTA DE CHEIAS DA

BACIA DO RIO DOCE

Eber José de Andrade Pinto1; Elizabeth Guelmam Davis1; Heloisa Moreira Torres Nunes2;Robélia

Gabriela Firmiano de Paulo2& Dayan Diniz de Carvalho2

RESUMO – Na operação do Sistema de Alerta contra Cheias na Bacia do Rio Doce, a previsãometeorológica é feita através da utilização de três modelos numéricos hierárquicos: global,mesoescala e regional, ou seja, os modelos GLOBAL-CPTEC-COLA, ETA e MM5, sendo que esteúltimo está ainda em fase de avaliação. O objetivo deste trabalho foi avaliar a qualidade dasprevisões de precipitação realizadas pelo modelo MM5 para 24 horas, com resolução de 21 km,durante a operação do sistema de alerta no período de dezembro de 2004 a março de 2005. Asprevisões foram arquivadas em meio digital e comparadas com as precipitações diárias observadasna bacia. Na comparação, foram usados índices objetivos para a avaliação da precisão, da tendênciae da habilidade das previsões diárias, como também para estimar a magnitude dos erros de previsão.Nesta avaliação, o modelo MM5 mostrou ser eficiente na previsão de ocorrência ou não deprecipitações. Com relação às alturas de chuva previstas, o modelo apresentou uma tendência àsubestimação em grande parte da bacia.

ABSTRACT – In the operation of the Doce river early flood warning system, meteorologicalforecasts are executed using three hierarchical numerical models: global, mesoscale and regional,i.e., the GLOBAL-CPTEC-COLA, ETA and MM5 models, though the latter is still underevaluation. The objective of this paper was to assess the quality of the precipitation forecastsperformed using the MM5 model for 24-hour periods and 21 km resolution, throughout theoperation of the early warning system between December 2004 and March 2005. The forecasts havebeen digitally stored and compared with daily precipitation data from the basin. In the comparison,objective indicators have been used to assess rightness, tendency, and skill of the daily forecasts, aswell as to estimate the magnitude of the forecast errors. In this evaluation, MM5 has been shown tobe efficient in the forecast of the occurrence or not of precipitation. Regarding the estimated rainvolume, the model has presented a tendency to the underestimation in most of the basin.

Palavras Chave: Precipitação – verificação de previsões – modelo MM5

1 CPRM - Serviço Geológico do Brasil. Av Brasil,1731 CEP 30140-002 Belo Horizonte, MG Brasil Fax : (031) 3261-4484 ou 3261-5585 Fone:

(031) 3261-0337 Email : [email protected]; [email protected] IGAM/SIMGE-. Rua Santa Catarina,1354 - 6o.andar CEP 30170-081 Belo Horizonte, MG Brasil Fone: (031) 3291-0190 Email :

[email protected]; [email protected]; [email protected]

1 – INTRODUÇÃO

O Sistema de Alerta de Enchentes da Bacia do Rio Doce beneficia, atualmente, 15 municípios

localizados nos Estados de Minas Gerais e Espírito Santo, às margens dos rios Piranga, Piracicaba e

Doce, alertando quanto ao risco de ocorrência de cheias. Os municípios atendidos são os seguintes:

Ponte Nova, Nova Era, Antônio Dias, Timóteo, Coronel Fabriciano, Ipatinga, Governador

Valadares, Tumiritinga, Galiléia, Conselheiro Pena, Itueta, Aimorés, Baixo Guandu, Colatina e

Linhares. O sistema é operado desde 1997 pela CPRM, através da Superintendência de Belo

Horizonte, em parceria com o IGAM-Instituto Mineiro de Gestão das Águas e com a ANA-Agência

Nacional de Águas.

A operação do sistema é feita 24 horas por dia e consiste da coleta, armazenamento e análise

de dados hidrometeorológicos de cerca de 34 pontos na bacia, elaboração de previsões

meteorológica e hidrológica, e transmissão das informações para os municípios beneficiados, via

fax, e-mail e pela internet, através do site www.cprm.gov.br/ alerta/alerta.html.

A previsão meteorológica é feita através da utilização de três modelos numéricos de

mesoescala e de escala regional de previsão do tempo: GLOBAL, ETA e MM5.

O GLOBAL-CPTEC-COLA é um modelo numérico de previsão com resolução de 100 km,

desenvolvido conjuntamente pelo National Centers for Environmental Prediction (NCEP) e

(COLA) Center for Ocean, Land and Atmosphere Studies. (CPRM, 2004).

O ETA é um modelo numérico de previsão do tempo em escala regional de área limitada,

desenvolvido pela Universidade de Belgrado em conjunto com o Instituto de Hidrometeorologia da

Iugoslávia. Este modelo foi instalado, no CPTEC, em 1996, a fim de complementar a previsão de

tempo já realizada, nesse centro, com o modelo de circulação geral da atmosfera. A previsão do

ETA, realizada no CPTEC, é feita para 5 dias, discretizados a cada 6 horas, abrangendo

praticamente toda a América do Sul, com uma malha de resolução de 40 km (CPRM, 2004).

O MM5 é um modelo numérico regional de previsão do tempo desenvolvido pela

Pennsylvania State University em conjunto com National Center for Atmospheric Research

(PSU/NCAR). É distribuído a comunidade como um software de domínio público. Vem sendo

utilizado, com bons resultados, pelo Laboratório de Prognóstico em Mesoescala (LPM) da

Universidade Federal do Rio de Janeiro que em parceria com o SIMGE/IGAM auxiliou na

instalação do modelo e na avaliação preliminar dos resultados na fase de testes.

O objetivo deste trabalho é avaliar as previsões de precipitação realizadas pelo modelo MM5,

com resolução de 21 km, durante a operação do Sistema de Alerta no período de 2004 a 2005. As

previsões foram arquivadas em meio digital e comparadas com as precipitações diárias observadas

na bacia.

2 – DESCRIÇÃO DA ÁREA EM ESTUDO

A bacia do Rio Doce localiza-se na região Sudeste do Brasil e possui uma área de drenagem

de 83.400 km2. A Figura 1 mostra o mapa de localização da mesma, sendo que 86% de sua área

pertence ao Estado de Minas Gerais e o restante ao Estado do Espírito Santo (CPRM 2004).

O rio Doce nasce nas Serras da Mantiqueira e Espinhaço, em Minas Gerais e percorre 853 km

até atingir o oceano Atlântico junto ao povoado de Regência, no Espírito Santo. Seus principais

afluentes pela margem esquerda são os rios do Carmo, Piracicaba, Santo Antônio, Corrente Grande,

Suaçuí Grande, São José e Pancas e pela margem direita são os rios Casca, Matipó, Caratinga/Cuité,

Manhuaçú, Guandu e Santa Joana. As maiores vazões específicas são encontradas na sub-bacia do

rio do Carmo entre 30 a 35 l/s km2 e as menores na sub-bacia do Suaçuí Grande entre 05 a 10 l/s

km2 (CPRM, 2004).

Figura 1 – Mapa de Localização da bacia do rio Doce

A precipitação média anual da bacia varia de 1500 mm, nas nascentes do rio Doce, a 900 mm

na região da divisa dos Estados de Minas Gerais e Espírito Santo, voltando a crescer na região do

litoral (CPRM, 2004).

A estação chuvosa em Minas Gerais, que abrange os meses de outubro a março, sofreu um

retardamento no período 2004 – 2005. Da mesma maneira que no ano anterior, só iniciou de forma

consistente, ao longo de dezembro de 2004, prolongando até março, com chuvas abundantes nesse

último mês. Embora, outubro e novembro de 2004 apresentassem índices pluviais abaixo da normal,

em praticamente todo o Estado, esse período chuvoso se caracterizou pela pluviosidade acima da

média, em várias regiões do Estado, inclusive na bacia do rio Doce. (Figuras 2 e 3).

Figura 2 – Anomalia da precipitação (%)Fonte: IGAM-SIMGE

Figura 3 – Total de PrecipitaçãoFonte: IGAM-SIMGE

O padrão normal de configuração das precipitações no Sudeste, associado ao posicionamento

preferencial da Zona de Convergência do Atlântico Sul (ZCAS), estendendo-se desde a Amazônia

até o Espírito Santo, no sentido noroeste-sudeste, que favorece o transporte de umidade da

Amazônia para o Sudeste, sugerindo a existência de uma esteira transportadora de umidade que

esteve atuante a partir de dezembro-2004, prolongando por janeiro-2005, permanecendo

excepcionalmente atuante em março-2005, com atuação bastante ativa nos corredores de transporte

de umidade que alimentam a interação entre os sistemas extratropicais e a convecção do Brasil

Central. A ocorrência de chuvas convectivas intensas, ora atuando isoladamente, ora em

combinação com os sistemas extratropicais, originando as ZCAS, provocou índices elevados de

precipitação na bacia do rio Doce, no mês de março, quando, em condições normais, seriam

esperados em dezembro e janeiro. (Figuras 4 e 5).

Em particular, no início de março um sistema extratropical bastante ativo penetrou e

estacionou sobre a bacia do rio Doce, provocando precipitações diárias da ordem de 80 mm em

várias localidades da bacia. As Figuras 6 e 7 ilustram a localização das chuvas que ocorreram no

transcorrer dos dias 2 e 3, bem como, o posicionamento e a morfologia da nebulosidade do sistema

extratropical, se assemelhando a ZCAS, que deu origem a essas precipitações.

Figura 4 – Anomalia da precipitação (%)Fonte: IGAM-SIMGE

Figura 5 – Total de PrecipitaçãoFonte: IGAM-SIMGE

Figura 6 – Total de precipitação diária (mm)Avaliada via satélite Goes 8 - 03/03/2005 8 hr

Fonte: CPTEC – INPE

Figura 7– Imagem visível do satélite Goes 8

04/03/2005 – 18 hr TMGFonte: CPTEC - INPE

3 – MODELO MM5

Modelos de mesoescala são adotados em áreas limitadas, visando detalhar as previsões

geradas por modelos globais, mais especificamente para refinar os efeitos dos sistemas de

mesoescala, tais como, tempestades e linhas de instabilidade. O modelo MM5, adotado no IGAM-

SIMGE, possui dinâmica não hidrostática, e capacidade para aninhamentos progressivos na grade

para escalas menores, possibilitando maior detalhamento em certas áreas de interesse. Sendo de

área limitada, possibilita a adoção de uma física mais apurada. Mas a demanda por condições de

fronteiras aumenta, tornando o desempenho vulnerável.

A performance desse tipo de modelo está condicionada a adequação das condições iniciais em

representar o comportamento da atmosfera no tempo inicial. Daí, a adoção da assimilação de dados

quadridimensional (nudging), ou seja: enquanto as equações do modelo asseguram a consistência

dinâmica dos dados, a assimilação de novos dados observados conduz o modelo para condições

mais próximas da realidade, restringindo os erros da análise inicial e de deficiências na sua

modelagem física.

As integrações, que demandam cerca de 6 horas, são feitas diariamente, de forma automática,

sem intervenção humana, em processadores PC-Intel, 1.26 Ghz Dual, 512 Mb, de processamento

paralelo simétrico de alto desempenho, com sistema operacional RedHat Linux e compilador

Fortran. O modelo é integrado operacionalmente por 72 horas, em duas grades horizontais: uma de

21 km, envolvendo o todo o Estado de Minas Gerais, e outra, no sul do Estado, bidirecionalmente

aninhada de 7 km. Na vertical, são adotados 23 níveis sigma estendendo-se desde a superfície até 10

hPa na estratosfera.

As condições iniciais são obtidas, a cada 12 horas, de análises e previsões globais do NCEP

(National Centers for Environmental Prediction), devidamente recortadas para o domínio adotado

pelo LAM (Laboratório de Prognósticos em Mesoescala) / UFRJ, com um nudging sobre as

fronteiras laterais, a cada 12 horas. A orografia e as 25 categorias de vegetação, que definem as

propriedades físicas da fronteira inferior do modelo, são adotados de bases de dados do USGS

(United States Geological Survey), de 0,9 km de resolução, degradados para a resolução do modelo

através de filtro.

Diversos processos físicos, cruciais para um realismo da previsão, não podem ser

explicitamente modelados. Isso ocorre por que alguns processos físicos não são suficientemente

conhecidos, ou por não se dispor de dados apropriados, ou ainda, por falta de computadores

suficientemente poderosos. Como alternativa, adota-se a emulação dos efeitos desses processos

(parametrização), incluindo a física nos modelos de forma implícita, ou seja, os esquemas de

parametrização inferem os efeitos dos processos que ocorrem na escala sub-grade, com informações

disponíveis somente na escala da grade. Esse modelo incorpora várias parametrizações físicas da

sub-escala, considerando ainda, as interações entre essas diversas parametrizações que se ligam

numa complexa teia de conecções. Citamos aqui, aqueles adotados na versão em questão.

A parametrização de Cumulus de Kain-Fritsch 2, incorpora a fundamental redistribuição de

calor e umidade, especialmente de calor latente para os altos níveis, dos eventos convectivos

profundos. Os processos radiativos, que ocorrem na própria atmosfera, nas interfaces atmosfera-

terra, atmosfera-nuvem são considerados pelo Esquema de RRTM. A microfísica das nuvens, que

envolve as transformações de estado nas nuvens, na precipitação, e na interface nuvem-atmosfera, é

tratada pelo Esquema de Shultz. O atrito do escoamento do ar com a superfície, e a difusão vertical

de calor, umidade e momentum na Camada Limite Planetária são considerados pelo Esquema MRF.

Por fim, a difusão de calor e umidade da camada superior do solo é introduzida pelo Esquema de

interação superficie-solo Noah-LSM, com a adoção de um modelo de solo de 4 camadas.

Em cerca de dois anos de operação desse modelo, constatações não objetivas indicam que o

modelo, em várias ocasiões, tem tido habilidade para detalhar as previsões das precipitações

oriundas de linhas e núcleos convectivos com maior acuidade que o Modelo ETA. No sul do

Estado, onde se realiza um aninhamento da grade, os índices pluviométricos estão geralmente super

estimados, possivelmente por acúmulo de ruídos das fronteiras laterais, denotando a necessidade de

estender o domínio do modelo.

4 – VERIFICAÇÃO DAS PREVISÕES

A verificação das previsões climáticas é realizada desde 1884 (Muller, 1944 apud Wilks,

1995). Existe uma grande variedade de procedimentos de verificação das previsões, mas todos

envolvem medidas da relação entre uma previsão ou um conjunto de previsões e as observações.

Qualquer método de verificação da previsão necessariamente envolverá a comparação entre os

pares de previsões e observações.

Em um nível fundamental, a verificação da previsão envolve a investigação das propriedades

da distribuição conjunta de previsões e observações (Murphy e Winkler, 1987 apud Wilks, 1995).

Isto é, qualquer conjunto de dados para verificação consiste de uma coleção de pares de

observações e previsões que podem ter seu comportamento caracterizado em termos de freqüências

relativas. Uma distribuição paramétrica conjunta, tal como a Normal Bivariada pode ser utilizada na

representação de um conjunto de dados particular. Entretanto, de uma maneira geral, as

distribuições empíricas formam a base das medidas de avaliação das previsões.

A verificação objetiva da qualidade das previsões é realizada por diversas razões. Brier e

Allen (1951) apud Wilks (1995), classificaram os propósitos da verificação em administrativos,

científicos e econômicos.

O uso administrativo da verificação das previsões é realizado para monitorar as previsões

operacionais objetivando comparar os méritos dos previsores e/ou sistemas de previsão. Assim,

procura-se verificar as tendências das previsões ao longo do tempo, analisar as taxas de melhorias

das previsões para diferentes locais ou horizontes de previsão e comparar as previsões de diferentes

origens para um mesmo evento.

A análise das estatísticas de verificação e seus componentes permitem perceber pontos fortes

e fraquezas de previsores e/ou sistemas de previsão facilitando a introdução de melhorias nas

metodologias adotadas. Este propósito é classificado como científico.

Ultimamente, a justificativa para qualquer esforço de previsão está relacionada com as

possibilidades dessa informação ser utilizada na tomada de decisões. Isso implica que o uso das

previsões dependerá das características de seus erros, que são elucidados através dos métodos de

verificação da previsão. Assim, as motivações econômicas da verificação das previsões irão

fornecer as informações necessárias para o usuário quantificar o valor da previsão. Entretanto, uma

vez que o valor econômico da previsão em diferentes cenários de decisão deve ser avaliado caso a

caso, o valor da previsão não pode ser computado somente de através de estatísticas de verificação.

Segundo a classificação de Brier e Allen (1951), citada por Wilks (1995), o propósito da

verificação das previsões desse trabalho é científico, pois tem por objetivo avaliar as previsões de

precipitações do MM5 sobre dois aspectos, na forma chover/não chover e na estimativa da

magnitude dos erros das previsões, gerando informações que permitirão a melhoria das previsões

com o modelo.

4.1 Verificação das previsões de precipitação na forma chover/não chover

No caso da avaliação das previsões de ocorrência de precipitação, ou seja, onde as previsões

de precipitação na forma chover/não chover (duas categorias, I=2) são comparadas às observações

de precipitação, também na forma choveu/não choveu (J=2). A comparação dos pares

previsão/observação é feita através de tabelas de contingência como a mostrada no esquema da

Tabela 1 (Wilks, 1995). As tabelas de contingência não constituem um método de verificação, mas

são a base para as estimativas dos índices.

Tabela 1 – Tabela de contingência para o caso de I = J =2.

1 – Previsão Perfeita

ObservaçãoPrevisão

Choveu Não ChoveuTotal

Chover a 0 a

Não Chover 0 d d

Total a d T

2 – Previsão Real

ObservaçãoPrevisão

Choveu Não ChoveuTotal

Chover a b a + b

Não Chover c d c + d

Total a + c b + d T

onde:a – Número de eventos de previsão de ocorrência de precipitação que foram realmente observadas,b – Número de eventos de previsão de ocorrência de precipitação que não houve observação de

chuvas,c – Número de eventos de previsão de não ocorrência de precipitação que ocorreu observação de

chuvas,

d – Número de eventos de previsão de não ocorrência de precipitação que realmente não houveobservação de chuvas e

T (Total) = (a + c) + (b + d) = (a + b) + (c + d).

Na Tabela 1 estão representadas as previsões perfeitas e reais. No caso ideal todas as

ocorrências ou não de precipitação seriam corretamente previstas e, sendo assim, b = c = 0.

A avaliação das previsões de precipitação na forma chover/não chover pode ser realizada por

vários índices que são calculados a partir da tabela de contingência. Estes índices compreendem

medidas de precisão, de tendência ou vício e de habilidade ou destreza da previsão (WILKS, 1995).

Resumidamente temos:

ObservaçãoPrevisão

Choveu Não ChoveuTotal

Chover a b a + b

Não Chover c d c + d

Total a + c b + d T

a) Percentual de acerto (H)

Este índice é uma medida de precisão e representa o percentual de previsões corretas

independentemente de serem previstas a ocorrência ou não ocorrência do evento. O índice é

calculado pela equação (1) e o valor ideal é igual a 100, ou seja, todas as previsões se

concretizaram.

100.T

daH += (1)

b) Probabilidade de detecção (POD)

Este índice é uma medida de precisão e representa a probabilidade de ocorrência de um

evento supostamente previsto. A equação (2) permite a estimativa desse índice e em caso de

previsão perfeita, POD = 1.

caaPOD+

= (2)

c) Razão de alarme falso (RAF)

Este índice é uma medida de precisão e representa a proporção dos eventos previstos que

não foram observados. O RAF é calculado pela equação (3) sendo que, o valor ideal é igual a zero e

o pior igual a unidade.

babRAF+

= (3)

d) Índice Crítico de Sucesso (ICS)

Este índice também é uma medida de precisão e é superior ao RAF e ao POD, pois é

sensível tanto as previsões de ocorrência de precipitação que são falsas (c) quanto as errados (b). O

ICS é mais representativo da qualidade da previsão real, tanto em situações de eventos pouco

freqüentes quanto em situações onde os eventos climáticos são os mais corriqueiros. Este índice é

encontrado em inúmeras publicações com a denominação de “threat score" (TS). O índice é

calculado pela equação (4), podendo variar de zero a um e, em caso de previsões perfeitas o seu

valor é igual a 1.

cbaaICS++

= (4)

e) Índice BIAS

O índice BIAS representa a razão entre o número de previsões de ocorrência de precipitação

com o número de eventos observados. O BIAS é uma medida de tendência ou “vício” do sistema de

previsão. O índice é calculado através da equação (5) e para sistemas sem viés o seu valor seria

igual a 1. Em situações onde BIAS > 1 o sistema está superestimando o número de previsões de

ocorrência de precipitação. E quando BIAS < 1 o sistema está subestimando o número de previsões

de ocorrência de precipitação.

O BIAS é uma medida de tendência ou “vício. BIAS > 1 o sistema está superestimando

cabaBIAS

++

= (5)

f) Índice de Heidke (HSS)

De acordo com Oliveira e Justi da Silva (2000) as medidas de habilidade ou destreza tem o

objetivo de avaliar a precisão relativa da previsão realizada em relação a uma previsão padrão de

controle ou referência. De uma forma geral, os três padrões empregados, em ordem crescente de

sofisticação, são a chance ou aleatoriedade, a persistência e a climatologia. A habilidade da previsão

é geralmente representada por um índice de habilidade (“skill score” - SS) que representa uma

porcentagem da melhoria da previsão sobre a previsão de referência.

A forma geral do índice de habilidade para as previsões caracterizadas por uma medida

particular de precisão A em relação à precisão de um sistema de previsão de referência, Aref ,é dada

pela equação (6). Nessa equação, Aperf é o valor da medida de precisão (A) que seria obtida no caso

de previsões perfeitas.

%.AA

AASS

refperf

ref 100−

−= (6)

Na equação (6), se A = Aperf, o índice de habilidade atingirá seu valor máximo de 100 %; e se

A = Aref, o índice de habilidade tomará o valor de 0 %, indicando que não houve melhoria em

relação à previsão ou esquema de referência. Se o índice de habilidade for negativo, as previsões

avaliadas são inferiores as previsões de referência.

A medida de habilidade pode empregar qualquer um dos vários índices de precisão. No caso

do índice de Heidke (HSS), a medida de precisão é o percentual de acerto (H). O padrão de

referência mais freqüentemente usado é a climatologia, mas o índice de Heidke (HSS) é quase

sempre associado com a chance ou aleatoriedade (Murphy e Winkler, 1987, mencionados por

Oliveira e Justi da Silva, 2000).

O índice de Heidke (HSS) é calculado pela equação (7). Previsões perfeitas apresentam HSS

igual a 100%, previsões com a mesma habilidade de um esquema aleatório tem HSS igual a zero e

esquemas de previsões com HSS menor do que zero, mostram desempenho pior do que um esquema

aleatório. Quando HSS é menor que zero é melhor jogar uma moeda para saber se ocorrerá ou não

precipitação no dia seguinte.

HSS ad bca c c d a b b d

=−

+ + + + +2 100( )

( )( ) ( )( ). (7)

4.2 Estimativa da magnitude do erro das previsões

Essa estimativa consiste na comparação entre os valores de precipitação previstos pelo

modelo e as precipitações observadas. É importante salientar que essa análise pode ser efetuada

para valores de precipitação acima de limiar estabelecido, como por exemplo, 50 mm.

Como as previsões de precipitação do modelo MM5 são em forma de pontos de grade, antes

de se iniciar a avaliação dos erros é necessária uma interpolação das informações da grade para os

locais onde se têm observações.

A estimativa da magnitude do erro das previsões pode ser obtida por vários métodos. Esse

trabalho se restringe a utilização do cálculo do vício da previsão e da raiz do erro quadrático médio.

O vício da previsão, segundo Justi da Silva (2003), é calculado por:

=

== NTOT

nn

NTOT

nn

p

X

PB

1

1 (8)

onde,

Pn é a precipitação prevista pelo modelo corrigida para o ponto da estação de observação,

Xn é a precipitação observada na estação e

NTOT é o número total de observações ou previsões acima de um limiar.

Enquanto que a raiz do erro quadrático médio é obtido por

NOBS

)XP(RMSE

NOBS

nnn∑

=

−= 1

2

(9)

onde,

Pn é a precipitação prevista pelo modelo corrigida para o ponto da estação de observação,

Xn é a precipitação observada na estação e

NOBS é o número total de observações que superou o limiar.

5 – MÉTODOS

A avaliação das previsões de precipitação na forma chover/não chover e a estimativa do erro

das previsões do sistema de alerta de enchentes da bacia do Rio Doce foi realizada implementando

as seguintes etapas.

5.1 Organização dos dados pluviométricos observados

Foram reunidos os dados diários de precipitação das 38 estações pluviométricas

apresentadas na Tabela 2 referente ao período de dez/2004 a mar/2005. A localização dessas

estações pode ser visualizada na Figura 8.

Tabela 2 – Estações pluviométricas utilizadas

Código Estação Município Código Estação Município01841001 Vila Matias Matias Lobato 01941011 Sto. Antônio do Manhuaçu Caratinga

01841011 Tumiritinga Tumiritinga 01941012 Alto Rio Novo Alto Rio Novo

01841020 Governador Valadares Governador Valadares 01941018 Itanhomi Itanhomi

01842004 São Pedro do Suaçuí São Pedro do Suaçuí 01942002 Bom Jesus do Galho Bom Jesus do Galho

01843011 Serro Serro 01942006 Vermelho Velho Raul Soares

01843012 Rio Vermelho Rio Vermelho 01942008 Dom Cavati Dom Cavati

01939002 Povoação Povoação 01942029 Mário de Carvalho Timóteo

01940005 Cavalinho Ibiraçu 01942032 Naque Velho Açucena

01940006 Colatina Colatina 01943001 Rio Piracicaba Rio Piracicaba

01940009 Pancas Pancas 01943003 Ferros Ferros

01940012 Itaimbé Itaguaçu 01943025 Morro do Pilar Morro do Pilar

01940013 Novo Brasil Colatina 02041023 Afonso Cláudio Afonso Cláudio

01940016 Barra de São Gabriel São Gabriel da Palha 02042010 Abre Campo Abre Campo

01940023 Rio Bananal Linhares 02042015 Seriquite Viçosa

01940025 Serraria (Alto do Moacir) Colatina 02042017 Matipó Matipó

01941000 Ipanema Ipanema 02042018 Ponte Nova Ponte Nova

01941004 Resplendor Resplendor 02043009 Acaiaca Acaiaca

01941006 Assaraí Pocrane 02043010 Piranga Piranga

01941009 Ibituba Baixo Guandu 02143003 Desterro de Melo Desterro de Melo

01943025

0194300301940025

01940012

01940009

01841001

01841011

01842004

01843011

01939002

01940016

01940023

01941000

01941006

01941018

0194200201942006

0194200801942029

0194300102041023

02042010

02042015

02043009

02143003

Figura 8 – Localização das estações pluviométricas

5.2 Organização das previsões do MM5

Os arquivos de dados com as previsões realizadas com o MM5 contem os valores das

precipitações nos nós da grade do modelo com discretização horária. Os nós da grade sobre a bacia

do rio Doce estão apresentados na Figura 9.

Figura 9 – Grade do MM5 sobre a bacia do rio Doce

Para a verificação das previsões foi necessário organizar as informações do MM5 de forma

que as previsões correspondessem as leituras dos pluviômetros, ou seja, totais de 24 horas entre

7:00 hs de um dia e 7:00 hs do dia anterior. Além disso, como a localização dos nós da grade não

coincide com o local de instalação da maioria dos pluviômetros tornou-se imprescindível a

estimativa das precipitações previstas sobre as estações pluviométricas. A interpolação do valor da

precipitação prevista pelo modelo em pontos de grade para os locais onde se têm observações foi

realizada através das equações sugeridas por Colle et al. (2000):

=

== 4

1

4

1

nn

nnn

W

PWP (10)

onde,

n é a identificação dos pontos de grade em torno da estação de observação;

nP são as precipitações do modelo nos quatro pontos de grade em torno da estação de observação;

nW são os pesos; obtidos pela equação:

22

22

n

nn DR

DRW+−

= (11)

onde,

R é a resolução do modelo (km)

Dn é a distância horizontal do ponto de grade ao local de observação (km).

Quando a distância horizontal, Dn, é maior que a resolução do modelo, R, o peso é igualado a zero.

5.3 Cálculo das medidas de precisão, de tendência e de habilidade da previsão de precipitação

na forma chover/não chover

Após a organização dos dados, ou seja, a montagem da tabela de contingência para cada

estação, a precisão do modelo foi avaliada com os índices: Percentual de acerto (H), Probabilidade

de detecção (POD), Razão de alarme falso (RAF) e o Índice Crítico de Sucesso (ICS). A medida de

tendência ou “vício” do sistema de previsão foi realizada com índice BIAS. E, para a medida de

habilidade ou destreza da previsão, utilizou-se o índice de Heidke (HSS). As equações que

permitem a estimativa desses índices estão descritas no item 4.1.

5.4 Estimativa da magnitude do erro das previsões

A magnitude do erro das previsões foi estimada através do cálculo do vicio (Bp) e do erro

quadrático médio (RMSE) como está apresentado no item 4.2. No cálculo do RMSE, o limiar de

precipitação adotado foi de 10 mm. Esses dois índices foram estimados para cada uma das 38

estações.

5.5 Avaliação espacial das previsões

Além da verificação pontual, também foi realizada uma análise do comportamento espacial

das previsões. A verificação espacial das previsões foi efetuada de três formas diferentes. A

primeira abordagem consistiu no mapeamento dos índices precisão, de tendência e de habilidade da

previsão, além da magnitude do erro das previsões calculados para as 38 estações pluviométricas

usadas nesse estudo.

O segundo enfoque foi a verificação da magnitude do erro das previsões, quando se considera

precipitações médias espaciais sobre determinadas áreas de drenagem. Inicialmente foram

estimadas as precipitações médias espaciais previstas e observadas dos 57 eventos disponíveis sobre

três áreas de drenagem. A precipitação média espacial observada foi calculada através da média

aritmética das alturas de chuva registradas nos pluviômetros das bacias analisadas. No caso das

precipitações previstas, a média espacial foi estimada pela média aritmética dos valores

interpolados de precipitação prevista pelo modelo MM5, para os locais onde se têm observações,

conforme está descrito no item 5.2. As bacias hidrográficas avaliadas, as áreas de drenagem das

estações fluviométricas que controlam essas bacias e as estações pluviométricas utilizadas para

calcular as precipitações médias espaciais estão na Tabela 3. Após as estimativas das precipitações

médias espaciais previstas e observadas sobre as bacias, foi calculado o vicio (Bp) e o erro

quadrático médio (RMSE) como está apresentado no item 4.2. No cálculo do RMSE, o limiar de

precipitação adotado foi de 10 mm.

Tabela 3 – Estações pluviométicas utilizadas no cálculo da precipitação espacialBacia Código Estação A D. (km²) Estações Pluviométricas utilizadas

Rio Piranga 56110005 Ponte Nova 6.138 02042015; 02042018; 0243010;02143003

Rio Santo Antônio 56825000 Naque Velho 10.170 01843011; 01942032; 01943003;01943025

Rio Doce - - 83.400 Todas as 38 estações

E, finalmente, elaborou-se os gráficos de precipitações previstas versus observadas, superiores

a 10 mm, para as três áreas de drenagem mencionadas na Tabela 3.

6 – RESULTADOS

A verificação das previsões de precipitações do modelo MM5 foi realizada com a análise de

57 eventos de precipitações diárias, previstas e observadas, que ocorreram de dez/2004 a mar/2005.

As estações pluviométricas utilizadas estão na Tabela 2 e as etapas metodológicas empregadas para

efetuar a verificação das previsões estão descritas no item 5.

6.1 Medidas de precisão, de tendência e de habilidade da previsão de precipitação na forma

chover/não chover

A avaliação das previsões de precipitação na forma chover/não chover foi concretizada

através de vários índices, mencionados no item 5.3, que representam as medidas de precisão, de

tendência ou vício e de habilidade ou destreza da previsão. Os valores dos índices calculados para

as 38 estações pluviométricas estão apresentados em mapas, nas Figuras de 10 a 15.

70

74

77

70

7577

79 79

72

7574

7282

81

65 74

7772

8279

8477

7984

79 748191

72 72 68

6374727075

7068

Figura 10 – Percentual de acerto (H)

0,840,71 0,78

0,68

0,83

0,740,67

0,780,68

0,95

0,70 0,65

0,83

0,86

0,89

0,900,930,96

0,900,96 0,70

0,55

0,790,77

0,880,81

0,95

0,920,83

0,93

0,93

0,75

0,68

0,750,84

0,85

0,84

Figura 11 – Probabilidade de detecção (POD)

0,33

0,19

0,30 0,29

0,52

0,320,23

0,32

0,42

0,420,36

0,31

0,370,380,29

0,270,39

0,30

0,520,390,420,320,410,04

0,490,33

0,280,330,410,33

0,380,37

0,35

0,25

0,25

0,44

0,25

0,28125

Figura 12 – Razão de alarme falso (RAF)

0,7 0,6

0,6

0,7

0,5

0,5

0,6

0,70,7

0,50,5

0,70,8

0,6

0,7

0,60,5

0,60,6

0,5 0,6 0,5

0,60,5

0,40,60,6

0,3

0,50,6 0,7

0,6

0,6

0,7

0,6

0,5

0,6

Figura 13– Índice crítico de sucesso (ICS)

Valores>1-resultados superestimadosValores<1-resultados subestimados

1,11,0

1,5

1,4 1,4

1,4

1,9

1,2

1,21,2

1,01,2

1,60,9

1,3 1,4

1,2

1,3

1,2 1,4

1,21,31,0

1,4 1,11,1

1,01,4

1,21,31,3

1,3

0,81,1

1,4

1,3

1,121,2

Figura 14– Índice BIAS

HSS>0 -resultados do modelo melhor que uma abordagem aleatória

3634

22

20

30

31

36

3528

2227

3320

28

203035 2872

26

2526

40

32

34

4029

14

2624

25

28

2923

48

31

38

20

Figura 15– Índice de Heidke(HSS)

Tabela 4 – Resumo das medidas de precisão, de tendência e de habilidade

ÍndicesH POD RAF ICS BIAS HSS

Mínimo 63,16 0,55 0,05 0,34 0,84 21,82Média 75,30 0,81 0,34 0,57 1,24 49,45

Máximo 91,23 0,96 0,52 0,81 1,86 81,95

0,00 a 0,600,60 a 0,800,80 a 1,00

0,00 a 0,600,60 a 0,800,80 a 1,00

20 a 5050 a 8080 a 100

60 a 7070 a 9090 a 100

0,00 a 0,200,20 a 0,400,40 a 0,60

0,00 a 1,001,00 a 1,501,50 a 2,00

6.2 Magnitude do erro das previsões

As estimativas da magnitude do erro das previsões das 38 estações foi realizada de acordo

com item 5.4. Os valores calculados do vicio (Bp) e da raiz do erro quadrático médio (RMSE),

também estão apresentados em forma de mapas nas Figuras 16 e 17. Os valores mínimos, máximos

e médios do vicio (Bp) e do erro quadrático médio (RMSE) das estações analisadas constam da

Tabela 5.

Valores>1-resultados superestimadosValores<1-resultados subestimados

0,85

0,71

0,80

0,91

0,60

0,781,11

0,61 0,59

0,97

0,991,34

0,970,96

0,730,61

1,300,550,68

0,58

0,52

0,84

0,730,47

0,83

0,670,65

1,01

0,971,30

1,09

1,19

0,610,81

0,94

0,590,80

1,63

Figura 16– Vício da previsão (BP))

3634

22

20

30

31

36

3528

2227

3320

28

203035 2872

26

2526

40

32

34

4029

14

2624

25

28

2923

48

31

38

20

Figura 17– Raiz do erro quadrático médio (RMSE)

Tabela 5 – Resumo da estimativa da magnitude do erro das previsões

Vicio(Bp) RMSEMínimo 0,47 14,3Média 0,85 30,2

Máximo 1,63 71,7

6.3 Avaliação da precipitação espacial

A verificação espacial das previsões foi efetuada conforme está descrito no item 5.5. A

avaliação da magnitude do erro das previsões para as precipitações médias espaciais sobre as bacias

dos rios Piranga, Santo Antônio e Doce, foi realizado a partir da estimativa do vicio (Bp) e do erro

quadrático médio (RMSE), calculados pelas equações 8 e 9. Os resultados do vicio (Bp) e do erro

quadrático médio (RMSE) das três bacias estão na Figura 18.

BP=0,55RMSE=18

BP=0,84RMSE=14

BP=0,66RMSE=10

Figura 18 - Vicio (Bp) e do Erro Quadrático Médio (RMSE) das três bacias

0,40 a 1,001,00 a 1,301,30 a 1,70

14 a 3535 a 5555 a 75

Bacia do rio DoceBacia do rio PirangaBacia do rio Sto Antonio

Os gráficos de precipitações previstas versus observadas, superiores a 10 mm, para as três

bacias estão nas Figuras 19,20 e 21.

Precipitação Espacial Média Diária Bacia do Rio Piranga em Ponte Nova (6138 km²)

0

10

20

30

40

50

60

70

0 10 20 30 40 50 60 70

Precipitação Prevista (mm)

Pre

cipi

taçã

o O

bser

vada

(mm

)

Figura 19 - Bacia do Rio Piranga. Precipitação Prevista versus Observada

Precipitação Espacial Média Diária Bacia do Rio Santo Antônio em Naque Velho (10170 km²)

0

10

20

30

40

50

60

70

0 10 20 30 40 50 60 70

Precipitação Prevista (mm)

Pre

cipi

taçã

o O

bser

vada

(mm

)

Figura 20 - Bacia do Rio Santo Antônio. Precipitação Prevista versus Observada

Precipitação Espacial Média DiáriaBacia do Doce (83400 km²)

0

5

10

15

20

25

30

35

40

45

0 5 10 15 20 25 30 35 40 45Precipitação Prevista (mm)

Pre

cipi

taçã

o O

bser

vada

(mm

)

Figura 21 - Bacia do Rio Doce. Precipitação Prevista versus Observada

7 – CONCLUSÕES

As medidas de precisão empregadas na verificação das previsões de precipitações diárias do

modelo MM5, na forma chover/não chover, considerando 38 estações pluviométricas e 57 eventos

diários de precipitações previstas e observadas, permitem as seguintes afirmações:

• O percentual de acerto das previsões, H, variou de 63% a 91%, com um valor médio de 75%.

• A probabilidade de ocorrência de um evento supostamente previsto foi superior a 55% e o valor

médio foi de 81%, estimativa considerada razoável, tendo em vista ser a precipitação o parâmetro

de maior dificuldade de ser previsto, e da natureza predominante convectiva da precipitação na

região em questão.

• A proporção média de eventos previstos que não foram observados foi de 34%, compatível com o

percentual de médio de acerto.

• O índice crítico de sucesso apresentou um valor médio de 57%.

A medida de tendência indicou que houve uma superestimativa do número de previsões de

ocorrência de precipitações.

Observa-se que na parte sul da bacia do rio Doce, englobada pela bacia do Rio Piranga e pelo

alto Piracicaba, foi o local onde ocorreu a maior superestimativa do número de previsões de chuva,

justamente nas encostas a sotavento da Serra do Espinhaço, que funcionam como anteparo ao

escoamento de nordeste do Anticiclone Subtropical do Atlântico Sul.

A medida de destreza mostrou que as previsões realizadas com o MM5 gerou melhores

resultados do que a utilização um esquema aleatório para previsão. Assim, foi melhor ter

empregado o MM5 para fazer as previsões de chover/não chover do que jogar uma moeda para

prever se ocorrerá ou não uma precipitação.

Em relação à magnitude do erro das previsões, analisada nos pontos onde há observações

sistemáticas, verificou-se que o valor médio do RMSE foi de 30,2 mm. Além disso, observou-se

através do cálculo do vício, Bp, que o MM5 subestimou, em termos médios, as alturas de chuva

diárias previstas. Todavia, na região sudoeste, na divisa com a bacia do rio São Francisco,

constatou-se uma superestimativa das previsões, como pode ser visto na Figura 16.

A análise das previsões, considerando as precipitações espaciais, apesar da densidade de

estações pluviométricas não ser a mais adequada, indicou que a raiz do erro quadrático médio

variou de 10 a 18 mm, para áreas de drenagem de 6.138 km² a 83.400 km². O valor do vício, Bp, e

os gráficos de precipitação prevista versus observada, mostram a subestimativa das precipitações

espaciais.

Portanto, na operação do Sistema de Alerta de Enchentes da bacia do rio Doce, de dez/2004 a

mar/2005, o modelo MM5 foi eficiente na previsão de ocorrência ou não de chuvas diárias, mas

com uma tendência de subestimar, em grande parte da bacia, as alturas de precipitação previstas.

As análises realizadas nesse trabalho são os primeiros passos para novos estudos de

verificação que considerarão horizontes maiores de previsão, bem como a avaliação do desempenho

de outros modelos. Além disso, as conclusões desse artigo permitirão uma melhor adequação do

modelo MM5 para o próximo período chuvoso. Entre as adequações do modelo que poderiam trazer

uma maior acuidade as previsões, sugere-se: a ampliação da área de domínio, ajustes no algoritmo

de assimilação de dados quadridimensional, conferindo maior peso aos dados assimilados,

verificação da pertinência de uso conjunto da parametrização de Cumulus e da microfísica. E por

fim, o que é válido para todos modelos de mesoescala, a incorporação de dados regionais na análise

de inicialização.

AGRADECIMENTOS

À professora Maria Gertrudes Alvarez Justi da Silva, da UFRJ, pelos ensinamentos sobre

verificação das previsões.

BIBLIOGRAFIA

COLLE, B. A.; C. F. MASS e K. J. WESTRICK (2000): “MM5 precipitation verification over thePacific Northwest during the 1997-99 cool seasons”. Weather and Forecasting. V.15, p.730-744,2000.

CPRM (2004). Sistema de Alerta contra Enchentes da Bacia do Rio Doce – Relatório Técnico deOperação do Sistema de Alerta no Período de Dezembro de 2003 a Março de 2004. BeloHorizonte, 2004.

DUDHIA, J. e colaboradores (1999). PSU/NCAR Mesoscale Modeling System – Tutorial ClassNotes: MM5 System Version 2. NCAR, junho, 1999.

HAAGENSON, P. L., DUDHIA, J., STAUFFER, D. R.; GRELL, G. A. (1994) The PennState/NCAR Mesoscale Model (MM5) Source Code Documentation. NCAR Technical Note 392 +STR, março, 1994.

JUSTI DA SILVA, M. G. A., BARBOSA, M. C. D. e XAVIER, M. C. A. (2000) “Sistema Alerta-Rio: Verificação Objetiva das Previsões de Precipitação e Temperatura” in XI CongressoBrasileiro de Meteorologia, Rio de Janeiro - RJ, 2000.

JUSTI DA SILVA, M. G. A.; SANTOS, I., A.; GARRANA D. (2001) Operacionalização deprevisões meteorológicas locais no Estado do Rio de Janeiro. Boletim da SBMET, julho, 2001.

JUSTI DA SILVA, M. G. A. (2003). “Verificação das previsões – Aula III” in Curso de PrevisãoMeteorológica de Mesoescala – Uso do Modelo MM5.Belo Horizonte, MG, setembro,2003 (notasde aula)

OLIVEIRA, J. L., JUSTI DA SILVA, M. G. A (2000).“Verificação das previsões de precipitaçãodivulgadas pelos jornais para a cidade do Rio de Janeiro” in Anais do XI Congresso Brasileiro deMeteorologia, Rio de Janeiro, RJ, outubro, 2000.

WILKS, D. S. (1995). Statistical methods in the atmospheric sciences. Academic Press, 467 p.