711

AR

TIG

O A

RT

ICL

E

Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro

A methodology for assessing the performance of the Brazilian health system

1 DepartamentoInformações em Saúde,Centro de InformaçãoCientífica e Tecnológica,Fiocruz.Av. Brasil 4365,Manguinhos, 21045-900,Rio de Janeiro RJ.viacava@cict.fiocruz.br 2 Departamento de Administração ePlanejamento em Saúde,ENSP/Fiocruz.3 Instituto de MedicinaSocial (UERJ).4 Instituto FernandesFigueira (Fiocruz).5 New York University,e Departamento de Administração ePlanejamento em Saúde(ENSP/Fiocruz).6 Departamento de Medicina Preventiva(FM/USP).7 Instituto de SaúdeColetiva da UFBA.

Francisco Viacava 1, Célia Almeida 2

Rosângela Caetano 3, Márcia Fausto 4

James Macinko 5, Mônica Martins 2

José Carvalho de Noronha 1

Heligonda Maria Dutilh Novaes 6

Eliane dos Santos Oliveira 2

Silvia Marta Porto 2, Ligia M Vieira da Silva 7

Célia Landmann Szwarcwald 1

Abstract This paper is the result of a Brazilianmultidisciplinary public health working groupand consists of a methodology developed to: a)identify the factors that influence the efficiency,effectiveness, and equity of the Brazilian publichealth system and understand how these factorsfunction; b) improve the formulation of healthpolicies; and c) monitor inequalities in access toand quality of health services among differentpopulation groups in Brazil. The methodology de-veloped here is based on Australian and Canadi-an and PAHO proposals that use a “dashboard”approach, allowing one to examine and evaluatesimultaneously multiple dimensions of health sys-tem performance. This article describes the expe-rience of adapting and developing the methodol-ogy and provides suggestions on how such a sys-tem might be employed to improve health policy-making in Brazil.Key words Health system performance, Healthindicators, Health services

Resumo Este artigo é uma síntese de alguns dosprincipais resultados das discussões realizadas aolongo de 18 meses entre pesquisadores de diversasinstituições, afiliadas à Abrasco, e procura contri-buir para a formulação de uma metodologia quepermita: a) compreender quais são e como se in-ter-relacionam os fatores que influenciam a efici-ência, a efetividade e a eqüidade no desempenhodo SUS; b) melhorar a formulação de políticas ec) monitorar as desigualdades no acesso e na qua-lidade dos serviços recebidos pelos diferentes gru-pos sociais no Brasil. A metodologia desenvolvidanutre-se de elementos utilizados nas propostas deavaliação de desempenho dos sistemas de saúdecanadense, australiano, inglês e a da OPS e tem oformato de um painel de controle (dashboard),onde podem ser visualizadas simultaneamentediferentes dimensões da avaliação. O artigo des-creve a experiência na adaptação e desenvolvi-mento da metodologia e fornece sugestões no sen-tido de aplicá-la para melhorar a formulação dapolítica de saúde no Brasil.Palavras-chave Avaliação do desempenho desistemas de saúde, Indicadores de saúde, serviçosde saúde

Via

cava

,F.e

t al

.712712712712712712712712

Introdução

A partir dos anos 80 gestores dos sistemas deserviços de saúde de todo o mundo depararam-se com o desafio de reformar a organização e ofuncionamento dos respectivos sistemas de sa-úde, tendo em vista a necessidade de imprimirmaior transparência ao gasto público vis-à-visa redução dos recursos disponíveis para o se-tor, assim como para a política social em geral,o aumento incontrolável das despesas comatenção médica hospitalar e as mudanças noperfil demográfico e epidemiológico das popu-lações. Além disso, a busca de alternativas quepossibilitassem o alcance de maior eqüidade eproporcionassem serviços de melhor qualidadetornou-se peremptória diante do aumento dasdesigualdades e da piora das condições de vidae saúde das populações. Ainda que os motivosque levaram à reforma setorial tenham sido di-ferentes nos diversos países, sobretudo no Nor-te e no Sul, a onda de reforma setorial se espa-lhou por todas as regiões do planeta, orientadapor uma agenda bastante homogênea.

De uma maneira geral, as propostas de re-forma setorial são sintonizadas com o amplomovimento mundial de reforma do Estado,questionando-se fortemente a forma como atéentão os sistemas de serviços de saúde vinhamsendo organizados e desempenhavam suas fun-ções (Almeida, 1995). A questão do papel doEstado ganhou destaque nesse debate, sendoque a universalização do acesso aos serviços desaúde como direito de cidadania e a dominân-cia dos fundos públicos no financiamento dossistemas de saúde têm sido objeto de críticas,buscando-se alternativas supostamente maiseficientes e efetivas, pregando-se a retirada doEstado da provisão direta de serviços e o refor-ço de sua função reguladora. O elenco de críti-cas é extenso, mas, muito sinteticamente, argu-menta-se que, apesar dos altos montantes derecursos financeiros investidos, muitos Estadosnão conseguiram proporcionar a implementa-ção de políticas de saúde universais, eqüitativase de boa qualidade.

Em termos bastante sucintos, pode-se dizerque as questões centrais que têm orientado es-sas perspectivas reformistas são: a) contençãodos custos da assistência médica; b) reestrutu-ração do mix público/privado, a partir da des-centralização de atividades e responsabilidades(operacionais e de financiamento), tanto paraos níveis sub-nacionais de governo quanto pa-ra o setor privado; e c) aumento da participa-

ção financeira do usuário no custeio dos servi-ços que utiliza (sejam públicos ou privados).Num primeiro momento, a face conservadoradessa agenda de reforma restringiu-se à ques-tão da assistência médica individual, objetivan-do primordialmente a restrição do gasto nessesub-setor. No plano ideológico, o impulsoprincipal pretendia: a) despolitizar a arena se-torial, passando a considerá-la como eminen-temente técnica; b) privilegiar a atuação dosgerentes, deslocando o poder dos profissionais(principalmente o médico); c) resgatar umamontagem empresarial nos arranjos institucio-nais que, acreditava-se, seria mais eficiente.

A redução do desequilíbrio fiscal e a cria-ção de condições macroeconômicas mais sus-tentáveis estiveram subjacentes a esses proces-sos de reforma. A crítica centrava-se no lado daoferta de serviços (supply side), enfatizando aimportância de direcionar os sistemas de saúdepara atender “a demanda do consumidor”. Ad-vogava-se que as estruturas burocráticas hie-rárquicas tradicionais, com a rigidez inerentedos procedimentos normativos, eram danosasaos interesses públicos, ineficientes e inefica-zes. pressupunha-se que, como qualquer mo-nopólio, as agências estatais seriam inerente-mente ineficientes, tendendo a crescer indefi-nidamente, e o resultado seria sempre um maudesempenho. A mudança central do foco deatenção foi das atividades ou “produtos” dasagências governamentais (output) para os re-sultados dessas atividades (outcomes) (Kettl,1996 apud Almeida, 1999). E como os serviçosdeveriam estar voltados para o consumidor, ossistemas deveriam ser re-orientados nessa pers-pectiva. A avaliação de desempenho passou aser um instrumento importante dessa reestru-turação.

Ao longo dos últimos trinta anos o debatecentrou-se principalmente sobre a questão dese restringir a performance dos sistemas de sa-úde a análises de custo efetividade baseadas emresultados ou considerá-lo em sentido maisamplo já que ele é afetado por fatores econô-micos, educacionais e pelas desigualdades soci-ais (Naylor, 2002).

Para além do debate ideológico e da agendaconservadora, a avaliação de desempenho dossistemas de saúde é desejável e promissora, po-dendo constituir-se num poderoso instrumen-to de monitoramento das políticas de reforma.Entretanto, a questão fundamental a ser en-frentada é como medir desempenho em termosde qualidade, eficiência e eqüidade e montar

Ciên

cia & Saú

de C

oletiva,9(3):711-724,2004

713

sistemas de gerenciamento de desempenho naperspectiva de impulsionar mudanças de com-portamentos que possibilitem conseguir me-lhores resultados (Hurst, 2002).

Este artigo pretende contribuir com essedebate. Na primeira parte, discutem-se aspec-tos conceituais da avaliação de desempenho desistemas de saúde; na segunda, apresenta osquadros de referência e marcos conceituais ela-borados por algumas organizações internacio-nais diretamente envolvidas nessa discussão(Organização Mundial da Saúde-OMS, Orga-nização para a Cooperação e DesenvolvimentoEconômico-OCDE e Organização Pan-Ameri-cana de Saúde-OPS); a seguir, resumem-se al-guns dos principais elementos presentes naspropostas de avaliação de desempenho elabo-radas por alguns países; e, finalmente, apresen-ta-se uma metodologia de avaliação de desem-penho para o sistema de saúde brasileiro, base-ada na experiência passada e atual de diferen-tes países.

Sistemas de saúde e sistemas de serviçosde saúde: aspectos conceituais

De uma maneira geral, pode-se dizer que nãohá concordância entre os autores sobre umadefinição de sistema de saúde, mas isso não im-pede que tenham sido propostas categorizaçõese classificações que, ou trazem embutida umaperspectiva evolucionista e unidirecional, alémde não permitirem uma análise mais dinâmicados sistemas de saúde (SSs), ou são parciais ebaseadas em sistemas de saúde particulares e,portanto, não podem ser generalizadas.

Por outro lado, as definições, conceitos ecategorias analíticas usadas para definir ouanalisar os SSs variam segundo valores, princí-pios e concepções sobre o que é saúde e qual opapel do Estado (responsabilidade) em relaçãoà saúde das populações que vivem em seu ter-ritório. Nessa perspectiva, podem mudar notempo e no espaço, refletindo mudanças nasconcepções dominantes. A maneira como osproblemas de saúde das populações são estru-turados determinará os tipos de evidência queserão consideradas relevantes e o que será des-cartado. As implicações políticas surgem dessasevidências e não do quadro de referência per se.E os modelos implícitos ou explícitos de análi-se definem e incluem (ou excluem) categoriasque são relevantes para determinado referenci-al e não para outros.

É preciso diferenciar os SSs dos sistemas deserviços de saúde, uma vez que os primeirossão mais abrangentes e se referem à saúde emsentido amplo, isto é, à manifestação objetivadas condições de vida de uma população deter-minada, o que é resultante da ação intersetorialde diferentes sistemas, mais ou menos comple-xos. Quanto aos sistemas de serviços de saúde,integram os SSs, mas sua ação se efetua nas ins-tituições prestadoras de serviços, eminente-mente internas ao setor, embora sejam influen-ciadas de forma importante por elementos ex-ternos a ele, tais como as instituições geradorasde recursos, conhecimentos e tecnologias; asempresas de equipamentos biomédicos; e a in-dústria de insumos e medicamentos.

Conhecimento e tecnologia são facilmenteexportados, mas os demais inputs dos sistemassanitários são fortemente condicionados pelastradições históricas nacionais. As regras legaisdiferem na forma como ancoram as responsa-bilidades do Estado com a saúde da população,seja outorgando benefícios universais ou espe-cíficos para determinados grupos.

Uma definição considerada quase clássicafoi formulada por Roemer (1991): um SS éuma combinação de recursos, organização, fi-nanciamento e gerenciamento que culmina naprestação de serviços de saúde para a popula-ção. Entretanto, essas cinco grandes categoriasque integram a definição não possibilitam acompreensão do funcionamento dos SSs nemdos seus resultados, pois não são explicitadasas relações entre elas.

Field define os sistemas de saúde como ummecanismo societal, que transforma recursosgeneralizados (ou inputs) em resultados espe-cializados, na forma de serviços de saúde dire-cionados para resolver os problemas de saúdeda sociedade, sendo provido de um mandatoque usualmente concede ao sistema o “quase-monopólio” na performance dos serviços de sa-úde, alinhado com a legislação e a regulação dosistema político. Outros inputs incluem o co-nhecimento científico e a tecnologia, que espe-cialmente na medicina do século 20 foram ex-tremamente poderosos. Médicos e outros pro-fissionais de saúde são especialmente treinadose empregados no sistema e configuram compo-nentes cruciais. Finalmente, recursos econômi-cos são necessários para financiar essa estrutu-ra (Field, 1973 apud Heideheimer, 1975).

A OMS, por sua vez, define os sistemas deserviços de saúde como o conjunto de ativida-des cujo principal propósito é promover, restau-

Via

cava

,F.e

t al

.714714714714

rar e manter a saúde de uma população (WHO,2000). Nesse sentido, como reitera Mendes(2002), são respostas sociais organizadas delibe-radamente para responder às necessidades, de-mandas e representações das populações, em de-terminada sociedade e determinado tempo.

A estruturação dos SSs é bastante complexae compõe-se de distintos elementos, variáveissegundo as características de cada país, que seinter-relacionam para dar alguma resposta aosproblemas de saúde de determinada população.Entretanto, essas relações não são harmônicas,mas sim dialéticas, fazendo com que os sistemasde serviços de saúde funcionem de forma con-flitiva e segundo trajetórias bastante próprias,apesar dos problemas comuns a serem enfren-tados por todos os SSs. Em geral buscam a con-secução de um conjunto de objetivos comparti-lhados, o que lhes imprime uma direcionalida-de intencionada (Mendes, 2001; 2002).

Embora toda sociedade teoricamente com-parta as crenças de que a saúde tem um valor in-trínseco para as pessoas e os serviços de saúde sãonecessários para manter a vida e para aliviar osofrimento (Mendes, 2001), os objetivos dos sis-temas de saúde variam de um país para outro,assim como as concepções dos respectivos siste-mas de serviços de saúde, ainda que se explici-tem valores subjacentes bastante semelhantes,tais como o alcance da eqüidade (ou superaçãodas desigualdades) e o bem-estar de toda a po-pulação. Na realidade, muitas vezes, apesar daexplicitação desses valores, a estruturação e ofuncionamento dos sistemas de serviços de saú-de estão longe de cumprirem com os requisitosmínimos para alcançá-los. Além disso, aindaque os objetivos e valores se mantenham, aspropostas de reforma e de mudanças nem sem-pre possibilitam transformações positivas.

Existem, portanto, diferentes formulaçõesdos objetivos e funções dos sistemas de serviçosde saúde, segundo determinados momentoshistóricos e propostas de reforma, como tam-bém segundo o enfoque analítico privilegiado.

No caso brasileiro, embora o SUS tenhaseus princípios definidos por lei, o SUS é aindapalco de disputa entre modelos assistenciais di-versos. As tentativas de articular ação de pro-moção, prevenção, recuperação e reabilitação,na dupla dimensão individual e coletiva, têmsido experimentadas no espaço micro dos mu-nicípios, acumulando experiências que apon-tam para a possibilidade de construção de ummodelo de atenção à saúde voltado para a quali-dade de vida (Marinho de Souza & Kalichman,

1994), tal como proposto na 10a ConferênciaNacional de Saúde (CNS), em 1996 (Teixeira etal., 1998), e reforçado nas 11a e 12a CNSs, reali-zadas respectivamente em 2000 e 2003.

De uma maneira geral, melhorar a saúde dapopulação é o objetivo central e máximo dosSSs. Entretanto, o alcance dessa meta é um pro-cesso complexo, que envolve objetivos interme-diários e ações intersetoriais. E a prestação deserviços, individuais e coletivos, assim como asações intersetoriais são apenas um dos modosde melhorar a saúde da população. Fatores vin-culados à situação socioeconômica, ambientais,biológicos e genéticos e os comportamentos co-letivo e individual têm influência poderosa so-bre a saúde. Sendo assim, é necessário o refina-mento do conhecimento de como esses fatoresinteragem, como influenciam a saúde dos indi-víduos e das populações, e de como contribuempara o alcance da meta central dos SSs.

Avaliação de desempenho dos sistemas de saúde: marcos conceituais propostos pelos organismos internacionais

Embora a literatura se refira à avaliação de de-sempenho dos sistemas de saúde, o foco de in-teresse central tem sido os serviços de saúde,com especial ênfase, em muitos casos, nos ser-viços de assistência médica. Isso se deve a di-versos fatores, mas destacam-se entre eles osrelacionados à busca de maior eficiência, ou se-ja, conseguir que os sistemas de serviços de sa-úde desempenhem suas funções da melhor for-ma possível diante dos constrangimentos fi-nanceiros que se generalizaram em todos ospaíses nas últimas décadas.

Ainda que haja discordância conceitual, de-sempenho, em geral, se refere ao grau de alcan-ce dos objetivos dos sistemas de saúde (Hurst& Hughes, 2001). A construção metodológicada avaliação de desempenho dependerá, por-tanto, da clareza sobre os princípios, objetivose metas dos sistemas de saúde que se quer ava-liar, que por sua vez, vão embasar a escolha dasdimensões que serão objeto da avaliação de de-sempenho.

A avaliação de desempenho dos serviços desaúde foi o objeto central do World Health Re-port 2000- WHR 2000 (WHO, 2000) que, ape-sar de muito criticado, teve o mérito de colocaressa questão no centro do debate contemporâ-neo sobre as reformas setoriais. O quadro de

Ciên

cia & Saú

de C

oletiva,9(3):711-724,2004

715

referência utilizado pela OMS para avaliaçãodos sistemas de saúde no WHR 2000 tem as se-guintes características: a) adota uma definiçãode sistema de saúde ampla e imprecisa, comobjetivos pouco claros; b) considera parte dosistema de saúde todos os recursos, organiza-ções e atores que realizam ou apóiam ações sa-nitárias (de proteção, fomento ou melhora dasaúde), mas não inclui a educação; c) definetrês metas a serem atingidas pelos sistemas desaúde (melhora do estado de saúde; “responsi-vidade” – denominada responsiveness – isto é,um sistema que responda às aspirações legíti-mas do público; e justiça na contribuição fi-nanceira). As duas primeiras metas são medi-das através de sua média e distribuição, en-quanto que o terceiro apenas pela distribuição;d) identifica quatro funções dos SSs, decisivaspara o alcance dessas metas – financiamento(incluindo contribuições específicas, fundossetoriais e compra direta de serviços); presta-ção de serviços de saúde (individuais e coleti-vos); geração de recursos; e condução do siste-ma – supervisão e orientação de todo o sistemapúblico e privado (denominada stewardship).A inter-relação entre essas “metas” e “compo-nentes” seriam a medida de desempenho.

Esse quadro de referência considera a defi-nição dos recursos financeiros setoriais comoexterna ao setor; a “responsividade” está referi-da apenas à assistência médica, sendo que aces-so é considerado um determinante e não com-ponente da responsividade; e a eficiência é de-finida como o grau com que o sistema de saú-de realiza a contribuição máxima possível àsmetas sociais em função dos recursos disponí-veis, interna e externamente ao setor.

As críticas mais contundentes a esse mode-lo de avaliação de desempenho foram inúme-ras e de diferentes naturezas. Há uma série dequestionamentos que se referem ao modelo te-órico (Williams, 2001; Navarro, 2000; Brave-man et al. 2001) e outro conjunto de proble-mas que se refere aos aspectos metodológicosda mensuração propriamente dita das dimen-sões da avaliação do desempenho adotada (Al-meida et al. 2001).

No primeiro caso, apontam-se como aspec-tos críticos: a) o fato da OMS ter assumido de-terminado posicionamento político e ideológi-co e induzido um determinado modelo de re-forma; b) o índice de medida elaborado (Ove-rall Health System Performance Indicator), aoser composto por diversas dimensões, não per-mite identificar os problemas prioritários dos

SSs; c) não há evidências científicas que de-monstrem que mudanças no estado de saúde,tanto em termos da sua média quanto da dis-tribuição entre os indivíduos da sociedade, re-flitam predominantemente a forma como ossistemas de saúde operam, mas exprimiriam,na realidade, as condições sociais e econômicasvigentes nas diferentes sociedades; d) ao incor-porar a noção de “novo universalismo”, o cida-dão passa a ser considerado um cliente/consu-midor abstrato e descontextualizado, o que nãopermite avançar na identificação das desigual-dades sociais em saúde.

Entre os problemas relacionados com a me-todologia utilizada incluem-se: a) a grande in-suficiência de dados nos países levou à adoçãode métodos econométricos, pouco transparen-tes e de difícil compreensão pelos gestores, paraestimar os dados da maioria dos países; b) ametodologia para obtenção dos pesos necessá-rios para a construção do índice composto tam-bém não foi esclarecida; c) as desigualdadesmedidas considerando o afastamento de cadaindivíduo em relação à média impedem a dis-tinção de grupos populacionais, além de colo-car os países que têm poucas variações em tor-no de médias baixas em uma situação melhordo que países que tem maiores desigualdades,mas médias mais altas; d) as medidas da justiçana contribuição financeira partem do supostoque todos os indivíduos devem comprometer omesmo percentual da receita familiar em gastoscom saúde, o que não pode ser considerado umaoperacionalização adequada da idéia de eqüida-de no financiamento de serviços de saúde.

A proposta de avaliação de desempenho daOCDE (Hurst & Hughes, 2001), por sua vez,ainda que não se oponha explicitamente aoquadro de referência elaborado pela OMS,apresenta algumas alterações que, de fato, omodificam substancialmente, além de que cri-tica o conceito de eficiência utilizado. Pensadocomplementarmente ao da OMS, caracteriza-se por: a) incluir indicadores de resultados dosserviços de saúde (outcomes) como parte daavaliação de desempenho (eficiência microeco-nômica); b) incluir acesso como componenteda responsividade, possibilitando avaliação daeqüidade; c) incluir o nível de gasto sanitáriocomo meta dos sistemas de saúde (eficiênciamacroeconômica); d) excluir qualquer ponde-ração para avaliação de metas; e) referir a ava-liação de desempenho a várias e distintas di-mensões dos sistemas de saúde; e f) considerara avaliação de desempenho restrita à assistên-

Via

cava

,F.e

t al

.716716716

cia médica como oposta às atividades de saúdepública ou quaisquer outras mais amplas.

Por fim, a OPS defende que como as defini-ções e os objetivos dos sistemas de saúde vari-am entre países, a avaliação de desempenho nãodeve ser um fim em si mesma e nem ser enca-minhada como um exercício puramente acadê-mico, mas deve voltar-se para orientar o desen-volvimento de políticas, estratégias e programasde saúde, além de estar centrada na avaliaçãoquantitativa e qualitativa do grau de realizaçãodos seus objetivos. A avaliação de desempenhoimplicaria, portanto, considerar as diferentesfunções do sistema – geração de recursos; fi-nanciamento, prestação de serviços e condução(sterwarship); além de incorporar, desde o iní-cio, os vários níveis de análise (nacional, inter-mediário e local) e os diferentes atores envolvi-dos. E a eficiência deveria ser considerada ape-nas uma dentre outras dimensões do desempe-nho, tais como, eqüidade, efetividade, aceitabi-lidade, satisfação etc. Os métodos e indicadoresde avaliação devem ser estabelecidos por con-senso e requerem a medição de distintas di-mensões: do desempenho geral do sistema (in-dicadores finais ou macro) e dos diferentescomponentes do sistema (indicadores interme-diários, instrumentais ou micro) (OPS, 2001).

Uma recomendação importante feita pelaOPS é sobre a necessidade de os marcos teóri-cos incluírem a eqüidade na avaliação do de-sempenho dos SSs, numa perspectiva “trans-versal” às demais dimensões, o que, aliás, jávem sendo proposto por alguns países, tais co-mo Canadá e Austrália.

Na revisão da literatura feita nesta pesquisaforam considerados os conceitos de eqüidadeformulados por Whitehead (1992), que consi-dera como iniqüidade as diferenças evitáveis einjustas, e pela International Society for Equityin Health (ISEqH), segundo a qual a eqüidadecorresponderia à ausência de diferenças siste-máticas potencialmente solucionáveis em sub-grupos populacionais definidos social, econô-mica, demográfica ou geograficamente (Ma-cinko & Starfield, 2002). Para fins de uma pro-posta de avaliação do desempenho de sistemasde serviços de saúde pode-se recorrer a algunsconsensos que permitem a operacionalizaçãodo conceito de eqüidade. Esses consensos se re-ferem a:1. considerar diferenças em saúde como aque-

las decorrentes de processos biológicos oude situações que independem do livre arbí-trio dos sujeitos;

2. considerar iniqüidades em saúde como as-sociadas às políticas de saúde ou sociais quedeterminam o surgimento de desigualda-des na morbi-mortalidade e no acesso aosserviços de saúde; e

3. considerar desigualdades em saúde como aexpressão empírica das iniqüidades.

Alguns comentários sobre experiênciasinternacionais de avaliação de desempenho de sistemas de saúde

Vários países membros da OCDE estão desen-volvendo quadros de referência e indicadores deavaliação de desempenho dos sistemas de saúde(Cozzens, 1995; Hurst & Hughes, 2001; AIHW,2000; NHPC, 2002; CIHI, 2001; Hurst, 2002; Or,2002; Smee, 2002; Wolfson & Alvarez, 2002). Deuma maneira geral, os sistemas de avaliação quevêm sendo implementados por esses países têmcomo características comuns: a) a definição dequadros de referência (objetivos e metas) e dis-tintas dimensões de desempenho (sobretudoem relação à qualidade e eficiência); b) a preo-cupação com a facilidade de operacionalizaçãodos conceitos enquanto as organizações inter-nacionais (como OMS e a OECD) se preocu-pam mais com definições em nível macro; c)dar maior ênfase às dimensões de estrutura eprocesso como proxy de resultados; d) não in-clusão de medidas mais gerais de eficiência.

Os processos de elaboração dos quadros dereferência são longos e trabalhosos, em geralcom participação multi-institucional, e acom-panhados da realização de várias consultas ouseminários para estabelecimento de “consen-sos” quanto ao quadro teórico e conceitual, de-finição de indicadores etc. O desencadeamentodesses processos são ações de governo, normal-mente por iniciativa do nível federal. A maioriadas iniciativas de avaliação de desempenho dossistemas de saúde é recente e não apresentaainda resultados mais conclusivos.

Quanto às dimensões e indicadores utiliza-dos, são bastante diferentes entre si (sobretudoem relação à questão da qualidade e eficiência).Entretanto, alguns elementos comuns possibi-litam identificar quais as dimensões que vêmsendo privilegiadas: confirma-se concentraçãoda avaliação nas dimensões de melhora da saú-de/resultados e responsividade; pouco desen-volvimento da área de avaliação da eqüidade eausência de indicadores de eficiência macroe-conômica.

Ciên

cia & Saú

de C

oletiva,9(3):711-724,2004

717

Em relação aos indicadores de resultados(outcomes) estão referidos a mudanças no esta-do de saúde de indivíduos e populações deter-minadas pela ação dos sistemas de serviços desaúde. Apontam-se algumas dificuldades nasua operacionalização, uma vez que é difíciltrabalhar com indicadores de resultado de basepopulacional usando as estatísticas rotineiras,como também identificar quais resultados po-dem, inquestionavelmente, ser atribuídos aoimpacto da ação dos serviços de saúde. Daí autilização de proxies de resultados, isto é, medi-das de estado de saúde (morbi e mortalidade,desde que suscetíveis à atenção à saúde) e me-didas de processo de atenção (principalmenteutilização, desde que altamente correlacionadacom resultados). Num conjunto de 13 indica-dores de resultados mais comumente utiliza-dos pelos países, apenas cinco podem ser con-siderados, de fato, medidas de resultados dasações dos serviços e todos os demais são proxy(Hurst & Hughes, 2001).

O conceito de responsividade também dife-re muito nos diferentes sistemas de avaliação eas dimensões também são variadas, mas em ge-ral contêm elementos de satisfação, aceitabili-dade e experiência do paciente. Os dois primei-ros são mais relacionados com a expectativa dopaciente; e o último com características “obje-tivas” da provisão, tais como, a “livre escolha”do tratamento. Os países trabalham comumen-te com diferentes dimensões e conjuntos de in-dicadores de responsividade. Estes indicadoresseriam, supostamente, de mais fácil obtenção,pela grande quantidade de inquéritos popula-cionais que vêm sendo realizados nos distintospaíses, sendo que as dificuldades estão mais re-lacionadas com a coleta da informação – ins-trumentos (definição de perguntas do questio-nário), definição de amostras (estatisticamentesignificantes) etc.

Quanto aos indicadores de avaliação daeqüidade, embora se faça menção, são muitopouco desenvolvidos e as dificuldades estão re-lacionadas tanto à formulação quanto à opera-cionalização do conceito de eqüidade nos ser-viços de saúde, uma vez que a construção deum conjunto de indicadores relevantes comomedida de eqüidade requer considerável quan-tidade de dados de boa qualidade. Enfatiza-se,porém, que a eqüidade deve ser colocada comouma “dimensão transversal”, isto é, deve serconsiderada na análise de todas as demais.

Em relação aos indicadores de eficiência, amaioria propõe indicadores de microeficiência

bastante específicos. A experiência do ReinoUnido pode ser considerada uma exceção noque diz respeito aos indicadores de eficiênciahospitalar, que vêm sendo desenvolvidos desdeos anos 70, como forma de monitorar a produ-tividade desses serviços, sendo que vêm sendoperiodicamente revisados, sobretudo a partirdos anos 90, em função da implementação dareforma chamada Mercado Interno (Smee,2002).

Por fim, no gerenciamento do desempenho,existem grandes diferenças nos modelos insti-tuídos pelos países, dependendo dos arranjosinstitucionais, do mix público/privado e do ti-po de coordenação do sistema – controle ge-rencial público (Reino Unido, Canadá, Austrá-lia) ou centrado em incentivos de mercado(EUA). De uma maneira geral, pode ser centra-lizado (Reino Unido), descentralizado (EUA),ou misto (Austrália, Canadá).

A participação do profissional médico nes-ses processos de avaliação e gerenciamento dedesempenho é importante e presente em todosos sistemas, mas explicita-se a necessidade de li-dar com as questões relativas ao monopólioprofissional sobre a prática médica, à auto-re-gulação e à dominância desse profissional noque concerne à avaliação da qualidade técnicada atenção. Sugere-se que além dos mecanismosde revisão por pares e de auditorias médicas,tradicionalmente utilizados, sejam complemen-tados com avaliações externas feitas por outrosprofissionais, tais como gerentes, administrado-res etc. As dúvidas persistem, porém, tanto emrelação ao conteúdo dessas avaliações externasquanto sobre a quem elas seriam dirigidas (aosprestadores de serviços ou ao público em geral).

Por outro lado, diferentes atores (stakehol-ders) e distintas ações necessitam de diferentesconjuntos de indicadores de avaliação de de-sempenho, o que remete a que os relatórios dedesempenho devem conter indicadores agrega-dos e desagregados, de forma a atender a dife-rentes audiências e clientelas.

Como estabelecer padrões (ou benchmarks)para o desempenho é outro ponto crítico eexistem problemas com a [disponibilização] dedados, pois tem pouco efeito para os consumi-dores ou “compradores” de serviços e, em ge-ral, funciona melhor quando dirigidos aos or-ganizadores da provisão (Reino Unido) ou em-pregadores, que pagam a conta do seguro pri-vado para seus funcionários (EUA).

Por fim, constata-se que todos esses proces-sos são de longo prazo e permanentes, para per-

Via

cava

,F.e

t al

.718

mitir ajustes sucessivos e contínuos, além deque, necessariamente, devem ser concertadosnacionalmente, sobretudo nos países com siste-mas descentralizados e com grande diversidaderegional e fragmentação do sistema de saúde.

Uma proposta para avaliação de desempenho do sistema de serviços de saúde brasileiro

No Brasil, em que pese o grande número deiniciativas voltadas para a consolidação do SUSe a existência de uma gama de projetos dirigi-dos para a avaliação das inovações que vêmsendo implementadas, não existe nenhuma ini-ciativa governamental no sentido de avaliar oimpacto dessas mudanças no desempenho dosistema em seu conjunto, sendo que a maioriadas avaliações está voltada para o processo dedescentralização ou de implantação de progra-mas específicos, como o programa de AgentesComunitários de Saúde (PACS) e o Programade Saúde da Família (PSF).

A partir dos elementos discutidos anterior-mente, um sistema de avaliação de desempe-nho do SUS teria de ser pautado por um qua-dro de referência que levasse em consideraçãoa sua concepção legal, a forma como vem sen-do implantado e os problemas de saúde priori-zados, além de que deveria permitir avaliar emque medida seus princípios e objetivos estãosendo cumpridos.

Neste trabalho procurou-se desenvolveruma metodologia que abarcasse um espectroamplo de dimensões da avaliação de sistemasde serviços de saúde, a exemplo do que foiconstatado na revisão da literatura.

A experiência de alguns países voltada paraa melhoria do desempenho dos sistemas de sa-úde baseia-se na construção de um quadro dereferência composto por elementos que, em li-nhas gerais, capturam o estado de saúde, os de-terminantes não médicos da saúde, o desempe-nho do sistema de saúde, as características ge-rais do sistema de saúde e dos recursos da co-munidade. A abordagem no formato de umpainel de controle (dashboard), proposta peloCanadá, foi recomendada pela OPS (2001), pa-ra aplicação nos países da região das Américas.Segundo esta organização, cada país deveriadesenvolver indicadores referentes aos cuida-dos de saúde prestados para responder aos pro-blemas de saúde prioritários de suas respecti-vas populações, além de enfatizar a distribui-

ção dos serviços distribuídos por grupo social,sexo e idade (eqüidade como dimensão “trans-versal”).

Embora a metodologia de avaliação aquiapresentada se nutra, principalmente, de ele-mentos das propostas canadense, australiana,inglesa e da OPS existem diferenças importan-tes, que merecem ser destacadas: a) enquantono Canadá a inclusão dos determinantes da sa-úde é feita para ampliar o escopo da atuação dosistema de saúde e de sua avaliação (Evans &Stoddart, 1994), no nosso caso sua inclusãoparte do pressuposto de que as condições desaúde da população sofrem o impacto de fato-res sociais econômicos e ambientais, que po-dem intervir de forma importante nos resulta-dos do desempenho do sistema de serviços desaúde; sendo assim, o modelo de avaliação pro-posto está centrado fundamentalmente no de-sempenho dos serviços; b) a “estrutura do sis-tema de saúde” foi uma dimensão introduzidana proposta recomendada pela OPS e incorpo-rada neste modelo, mas não é uma dimensãoexplorada separadamente pelos demais países;c) as categorias de análise foram redefinidas,principalmente o “financiamento”; e tambémfoi introduzida a categoria “recursos”; d) o ar-cabouço político social e econômico e a con-formação do sistema de saúde adquirem nestaum caráter contextual, enquanto que no Cana-dá é uma das dimensões da avaliação do de-sempenho do sistema de saúde; e, no caso aus-traliano, é abordado como uma das categoriasdos determinantes da saúde; e) o modelo cana-dense assume o monitoramento das condiçõesde saúde e do desempenho do sistema de servi-ços de saúde como dois objetivos que devemser perseguidos; e, no caso australiano, o focoestá na avaliação do desempenho do sistema desaúde, o que também é o objetivo maior destaproposta; e f) enquanto nos outros casos, as vá-rias dimensões são colocadas num painel semarticulação definida entre elas, propõe-se que ofoco da avaliação esteja no desempenho dosserviços de saúde, que, por sua vez, está relaci-onado com os determinantes das condições desaúde que definem, de forma importante, asnecessidades de saúde que devem orientar o fi-nanciamento e os recursos materiais e huma-nos necessários ao bom desempenho do siste-ma, do qual dependerá, em parte, a melhoriadas condições de saúde da população.

Propõe-se então que o desempenho do sis-tema de saúde brasileiro seja analisado no con-texto político, social e econômico que traduz

Ciên

cia & Saú

de C

oletiva,9(3):711-724,2004

719

sua história e conformação atual, levando-seem consideração seus objetivos e prioridades.Nesse contexto seriam identificados os deter-minantes de saúde (primeira dimensão) asso-ciados aos problemas de saúde tidos como pri-oritários, evitáveis e passíveis de intervenção.Sua apreciação deveria ser feita considerando-se o seu impacto em diferentes grupos sociais.

A caracterização desses problemas de saúdeem termos de morbidade, mortalidade, limita-ção de atividade física e qualidade de vida asso-ciada, conformaria uma segunda dimensão daavaliação, que permitiria conhecer a magnitu-de dos problemas e sua expressão em diferen-tes regiões geográficas e grupos sociais. Esseperfil de morbi-mortalidade, que expressa asnecessidades de saúde, deveria orientar a defi-nição de elementos que compõem a terceira di-mensão da avaliação, ou seja, a estrutura do sis-tema de saúde (condução, financiamento e re-cursos), que por sua vez condicionaria as pos-sibilidades de melhor ou pior desempenho dosistema de saúde, objeto principal da avaliação(Figura 1).

A partir desse marco conceitual seria possí-vel pensar um conjunto de metodologias analí-ticas capazes de responder a algumas indaga-ções sobre a qualidade dos serviços prestados,sua variação entre áreas geográficas e grupossociais, oportunidade de melhorar o desempe-nho do sistema e da saúde da população, ade-são de sua conformação à legislação e sua con-tribuição para a melhoria de saúde da popula-ção (Figura 2).

Uma vez decididas as grandes dimensões daavaliação, foi desenvolvido um processo de de-talhamento para cada uma delas (Figura 3). Arevisão da literatura sobre os indicadores de-monstrou que em primeiro lugar seria impor-tante conceituar cada uma das dimensões e seuscomponentes ou categorias, já que o mesmo in-dicador pode ser usado para avaliar diferentesaspectos. Em alguns casos existe uma diversida-de conceitual importante e, em outros, as opi-niões são mais convergentes e facilitam a esco-lha dos indicadores. Nessa seleção devem seridentificados os indicadores já existentes (por

Figura 1Modelo explicativo do desempenho de sistemas de saúde.

Contexto político, social, econômico e a conformação do Sistema de Saúde

Eqüidade

Determinantes de saúde

Condições de saúde da população

Estrutura do Sistema de Saúde

Desempenho do Sistema de Saúde

v

v

v

v

vv

v

Figura 2 Modelo explicativo do desempenho de sistemas de saúde: algumas perguntas.

Contexto político, social, econômico e a conformação do Sistema de Saúde

Eqüidade

Via

cava

,F.e

t al

.720

Determinantes de saúde

Condições de saúde da população

Estrutura do Sistema de Saúde

Desempenho do Sistema de Saúde

v

v

v

v

vv

v

Os fatores determinantes da saúde impactamigualmente todos os grupos sociais?

Qual o estado de saúde dos brasileiros?Como varia o estado de saúde da populaçãobrasileira entre as áreas geográficas e os grupossociais?

A estrutura do Sistema de Saúde é adequado ao bom desempenho do sistema de saúde?

O sistema está prestando serviços de boa qualidade?O desempenho do Sistema de Saúde varia entre as áreas geográficas e grupos sociais?Quais são as oportunidades para melhorar o desempenho do Sistema de Saúde e a saúde da população?O desempenho do Sistema de Saúde está de acordocom os princípios definidos na lei?Qual a contribuição do Sistema de Saúde para a melhoria da saúde das pessoas?

Figura 3 Matriz de dimensões da avaliação de desempenho do Sistema de Saúde.

Contexto político, social, econômico e a conformação do Sistema de Saúde

Determinantes da saúde

Ambientais Socioeconômicos e demográficos Comportamentais e biológicos

Fatores físicos, químicos e Características demográficas e Atitudes, práticas, crenças,biológicos do ambiente que socioeconômicas, contextuais e dos comportamentos, e fatores atuam como determinantes de indivíduos, relacionadas com a biológicos individuais, queagravos à saúde produção de agravos à saúde condicionam, predispõem,

influenciam a ocorrência deagravos à saúde

Condições de saúde da população

Morbidade Estado funcional Bem-estar Mortalidade

Ocorrência de Ocorrência de limitação Qualidade de vida Padrão e tendências sintomas, doenças ou restrição na realização associada ao bem-estar da ocorrência de traumas e deficiências de atividades cotidianas físico, mental e social óbitos na população

típicas (funcionalidade) dos indivíduos

Sistema de Saúde

Estrutura do Sistema de Saúde

Condução Financiamento Recursos

Capacidade do governo de formular Montante de recursos Conjunto de pessoas,e implementar políticas de saúde, financeiros e modos informações, instalações,garantindo monitoramento, pelos quais são captados equipamentos, insumos regulação, participação e e alocados incorporados na operação responsabilização na execução do Sistema de Saúdedas políticas

Desempenho do Sistema de Saúde

Acesso Aceitabilidade Respeito ao direito Continuidadedas pessoas

Capacidade das Grau com que os serviços Capacidade do Sistema Capacidade do pessoas em obter os de saúde ofertados estão de Saúde de assegurar Sistema de Saúde de serviços necessários de acordo com os valores que os serviços respeitem prestar serviços de no lugar e momento e expectativas dos o indivíduo e a forma ininterrupta certo usuários e da população comunidade, e estejam e coordenada

orientados às pessoas

Adequação Segurança Efetividade Eficiência

Grau com que os cuidados Capacidade do Sistema Grau com que a assistência, Relação entre o intervenções setoriais de Saúde de identificar, serviços e ações atingem produto da inter- estão baseados no evitar ou minimizar os resultados esperados venção de saúde e os conhecimento técnico- os riscos potenciais das recursos utilizadoscientífico existente intervenções em

saúde ou ambientais

Nota: Eqüidade é o eixo que corta transversalmente todas as dimensões. Portanto, todas elas devem ser analisadas segundo essa perspectiva, utilizando asvariáveis e indicadores mais apropriados a cada uma delas.

Ciên

cia & Saú

de C

oletiva,9(3):711-724,2004

721

vv vv

Eq

üid

ade

vv

v

Via

cava

,F.e

t al

.722

exemplo, Indicadores e Dados Básicos – IDBs) edefinidos novos, que podem ser obtidos seja apartir de dados existentes (Pesquisa Mundial daSaúde 2003, Suplemento Saúde da PNAD/1998,Inquérito Domiciliar sobre Comportamentosde Risco e Morbidade Referida de Agravos nãoTransmissíveis/INCA) ou que deveriam ser co-letados por meio de inquéritos domiciliares oude usuários dos sistemas de saúde.

Para cada indicador seria necessária a cons-trução de uma ficha técnica que deveria tam-bém conter a medida de desigualdade paracomparação de grupos populacionais, de for-ma a evidenciar as desigualdades geográficas esociais. A análise da validade aparente (face va-lidity) dos indicadores deveria ser feita por es-pecialistas e potenciais usuários deste sistemade monitoramento, tomando por base os crité-rios de seleção descritos.

É importante considerar que a metodologiaproposta deve permitir também a avaliação desistemas regionais de saúde ou de programasespecíficos, levando em conta as desigualdadesno desempenho do segmento estatal e privadodo SUS. E é fundamental também levar emconta a exeqüibilidade e sustentabilidade orga-nizacional e financeira da proposta, pois é dasua continuidade e operacionalidade que de-pende a efetividade e impacto de qualquer pro-posta de avaliação de desempenho de sistemasde serviços de saúde.

Conclusão

Embora não haja consenso sobre como medirdesempenho dos sistemas de serviços de saúde,desempenho é sempre definido em relação aocumprimento de objetivos e funções das orga-nizações que compõem o sistema, variando deacordo com o que cada país estabeleceu comosuas metas. Dado que os objetivos e metas paraos sistemas de saúde são diversos, do mesmomodo que as dimensões de análise, não há umacorrespondência estrita entre as várias experi-ências locais, ainda que, em algumas situações,os indicadores (nos seus conteúdos) sejam osmesmos. Ainda assim é possível constatar que:

a) a regularidade temporal com que as medi-das subjacentes aos indicadores é efetuada é va-riável e nem sempre especificada; b) alguns in-dicadores são coletados de forma rotineira co-mo parte do cotidiano administrativo dos ser-viços (indicadores de mortalidade geral e espe-cífica, cobertura vacinal, incidência e prevalên-cia de determinadas morbidades etc.) e, em ou-tros casos, as medidas são obtidas através de in-quéritos especiais e pontuais, alguns dos quaisde realização regular e predefinida (estado desaúde auto-referido; limitação de atividade/dor crônica; tabagismo atual, passado ou passi-vo etc.).

A experiência dos diversos países demons-tra que para implementar uma efetiva avalia-ção de desempenho existe a necessidade de umprocesso amplo de pactuação, que leve em con-sideração a conformação do sistema de saúde,seus objetivos e metas e os diferentes atores quedele fazem parte. Dessa maneira, gestores, pres-tadores e usuários dos serviços de saúde defini-riam, a partir dos critérios de relevância, confi-abilidade, validade, capacidade de discrimina-ção e viabilidade, um conjunto mínimo de in-dicadores para compor um sistema de monito-ramento das diversas dimensões do desempe-nho do sistema de saúde.

Finalmente seria desejável que fosse estabe-lecida uma agenda para a implantação do siste-ma de monitoramento com os indicadores epara a definição de mecanismos de obtençãoperiódica de dados inexistentes, além do esta-belecimento de métodos e técnicas de explora-ção e análise dos dados, de forma a promoverum processo de paulatina implantação da ava-liação do desempenho do sistema de saúde.

A revisão dos modelos de avaliação interna-cionais e nacionais indica que um possível ca-minho a ser tentado para o caso brasileiro seriainiciar um processo amplo de discussão nacio-nal, a exemplo do que foi feito no Reino Unido,Canadá e Austrália, para a formulação de umquadro conceitual a partir do qual seriam defi-nidos indicadores adequados para a avaliação dedesempenho do SUS. Nesse sentido, este artigopoderia ser considerado uma primeira aproxi-mação para o desencadeamento desse debate.

Ciên

cia & Saú

de C

oletiva,9(3):711-724,2004

723

Colaboradores

Grande parte do trabalho deriva de discussões coletivas,sendo que alguns autores concentraram-se mais em al-guns aspectos, a saber: F Viacava na coordenação geral edesenvolvimento da matriz de avaliação da propostabrasileira; C Almeida, ES Oliveira e J Macinko na con-ceituação dos sistemas de saúde, avaliação crítica demodelos de avaliação propostos por agências interna-cionais e por outros países; R Caetano e M Fausto naanálise dos indicadores nacionais e internacionais; MMartins e JC Noronha nos modelos alternativos paraanálise de sistemas de saúde; CL Szwarcwald na análisedas desigualdades e condições de saúde, avaliação críticade modelos de avaliação propostos por agências interna-cionais; MD Novaes, C Almeida, S Porto, M Martins, JMacinko, R Caetano, LV Silva e M Fausto no desenvolvi-mento da matriz de dimensões da avaliação da propostabrasileira; e LV Silva e S Porto na análise dos conceitos deeqüidade em saúde.

Referências bibliográficas

AIHW – Australia Institute of Health and Welfare 2000.The seventh biennal health report of the Australian In-stitute of Health and Welfare. AIHW, Camberra:. AI-HW Cat. No. 19.

Almeida CM 1995. As reformas sanitárias nos anos 80: criseou transição? Tese de doutorado. Rio de Janeiro, ENSP/Fiocruz.

Almeida CM 1999. Reforma do Estado e reforma de siste-mas de saúde: experiências internacionais de tendênciasde mudança. Ciência & Saúde Coletiva 4(2):263-286.

Almeida CM et al. 2001. Methodological concerns andrecommendations on policy consequences of theWorld Health Report 2000. Lancet 357(9269):1692-6977.

Braveman P, Starfield B & Geiger JH 2001. World HealthReport 2000: how it removes equity from the agendafor public health monitoring and policy. British Med-ical Journal, 323 (22/September):678-681.

CIHI – Canadian Institute of Health Information 2001.Health Care in Canada. CIHI, Canadá. Disponível em<http:/www.cihi.ca>

Cozzens S 1995. Performance Assessment and the Nation-al Science Foundation: Proposals for NSF’s Responseto the Government Performance and Results Act,NSF Discussion Paper, Arlington, VA, November.

Evans RG, Stoddart GL 1994. Why are some people healthyand others not? The determinants of health of popula-tions. Capítulo 2: Producing Health, consuming healthcare. Aldine de Gruyter, Nova York.

Hurst J & Hughes MJ 2001. Performance measurement andperformance management in OECD health systems.Disponível em <www1.oecd.org>. OECD Health Sys-tems. Labour Market and Social Policy – OccasionalPapers n. 47, pp.1-60.

Hurst J 2002. Performance measurement and improve-ment in OECD health systems: overview of issues andchallenges, pp. 35-54. In OECD. Measuring up – im-proving health system performance in OECD countries.Editora da OCDE, Paris.

Macinko J & Starfield B 2002. Annotated bibliography onequity and health, 1980-2001. International Journalfor Equity in Health 1(1): 1-20.

Marinho de Souza MF & Kalichman A 1994. Vigilância àsaúde: epidemiologia, serviços e qualidade de vida,pp. 467-476. In MZ Rouquayrol & N Almeida-Filho(orgs.). Epidemiologia e Saúde. MEDSI, Rio de Janeiro.

Mendes EV 1993. O processo social de distritalização dasaúde, pp. 93-158. In EV Mendes (org.). Distrito Sani-tário: o processo social de mudança das práticas do Sis-tema Único de Saúde. Hucitec-Abrasco, São Paulo-Rio de Janeiro.

Mendes EV 2001. Os grandes dilemas do SUS (Tomo I).ISC/Casa da Saúde, Salvador.

Mendes EV 2002. Os sistemas de serviços de saúde: o que osgestores deveriam saber sobre essas organizações com-plexas. Escola de saúde Pública do Ceará, Fortaleza.

Navarro V 2000. Assessment of the World Health Report2000. Lancet 356:1598-1601.

Naylor CD, Iron K, & Handa K 2002. Measuring Healthhealth System system Performanceperformance:Problems problems and Opportunities opportunitiesin the Era of Assessment assessment and Account-abilityaccountability, pp. 13-34. In OECD. Measuringup – improving health system performance in OECDcountries. Editora da OCDE, Paris.

NHPC – National Health Performance Committee 2002.National Report on Health Sector Performance Indica-tors 2001. Queensland Health, Brisbane.

Nota

Para um maior detalhamento da discussão conceitual dasdimensões, bibliografia sobre o tema e sistemas de indi-cadores revistos utilizados em diversos países e algunsdos indicadores sugeridos para a proposta brasileira verwww.proadess.cict.fiocruz.br

Via

cava

,F.e

t al

.724

Or Z 2002 . Improving the performance of health systems:from measures to action (a review of experiences infour countries. Labour Marlet and Social Policy – Oc-casional Papers No. 57. OECD, Paris.

OPS – Organización Panamericana de la Salud 2001.Health Systems Performance Assessment and Improve-ment in The Region of Americas. Washington, DC.

Paim JS 1993. A reorganização das práticas de saúde emDistritos Sanitários, pp. 187-220. In EV Mendes(org.). Distrito Sanitário: o processo social de mudançadas práticas do Sistema Único de Saúde. Hucitec-Abrasco, São Paulo-Rio de Janeiro.

Roemer M 1991. National Health Systems of the World.(Vol.1: The Countries). Oxford University Press, Ox-ford, Inglaterra.

Smee CH 2002. Improving value for money in the UnitedKingdom National Health Service: performance mea-surement and improvement in a centralized system,pp. 57-85. In OECD. Measuring up – improving healthsystem performance in OECD Countries. Editora daOEDC, Paris.

Teixeira CF, Paim JS & Villasbôas AL 1998. SUS, modelosassistenciais e vigilância da saúde. Informe Epidemio-lógico do SUS, Brasília, COMED/ASPLAN/FNS, anoVII, n. 2:7-28.

Whitehead M 1992. The concepts and principles of equityand health. International Journal of Health Services22(3):429-445.

Williams A 2001. Science or marketing at WHO? A com-mentary on ‘World Health 2000’. Health Economics10:93-100.

Wolfson M & Alvarez R 2002. Towards integrated and co-eherent health information systems for performancemonitoring: the Canadian experience, pp. 133-155.In OECD. Measuring up – improving health systemperformance in OECD countries. Editora da OEDC,Paris.

WHO – World Health Organization 2000. The WorldHealth Report: Health System: Improving Performance.Genebra.

Artigo apresentado em 26/6/2004Aprovado em 18/7/2004Versão final apresentada em 28/7/2004