METODOLOGÍAS PARA EVALUAR LAS …...1 METODOLOGÍAS PARA EVALUAR LAS REPERCUSIONES DE LA AUDITORÍA...

21
1 METODOLOGÍAS PARA EVALUAR LAS REPERCUSIONES DE LA AUDITORÍA DE LA EFS EN EL AHORRO Y EL BUEN USO DE LOS RECURSOS PÚBLICOS LA EXPERIENCIA LITUANA 1. Introducción de la Planificación Estratégica y la Evaluación en las Instituciones de Administración Pública de Lituania Después de que Lituania readquiriera su independencia en 1990, quedaron en el abandono antiguos principios de planificación y evaluación. No existía ninguna orientación metódica uniforme sobre cómo planificar y evaluar las actividades, en consecuencia, cada institución hacía esta labor de manera individual. Durante mucho tiempo, las actividades institucionales se habían orientado en función del proceso y no de los resultados, si bien este último enfoque ya se aplicaba ampliamente en algunos países de la Unión Europea y a nivel mundial. Luego de que Lituania expresara oficialmente su deseo de integrarse a las estructuras de Europa y del Sector Euro-Atlántico, la planificación y la evaluación características de dichas estructuras empezaron a aplicarse en áreas pertinentes (por ejemplo, OTAN y UE). El mayor alcance de las actividades, las obligaciones y los recursos financieros limitados instaron a examinar los principios de las actividades de planificación y los recursos. Lituania adoptó una decisión para elaborar el presupuesto estatal en base a un programa. Es así que desde 1998, toda institución que desee recibir fondos del presupuesto estatal debe preparar programas y los estimados de costos correspondientes. Esta iniciativa fue sólo el primer paso de la planificación sistemática de los recursos financieros y del mejoramiento de las actividades institucionales. Además, el inicio de la crisis rusa en 1998 y la recesión económica de Lituania hicieron que el gobierno de Lituania de ese periodo adoptara medidas radicales para mejorar la situación financiera. Era obvia la necesidad de introducir reformas esenciales en la administración pública. Para utilizar los recursos disponibles más eficazmente, el manejo estratégico era indispensable – es decir, había que identificar prioridades claras y resultados objetivo, en tanto que se destinarían recursos limitados a la implementación de estas prioridades. En 1998 se lanzó un proyecto lituano-canadiense de reforma de la administración pública. El proyecto buscaba introducir la planificación estratégica a nivel gubernamental. Después de que el proceso acelerara su ritmo y se formularan recomendaciones uniformes para la preparación de planes de acción estratégicos, en el año 2000 se introdujo un requisito según el cual todo ministerio u otra institución que deseara recibir fondos del presupuesto del estado debía preparar un plan de acción estratégico que trazara objetivos estratégicos de la institución, programas para la implementación de los objetivos, resultados previstos y fondos estimados. De este modo, por primera vez se enlazaba la planificación de recursos financieros con la planificación estratégica. Mediante una resolución, el

Transcript of METODOLOGÍAS PARA EVALUAR LAS …...1 METODOLOGÍAS PARA EVALUAR LAS REPERCUSIONES DE LA AUDITORÍA...

1

METODOLOGÍAS PARA EVALUAR LAS REPERCUSIONES DE LA AUDITORÍA DE LA EFS EN EL AHORRO Y EL BUEN USO DE LOS

RECURSOS PÚBLICOS

LA EXPERIENCIA LITUANA

1. Introducción de la Planificación Estratégica y la Evaluación en las Instituciones de Administración Pública de Lituania

Después de que Lituania readquiriera su independencia en 1990, quedaron en el abandono

antiguos principios de planificación y evaluación. No existía ninguna orientación metódica uniforme

sobre cómo planificar y evaluar las actividades, en consecuencia, cada institución hacía esta labor de

manera individual. Durante mucho tiempo, las actividades institucionales se habían orientado en

función del proceso y no de los resultados, si bien este último enfoque ya se aplicaba ampliamente en

algunos países de la Unión Europea y a nivel mundial. Luego de que Lituania expresara oficialmente

su deseo de integrarse a las estructuras de Europa y del Sector Euro-Atlántico, la planificación y la

evaluación características de dichas estructuras empezaron a aplicarse en áreas pertinentes (por

ejemplo, OTAN y UE). El mayor alcance de las actividades, las obligaciones y los recursos financieros

limitados instaron a examinar los principios de las actividades de planificación y los recursos. Lituania

adoptó una decisión para elaborar el presupuesto estatal en base a un programa. Es así que desde

1998, toda institución que desee recibir fondos del presupuesto estatal debe preparar programas y los

estimados de costos correspondientes. Esta iniciativa fue sólo el primer paso de la planificación

sistemática de los recursos financieros y del mejoramiento de las actividades institucionales. Además,

el inicio de la crisis rusa en 1998 y la recesión económica de Lituania hicieron que el gobierno de

Lituania de ese periodo adoptara medidas radicales para mejorar la situación financiera. Era obvia la

necesidad de introducir reformas esenciales en la administración pública. Para utilizar los recursos

disponibles más eficazmente, el manejo estratégico era indispensable – es decir, había que identificar

prioridades claras y resultados objetivo, en tanto que se destinarían recursos limitados a la

implementación de estas prioridades.

En 1998 se lanzó un proyecto lituano-canadiense de reforma de la administración pública. El

proyecto buscaba introducir la planificación estratégica a nivel gubernamental. Después de que el

proceso acelerara su ritmo y se formularan recomendaciones uniformes para la preparación de planes

de acción estratégicos, en el año 2000 se introdujo un requisito según el cual todo ministerio u otra

institución que deseara recibir fondos del presupuesto del estado debía preparar un plan de acción

estratégico que trazara objetivos estratégicos de la institución, programas para la implementación de

los objetivos, resultados previstos y fondos estimados. De este modo, por primera vez se enlazaba la

planificación de recursos financieros con la planificación estratégica. Mediante una resolución, el

2

gobierno aprobó la Metodología de Planificación Estratégica, que se perfecciona permanentemente,

tomando en cuenta la situación cambiante y los problemas emergentes.

La planificación estratégica es indispensable para llevar a cabo reformas en diferentes áreas y

resolver problemas complicados. Durante un proceso de planificación estratégica, la institución

analiza constantemente los efectos de los factores externos en las actividades de las instituciones y

considera modos más eficaces de utilizar los recursos financieros, físicos y laborales disponibles para

alcanzar las metas trazadas. Lo más importante es que los recursos y las actividades de las

instituciones se planifican de modo que se logran resultados concretos durante un determinado

periodo.

La planificación estratégica aporta muchas ventajas a las instituciones. En primer lugar,

permite analizar y evaluar una institución como un sistema, buscando garantizar que todas las

divisiones alcancen los objetivos fijados. Como consecuencia, hay una mejor comprensión de los

objetivos institucionales y una asignación más racional de los recursos financieros, físicos y laborales;

mejoran las condiciones para coordinar y adecuar las actividades de las divisiones tomando en cuenta

los cambios; mejoran también el control sobre la implementación de objetivos y el sistema de

evaluación e incentivos para los trabajadores.

2. Desarrollo de la Evaluación de las Repercusiones de la Auditoria de la EFS de Lituania

Antes de 2002 –año en que la EFS de Lituania hizo la transición de las funciones de control al

enfoque de auditoría – los informes de rendimiento anual de la organización presentaban indicadores

cuyo propósito era ilustrar la eficiencia de su trabajo. Tales indicadores comprendían montos que

volvían al presupuesto del estado de diferentes formas: fondos que habían sido utilizados ilegalmente

y que, por tanto, había que devolver al presupuesto estatal; montos pagaderos por concepto de

impuestos y multas; montos deducidos de sueldos de funcionarios sancionados transferidos al

presupuesto estatal; fondos que no se habían utilizado de acuerdo con el objeto previsto de las

instituciones que habían recibido recursos del presupuesto estatal y que, en consecuencia, había que

devolver al presupuesto estatal / municipal, y fondos pagaderos al presupuesto del Fondo del Seguro

Social del Estado; fondos reembolsados a empresas estatales; aumento del capital del estado en las

empresas; montos recuperados de personas con una responsabilidad financiera como resultado de un

déficit monetario, etc. (véase las siguientes tablas).

Eficiencia Económica de la EFS de Lituania en 1996 en LTL 000(LTL 3.45/EURO 1; 2.8 LTL/1 US$)

Item No.

Indicadores LTL 000

1 Fondos que se habían utilizado ilegalmente, montos pagaderos por concepto de impuestos y multas etc. 26608,1

2 Montos deducidos de sueldos de funcionarios sancionados 76,5

3

transferidos al presupuesto estatal 3 Fondos que no se habían utilizado según el objeto previsto de

instituciones financiada en base al presupuesto del estado, fondos pagaderos al presupuesto del Fondo del Seguro Social del Estado

5008,9

4 Monto total recuperado y transferido al presupuesto (1 + 2 + 3)

31693,5 5 Fondos devueltos a empresas / instituciones estatales

14987,5

6 Cancelación de reducción errónea del valor de acciones de propiedad del estado y de autoridades locales

5868,3

7 Montos recuperados de personas con responsabilidad financiera como resultado de déficit monetario 18,3

8 Total (4 + 5 + 6 + 7) 52567,6 9 Gastos de mantenimiento presupuestario de la EFS de

Lituania 7896,7

10 Coeficiente de eficiencia presupuestaria de la EFS de Lituania (4 : 9)

4,0

11 Coeficiente de eficiencia económica de la EFS de Lituania (8 : 9)

6,7

Después del 2002, cuando se produjo la transición del enfoque de control al enfoque de

auditoría, estos indicadores ya no representaban las actividades de la Entidad Fiscalizadora.

3. Jerarquía Actual de Evaluación de las Actividades de la EFS de Lituania

No se puede emitir un juicio sobre los resultados de la auditoría si no se comprende sus

consecuencias, ya que la eficiencia de la auditoría no sólo significa resultados positivos; la eficiencia

de la auditoría se basa en resultados que son una consecuencia de la auditoría. Los resultados y la

auditoría deben estar unidos por una correlación causal. En otras palabras, los cambios positivos en la

entidad fiscalizada que se manifiestan mediante diferentes indicadores (económicos, políticos, sociales

y técnicos) deben estar directamente relacionados con las repercusiones que produce la auditoría. La

eficiencia de la auditoría, que refleja resultados económicos y sociales, siempre tiene un componente

socio-económico. Sin embargo, es prácticamente imposible cuantificar los resultados sociales (incluso

si se miden con indicadores cualitativos específicos). Aun cuando no se pueda calcular la eficiencia

social exacta, en todos los casos uno debe conocer y medir la dependencia ya que ésta determina si los

resultados finales serán positivos o negativos. Por lo tanto, no es posible evaluar todo sólo con

indicadores económicos; además, una alta eficiencia fiscalizadora no siempre se relaciona con costos

significativos.

Naturalmente, no es fácil preparar metodologías para evaluar las repercusiones de la auditoría

de la EFS en el ahorro y en el buen uso de los recursos públicos, ya que no existen lineamientos

internacionales universalmente aceptados y comprobados para determinar la eficiencia de la auditoría.

4

Es prácticamente imposible expresar la eficiencia de la auditoría en términos absolutos, es

decir, no existen unidades de medición adecuadas en todos los casos, en especial en el caso de los

fenómenos sociales. Como ya se ha mencionado anteriormente, se pueden aplicar tanto parámetros

cuantitativos como parámetros cualitativos a la auditoría, por lo tanto, para efectos de determinar la

eficiencia de la auditoría, se debe combinar estos dos grupos de parámetros como eficiencia socio-

económica de la auditoría, que es de índole cualitativa; en realidad, la eficiencia adquiere

inevitablemente una expresión cuantitativa específica, lo que lleva a una evaluación objetiva.

Las actividades fiscalizadoras no deben evaluarse unilateralmente pues son complejas tanto por

su estructura interna como por su proceso global; por lo tanto, los resultados finales y la eficiencia de

las actividades de auditoría sólo pueden expresarse mediante un sistema de indicadores y no a través

de un único indicador. Los indicadores, a su vez, deben reflejar el objetivo clave y el contenido de la

auditoría, así como tareas económicas, sociales y de otra índole. Todo esto podría definirse como

requisitos generales de los indicadores. Un sistema de indicadores de este tipo debe perfeccionarse

constantemente.

El Plan Estratégico de Actividades aprobado de la EFS de Lituania se enfoca en las

repercusiones de la auditoría, es decir los efectos y los resultados. Los servicios/ productos que

proporciona la EFS se evalúan incluyendo su alcance, calidad y recursos utilizados para la prestación

de los servicios.

Fig 1. Jerarquía de Evaluación de las Actividades de la EFS de Lituania

El tema de la IV Conferencia de EUROSAI-OLACEFS es “Metodologías para evaluar las

repercusiones de la auditoría en el ahorro y el buen uso de los recursos públicos”; por lo tanto, el

análisis posterior se limitará a los criterios de evaluación de los efectos y resultados.

EVALUACIÓN DE EFECTOS

EVALUACIÓN DE RESULTADOS

EVALUACIÓN DE PRODUCTO / SERVICIOS

EVALUACIÓN DE ALCANCE DE PRODUCTO /SERVICIO

EVALUACIÓN DE CALIDAD DE PRODUCTO/SERVICIO

EVALUACIÓN DE RECURSOS UTILIZADOS

5

4555

67

13

17

1236

22 11

4 3 411 1

411

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

2004-01-01

2004-05-01

2005-01-01

Kitospriežastys

Nebeaktuali

Atmetamasubjekto

Terminasnesibaigęs

Iš daliesįgyvendinta

Įgyvendinta

.

Otras razones Ya no es pertinente Rechazada por la entidad Plazo no expirado Implementada parcialmente Implemented

Para reducir el riesgo de incurrir en evaluaciones erróneas, se utilizan varios métodos de

evaluación de las actividades. Se utilizan fuentes de información tanto internas como externas

(encuestas).

4. Implementación de Recomendaciones Formuladas por la EFS de Lituania

Actualmente, la implementación de las recomendaciones formuladas por la EFS de Lituania es

uno de los principales criterios de evaluación de eficiencia de la organización.

El valor de este criterio se calcula como un coeficiente entre el número de recomendaciones

totalmente / parcialmente implementadas y todas las recomendaciones formuladas durante la auditoría

o en el informe de auditoría, cuyo plazo de implementación haya expirado.

El nivel de implementación de las recomendaciones, cuando se utilizan con otros criterios de

evaluación, podría mostrar la repercusión positiva de la EFS en el desarrollo del sector público lituano

incluyendo la disposición de las entidades fiscalizadas para tomar en cuenta las recomendaciones.

La implementación al 100% de las recomendaciones es poco probable ya que, aparte del

aspecto cualitativo de las recomendaciones, su implementación se ve afectada por factores externos

que están fuera del control de la institución. Además, los intentos por lograr un 100% de

implementación crearía incentivos negativos dentro de la EFS ya que los auditores no se sentirían

motivados a formular recomendaciones importantes que sean difíciles de implementar.

Continuación de implementación de recomendaciones formuladas en 2003

Por razones objetivas, una parte de las

recomendaciones formuladas por la EFS

requiere un plazo de implementación mayor. Al

1 de enero de 2005, la parte de recomendaciones

que se habían formulado en el 2003 y el plazo de

implementación de las mismas que no había

expirado representaban solamente el 11%. De

las 798 recomendaciones formuladas por la EFS

en 2003, se implementó total o parcialmente el

79%. La Figura 1 muestra la situación de la

implementación de las recomendaciones

formuladas en el año 2003.

Figura 2. Implementación de recomendaciones formuladas por la EFS en el año 2003

6

10 121

8 5228 508

2 6992 902

2000 m. 2001 m. 2002 m. 2003 m. 2004 m.2000 2001 2002 2003 2004

5. Auditoría del Presupuesto Estatal por parte de la EFS de Lituania

Uno de los propósitos de la auditoria pública es brindar seguridad a los usuarios de los estados

financieros de las instituciones públicas con respecto a dichos estados. Por lo tanto, en nuestra opinión,

las repercusiones de la labor de la EFS puede expresarse mediante la parte fiscalizada del presupuesto

estatal.

Por ejemplo, las auditorías financieras realizadas en el 2004 abarcaron el 78.8% del gasto del

presupuesto estatal correspondiente al ejercicio de 2003, es decir, más de LTL 8.5 mil millones

(compárese: en el 2003, 84.9% del gasto para el ejercicio 2002 fiscalizado; en el 2002, 38.7% del gasto

para el ejercicio 2001 verificado y fiscalizado; en el 2001, 44.4% del gasto para el ejercicio 2000

fiscalizado). Aunque el valor del gasto del presupuesto estatal fiscalizado para el ejercicio 2004 ha

aumentado en más de LTL 0.5 mil millones, en términos porcentuales esto significa una reducción de

6.1% debido al enorme incremento del alcance del presupuesto estatal (LTL 3.45 / EURO 1; LTL 2.8/

US$ 1).

Las auditorías que empezaron en el año 2004 cubrieron asignaciones presupuestarias

ascendientes a LTL 10.12 mil millones, o 79.9% del total de las asignaciones presupuestarias del

estado (LTL/3.45 / EURO 1; LTL 2.8/ US$ 1).

Fig. 3. Gasto del Presupuesto Estatal Auditado en 2000–2004, LTL millones (3.45 LTL/ 1 EURO; 2.8 LTL/ 1 USD)

6. Una Alternativa: Encuesta de Opinión de los MP sobre las Repercusiones de la Labor

de la EFS

El Parlamento o, más exactamente, los Miembros del Parlamento, constituye uno de los

actores sociales más importantes para una EFS.

7

En julio de 2004 se llevó a cabo la primera encuesta a los MP para conocer sus opiniones sobre

las actividades de la EFS de Lituania.

Se envió un cuestionario a todos los MP, que fueron 141 en total.

Cuestionario: Primer Grupo de Preguntas

Opciones de respuesta Item No.

Pregunta siempre con

frecuencia rara vez

nunca

¿Lee completamente el informe de la EFS? ¿Actualmente utiliza los informes de la EFS como fuente de información en su trabajo de parlamentario?

¿Contacta a la EFS para consultar temas que le interesa?

¿Lee los informes de la Corte Europea de Auditores?

Segundo Grupo de Preguntas

Opciones de respuesta y número de

respuestas

Item No.

Pregunta

Sí No

1 ¿Piensa que los informes de la EFS lo ayudan en su trabajo como parlamentario?

2 ¿La EFS contribuye eficazmente a garantizar el cumplimiento de la obligación de rendir cuentas del sector público?

3 ¿La EFS goza de suficientes facultades para cumplir con las funciones que le asigna la Constitución?

4

¿Tiene el Parlamento suficientes facultades para adoptar medidas eficaces y adecuadas a fin de implementar las recomendaciones de la auditoría después de considerar los informes de auditoría en la Comisión de Auditoría?

5 ¿El nombramiento del representante permanente de la EFS en el Parlamento fortalecería las relaciones entre el Parlamento y la EFS?

Tercer Grupo de Preguntas Sírvase calificar las siguientes funciones de la EFS para los siguientes tres años según su

importancia Calificación de importancia y número de respuestas Item

No. Pregunta

Muy importante

Mediana importancia

No muy importante

No importante en lo absoluto

1 Promover la aplicación de leyes vigentes y leyes recientemente adoptadas

2 Mejorar la gestión y la obligación de rendir cuentas del

8

Calificación de importancia y número de respuestas Item No.

Pregunta Muy

importanteMediana

importancia No muy

importante No importante

en lo absoluto sector público conjuntamente con otras instituciones pertinentes

3 Dar a conocer e informar sobre actividades fraudulentas e ilegales

4 Garantizar cierto nivel de integridad y exactitud de los estados financieros

5 Formular recomendaciones para mejorar el control financiero

6 Informar sobre todos los errores hallados en los documentos financieros

7 Dar a conocer casos de dilapidación, uso ineficaz y administración indebida de fondos

8 Recomendar mejoras para garantizar economía, eficiencia y eficacia

9 Supervisar la implementación de recomendaciones de auditoría anteriores e informar al Parlamento al respecto

10 Otros - Especificar

Lamentablemente sólo un número muy reducido de MP respondió a la encuesta – únicamente

16, lo que representa ligeramente más del 10% de todos los MP.

La lección que dejó esta investigación es que la encuesta a los MP debe realizarse durante una

sesión parlamentaria y, en segundo lugar, no antes de una elección parlamentaria (la encuesta se

realizó en el mes de julio de 2004 y las elecciones parlamentarias se llevaron a cabo en el otoño de

2004).

Los resultados de la encuesta muestran que más del 52% de los encuestados lee los informes de la EFS de Lituania “siempre”, o “con frecuencia” y más del 85% contacta a la EFS por asuntos que le interesa. Un 87% considera que los informes de la EFS los ayuda en su trabajo. El 87.5% de los encuestados opina que la EFS de Lituania contribuye eficazmente a garantizar el cumplimiento de la obligación de rendir cuentas del sector público.

9

Raramente 20%

Frecuentemente 46.7%

Nunca 0%

Siempre 33.3%

Fig. 4. Uso de informes de la EFS por los MP como fuente de información

Fig. 5. Opiniones en el sentido de si los informes de la EFS ayudan a los MP en su trabajo

Fig. 6. Opiniones en el sentido de si la EFS contribuye eficazmente a garantizar el cumplimiento de la obligación de rendir cuentas del sector público

7. Alternativa: Encuesta de Opinión de Instituciones Públicas sobre las Repercusiones de

la labor de la EFS

La EFS de Lituania inició la encuesta de opinión de las instituciones estatales en el año 2004.

Una segunda encuesta tuvo lugar en el año 2005. Con el fin de garantizar la independencia de la

opinión de las instituciones públicas, se contrató los servicios de RAIT, una empresa encuestadora

independiente, en el verano de 2005.

No13%

Si87%

No12.5%

Si 87.5%

10

7.1. Encuesta a Instituciones Estatales Realizada por la Propia EFS

El objeto de la primera encuesta realizada en el año 2004 fue evaluar las actividades de la EFS

de Lituania y, lo más importante, conocer la opinión de las instituciones estatales sobre los cambios, es

decir, la reforma de la auditoria pública. Como ya se ha mencionado, en el año 2002 se realizó un

cambio del enfoque de control al enfoque de auditoría.

Metodología:

La población encuestada consistió de 41 instituciones estatales de 200 instituciones estatales

que reciben fondos del presupuesto estatal en virtud de una ley adoptada por el Parlamento.

Se encuestó solamente a instituciones fiscalizadas. Se utilizaron preguntas abiertas y cerradas.

Para fines estadísticos, cada pregunta tenía respuestas formuladas previamente; sin embargo, se dejó

espacio para los comentarios. Además, se incluyó dos preguntas de naturaleza abierta. Para garantizar

la confidencialidad de las opiniones y respuestas no sesgadas, no se permitió que los auditores públicos

se familiarizaran con las opiniones de las instituciones a las que ellos habían fiscalizado.

Posteriormente, se sintetizó y sistematizó la información.

Preguntas:

I. ¿Sabe que la EF ha implementado un nuevo concepto de auditoría pública y que las

auditorías públicas se realizan de acuerdo con principios de auditoría internacionales?

Respuestas: Sí o No

II. ¿Ve alguna diferencia entre las auditorías públicas realizadas en los años 2003-2004 y las

inspecciones que efectuaba la EFS en años anteriores?

Respuestas: Una gran diferencia, Sí, Una ligera diferencia, No.

III. ¿Las auditorías públicas realizadas en los años 2003-2004 han aportado (están aportando) a

su organización más beneficios en comparación con las inspecciones realizadas por la EFS en años

anteriores?

Respuestas: Mucho más; Más; Igual; Menos; Mucho Menos

IV. ¿Cómo evaluaría el profesionalismo de los auditores de la EFS en los años 2003-2004 en

comparación con los años anteriores?

Respuestas: Mucho mejor; Mejor, Igual; Menor; Mucho menor

V. ¿Cómo evaluaría la ética de los auditores de la EFS en los años 2003-2004 en comparación

con años anteriores?

Respuestas: Mucho mejor; Mejor; Igual; Peor; Mucho peor

11

VI. ¿Las auditorías públicas realizadas en los años 2003-2004 han revelado hechos más

importantes para su organización en comparación con las inspecciones efectuadas por la EFS en años

anteriores?

Respuestas: Mucho más; Más; Igual; Menos; Mucho Menos

VII. Otros comentarios

VIII. Sus propuestas

Resultados: Se recibieron respuestas del 72% de los clientes y sus empleados. De algunas

organizaciones se recibió un cuestionario resumido, mientras que otras presentaron cuestionarios

llenados por empleados individuales.

Resumiendo, se podría concluir que se obtuvo un cuadro general ya que no se produjeron

grandes diferencias en las respuestas – se recibieron evaluaciones y comentarios tanto positivos como

negativos.

Durante una encuesta realizada en el año 2004, el 73% de los encuestados indicó que las

auditorias públicas realizadas en los años 2003-2004 habían proporcionado (o estaban proporcionando)

“más” y “muchos más” beneficios a la organización que las inspecciones de años anteriores (“más” –

69%, “muchos más” – 4%). El 26% de los encuestados indicó “igual”.

Fig. 7. Beneficios proporcionados por las auditorías públicas de 2003−2004 realizadas por la EFS en comparación con inspecciones de años anteriores

La encuesta realizada en el año 2004 mostró que, en opinión del 73% de los encuestados, el

profesionalismo de los auditores de la EFS ha aumentado o aumentado considerablemente en

comparación con años anteriores (“mayor “ – 60%, “mucho mayor” – 13%). El 27% de los

encuestados indicó que el profesionalismo de los auditores siguió siendo “igual”.

Daugiau69%

Mažiau1%

Žymiai daugiau

4%

Žymiai mažiau

Tiek pat26%

Mayor 69%

Igual 26% Considerablemente

menor 0%

Menor 1%

Considerablemente mayor 4%

12

Fig. 8. Evaluación del profesionalismo de los auditores de las EFS en 2003−2004 en comparación con años anteriores

El objeto de la encuesta de 2005 fue evaluar el periodo de un año y no un periodo de transición

de reformas.

Metodología:

La población encuestada estuvo conformada por 91 instituciones estatales. Se encuestó

solamente a instituciones fiscalizadas (auditoría financiera – obligatoria; auditoría de rendimiento – en

algunas instituciones). Se emplearon preguntas abiertas y cerradas. Con fines estadísticos, cada

pregunta tenía respuestas preformuladas; sin embargo, se dejó un espacio para los comentarios.

Además, se incluyó dos preguntas de índole abierta. Con el fin de garantizar la confidencialidad de

las opiniones y las respuestas no sesgadas, no se permitió que los auditores públicos se familiarizaran

con las opiniones de las instituciones que ellos habían fiscalizado. Luego, se sintetizó y sistematizó la

información. A diferencia de la primera encuesta, en esta encuesta se especificó el cargo del

encuestado (jefe de la institución, director de finanzas y auditor interno)

Preguntas:

I. ¿Ha utilizado los informes de la EFS y el trabajo realizado por los auditores públicos como fuente de información para su trabajo en el año 2004?

Respuestas: Sí y No II. ¿La auditoría pública realizada en el año 2004 contribuyó eficazmente a: II.1. el mejoramiento de los estados contables y financieros de su organización Respuestas: Sí y No

Tiek pat27%

Žymiai blogiau

0%

Blogiau0%

Geriau60%

Žymiai geriau13%

Mejor 60%

Mucho peor 0%

Mucho mejor 13%

Peor 0%

Igual 27%

13

II.2. el mejoramiento del control interno y la auditoría interna en su organización Respuestas: Sí y No II.3. el mejoramiento de la planificación estratégica y la programación presupuestal en su

organización Respuestas: Sí y No II.4. la economía, la eficiencia y la eficacia de las actividades de su organización Respuestas: Sí y No II.5. el mejoramiento de la gestión, el uso y la disposición de los activos en su organización Respuestas: Sí y No II.6. otras áreas de actividades … III. ¿Cuál es su opinión acerca del profesionalismo y las competencias de los auditores

públicos en el año 2004 en comparación con años anteriores? Respuestas: Mayor; Igual; Menor IV. ¿Cuál es su opinión sobre la ética de los auditores públicos en el año 2004 en comparación

con años anteriores? Respuestas: Mejor; Igual; Peor V. Indique las áreas y aspectos de la actividad de la EFS que, en su opinión, necesitan

definitivamente mejorar.... VI. Otros comentarios y propuestas

Resultados: La tasa de respuesta fue 78%. Un 91% de jefes, director de finanzas y auditores internos de los encuestados manifestaron que

utilizaban los informes de la EFS y el trabajo de los auditores públicos como fuente de información, mientras que el 9% no los utilizaba.

Utilizar los informes

91%

No utilizar los informes

9%

Fig. 9. Uso de informes de la EFS y del trabajo de los auditores públicos por

instituciones estatales en 2004

Los jefes, director de finanzas y auditores internos de instituciones estatales indicaron que las

auditorías públicas realizadas en el año 2004 habían sido muy eficaces para mejorar el control interno y la

auditoría interna en sus organizaciones (Sí” – 93%, “No” – 7%). Además, las auditorías públicas

14

contribuyeron en gran medida a mejorar la gestión, uso y disposición de los activos (“Sí” – 86.5%, “No” –

13.5%) y de los estados contables y financieros (“Sí” – 85%, “No” – 15%).

En opinión de los encuestados, se ha hecho una contribución mucho menor a la economía,

eficiencia y eficacia de las instituciones (“Sí” – 76%, “No” – 24%) y al mejoramiento de la

planificación estratégica y la programación presupuestal (“Sí” – 53%, “No” – 47%). Cuando se evalúa

estos resultados, se debe tomar en cuenta la muestra: se encuestó instituciones estatales en las que se

realizó auditoria financiera en 2004 independientemente de que se haya efectuado o no una auditoría

de rendimiento).

Fig. 10. Eficacia de auditoria pública según el área de auditoría

Mejoramiento de informes financieros de instituciones estatales

Incrementar la transparencia del sector

público es uno de los objetivos del programa de

EFS. Un criterio de evaluación formulado para

este objetivo es la porción de opiniones positivas

y con reservas sobre los estados financieros de las

instituciones estatales por categorías de entidades

fiscalizadas.

En el año 2004, el valor objetivo del

criterio fue superado en 9 puntos porcentuales

(valor objetivo 85%, valor real 94%).

Fig. 11.Porción de opiniones positivas y con reservas del número total de opiniones sobre los

estados financieros de instituciones estatales

85%94%

2004Objetivo Actual

Vidaus kontrolėsir vidaus audito

tobulinimo

Turto naudojimogerinimo

Buhalterinėsapskaitos irfinansinės

atskaitomybėstobulinimo

Veiklosefektyvumo

Strateginioplanavimo irbiudžetinio

programavimo

Prisidėjo Neprisidėjo

Control interno y

mejoramiento de

la auditoría

interna

Mejoramiento de

la utilización de

activos

Mejoramiento del

sistema de

contabilidad y de

las estados

financieros

Rendimiento Planificación

estratégica y

Programación

Presupuestal

Contrubuyó No Contrubuyó

15

Evaluación de calidad En los meses de enero y febrero de 2005, la EFS realizó una encuesta para conocer las

opiniones de instituciones estatales sobre sus actividades. La EFS trató de obtener opiniones de jefes,

director de finanzas y auditores internos sobre la calidad del trabajo de la EFS, cambio en el

profesionalismo de los auditores públicos y el carácter adecuado de las recomendaciones de los

auditores públicos.

El 64% de los encuestados indicaron que el profesionalismo y las competencias de los auditores

públicos habían aumentado en comparación con años anteriores. El 58% manifestó que en el año 2004

la conducta ética de los auditores públicos

había mejorado en comparación con años

anteriores.

El 81% de los encuestados respondió

que las recomendaciones formuladas

durante las auditorías públicas eran

profesionales y adecuadas, mientras que el

18% indicó que las recomendaciones fueron

formales y poco significativas. El 1% de los

encuestados sostuvo que las

recomendaciones fueron inadecuadas y no

factibles.

7.2. Encuesta a Instituciones Estatales Fiscalizadas Realizada por Empresa Encuestadora

Encuesta de RAIT en 2005

Para tener garantías en cuanto a la veracidad de la opinión de las instituciones públicas, la EFS

convocó a una licitación en el año 2005 como resultado de la cual se eligió a la empresa encuestadora

RAIT para conducir una encuesta que permitiera conocer la opinión de entidades objeto de auditoría

pública (clientes) sobre los servicios prestados por la EFS y las relaciones entre los auditores y el

personal de las entidades fiscalizadas.

Metodología:

Métodos: Una entrevista minuciosa y estructurada a una persona para obtener la opinión,

evaluaciones, actitudes y experiencias del encuestado en relación con el tema que se estaba analizando.

Población: 40 personas de instituciones que reciben recursos del presupuesto estatal (jefes y

director de finanzas).

Duración de la encuesta: 30-40 min.

Fig. 12. Evaluación del carácter adecuado de las recomendaciones formuladas por auditores públicos

81% Inadecuadas1%

18%Profesionales

Poco Significativos

16

Para comprender por qué los jefes de las entidades fiscalizadas sostienen algunas opiniones

sobre la EFS y sus servicios, se utilizó una metodología de evaluación cualitativa (entrevista minuciosa

estructurada). Una entrevista minuciosa es un método de investigación cualitativa mediante el cual se

recopila información entrevistando directamente a una persona a la vez según un plan uniforme

previamente formulado para obtener la opinión, evaluaciones, actitudes y experiencias del encuestado

en relación con el tema que se está analizando. Esto permite que el entrevistador pueda aclarar

opiniones más que determinar hechos. Es importante observar que las encuestas cualitativas no

permiten la interpretación estadística de datos debido a un alcance demasiado pequeño de la muestra

en comparación con la población. Las encuestas cualitativas permiten identificar tendencias de

opinión, evaluaciones y actitudes, mientras que las conclusiones son de carácter descriptivo.

Participantes en la encuesta: Se seleccionó por sorteo a 20 instituciones de un número total de

instituciones presupuestarias (se adjunta la lista de instituciones). Se realizaron dos entrevistas directas

detalladas en cada institución; la entrevista duró aproximadamente 1 hora. Se entrevistó a dos

funcionarios en cada institución:

- jefe de institución (o su representante autorizado u otra persona nombrada por el jefe);

- gerente de finanzas (o jefe de contabilidad o una persona nombrada por éste).

Se eligieron estos cargos para recabar opiniones de la alta gerencia sobre la EFS de Lituania y

para formular recomendaciones dirigidas a mejorar las relaciones con las entidades fiscalizadas.

Resultados:

Los resultados de la encuesta son similares a los resultados obtenidos durante la encuesta

realizada por la propia EFS. Los representantes de las entidades fiscalizadas de diferentes categorías

expresaron una opinión muy similar sobre los servicios prestados por la EFS. Si se considera en su

totalidad las respuestas de los jefes y directores de finanzas, no se puede identificar diferencias

esenciales.

7.3. Uso de Encuestas a Instituciones Públicas Realizadas por los Medios de

Comunicación

Una encuesta realizada por la revista VEIDAS en julio- agosto de 2005 se presenta como un

ejemplo de evaluación alternativa.

Metodología:

Se entrevistó a representantes de 98 de las instituciones estatales más importantes. Se

seleccionó a altos funcionarios públicos para las entrevistas como, por ejemplo, secretarios

ministeriales, viceministros (políticos y empleados no públicos) y jefes de instituciones, que sumaron

17

en total 150 entrevistados. Durante las entrevistas, se presentó listas con las 98 instituciones estatales

más importantes y 150 personas que ocupaban cargos muy importantes en el servicio público. Se pidió

a las personas entrevistadas que eligieran 3 instituciones que fueran las más modernas, “Europeas” y

confiables, que tuvieran una óptima administración y que prestaran excelentes servicios – las

“mejores” instituciones, en otras palabras. También les pidieron que señalaran a 5 empleados públicos

muy profesionales, progresistas, altamente calificados y de optima preparación académica que

estuvieran a la altura de las expectativas, es decir, empleados públicos “modelos” en altos puestos.

Resultados:

La EFS de Lituania ocupa el décimo puesto entre las 98 instituciones.

El Contralor del Estado (Auditor General) ocupa el sexto lugar entre 150 altos funcionarios.

8. Alternativa: Encuesta de Opinión Pública sobre las Repercusiones de la Labor de la

EFS

El público, ciudadanos y contribuyentes (en adelante denominados “ciudadanos”) constituyen

los principales actores sociales para una EFS. El Parlamento, el gobierno y las instituciones estatales

son solamente intermediarios u organismos que expresan la voluntad de la ciudadanía.

Entre otros objetivos, una EFS normalmente se fija los siguientes objetivos:

• Contribuir a la elaboración de un sistema contable eficaz y proporcionar información

a los ciudadanos;

• Promover la obligación de rendir cuentas del Estado a los ciudadanos;

• Fomentar la publicidad y transparencia de la información sobre el uso de los fondos y

activos públicos.

Cabe notar que el propósito de una auditoría pública bien realizada es infundir en los

ciudadanos confianza en los estados financieros públicos, las actividades de las entidades fiscalizadas

y el estado al mismo tiempo.

¿Cómo se debería medir los beneficios que proporciona una EFS a la sociedad? Todas las

formas de evaluación antes mencionadas, por supuesto, se relacionan con la medición de dichos

beneficios. Sin embargo, surge una pregunta en cuanto a si el público comprende los beneficios de la

misma forma. Las encuestas de opinión publica son una de las formas que permiten determinar la

opinión pública. Naturalmente, no existe una relación absoluta entre las actividades de la EFS y las

actitudes del público hacia ella. Por otro lado, ¿conoce el público las actividades de las instituciones

estatales lo suficiente como para evaluarlas? Por ejemplo, para realizar una encuesta sobre las

instituciones públicas y altos funcionarios, la revista VEIDAS tuvo la intención de ordenar una

encuesta sociológica de los residentes lituanos; sin embargo, más tarde abandonó la idea pues se sabía

18

de encuestas previas que sólo un número muy pequeño de funcionarios es conocido por la mayoría de

las personas; por lo tanto, no era posible realizar tal evaluación: 4/5 de los encuestados dijo “No sé”,

“No opino” o “Es difícil decirlo” cuando les pidieron que evaluaran las actividades de ciertos

funcionarios importantes; el 1/5 restante tendió a evaluar las declaraciones de los funcionarios en los

medios de comunicación o su imagen en vez de sus actividades o trabajo.

Pero no olvidemos que las repercusiones de una EFS se muestran mejor con un conjunto de

indicadores. La EFS de Lituania utiliza resultados publicados de encuestas de opinión pública.

El público ha mostrado confianza en la EFS de Lituania en el periodo de 1995-2005 (A

continuación se presenta los resultados de Baltijos Tyrimai UAB, una empresa de encuestas de opinión

pública).

Fig. 13. Confianza del público en la EFS de Lituania, %

Al igual que otros métodos de evaluación, los sondeos de opinión pública no están protegidos

de los errores. ¿Cómo se puede determinar el alcance de los errores? Como ya se ha mencionado

anteriormente, una de las formas es establecer si las tendencias de la opinión pública se correlacionan

con otros resultados. Uno podría decir “Sí”. En el año 2002, la EFS de Lituania inició la transición a

un enfoque de auditoría. Con este propósito, la Unión Europea dio su ayuda mediante dos proyectos

PHARE. El proceso de transferir experiencia de la NAO del Reino Unido y las EFS de otros países

como Suecia, Dinamarca, España, Portugal, Finlandia, etc. ha sido muy activo. Del diagrama se

Confianza

Porc

enta

je

EFS

19

puede ver que la confianza del público en la EFS de Lituania ha aumentado de 26% al final del año

2002 a 40%. Esta tendencia se ve confirmada en una encuesta realizada a instituciones

presupuestarias, cuyos resultados muestran que estas instituciones tienen una opinión favorable sobre

la reforma antes mencionada ejecutada por la EFS.

Fig. 14. Confianza del público en la EFS de Lituania, %

Fig. 14. Desconfianza del público en la EFS de Lituania, %

Inicio de reforma

Confianza

Porc

enta

je

EFS

EFS

Inicio de reforma

Desconfianza

Porc

enta

je

20

Por otro lado, la opinión pública tiende hacia una fluctuación que depende tanto de las

repercusiones de la institución estatal que se está analizando como de la imagen forjada por los medios de comunicación. Por ejemplo, el grado de evaluación positiva se redujo en ¼ en el año 2004, lo que se puede explicar por las publicaciones negativas sobre el manejo de los activos por parte de la EFS.

Las encuestas alternativas son otro método de corroborar los resultados de los sondeos de opinión pública. En el año 2005, la EFS acordó con Lietuvos Rytas – el diario más importante de Lituania – que otra empresa de opinión pública, Vilmorus, realizara una encuesta sobre la EFS. Los resultados de ambos sondeos coinciden con una precisión de 1 punto porcentual. Sin embargo, existen grandes diferencias en la porción del público que no confía en la EFS (en un caso ~35%, en el otro ~20%) y en la porción del público que no opina sobre la EFS (~27% y ~45% respectivamente).

Otro parámetro de sondeo de opinión pública es la porción del público que no opina sobre la

EFS, lo que muestra a qué sectores del público llega o no la información sobre la EFS. En nuestra opinión, esta porción no ha sufrido prácticamente ningún cambio durante 6 años. Se podría concluir que la información sobre las acciones y la reforma de auditoría pública conducida por la EFS llega solamente a quienes han tenido dicha opinión anteriormente.

Fig. 15 Porción del público que no opina sobre la EFS, %

No opina

Porc

enta

je

EFS

21

CONCLUSIONES Los indicadores mencionados en esta ponencia (tanto internos como externos) tienen varias

carencias como la incompatibilidad parcial (incomparabilidad), manifestación de diferentes características, carácter limitado (es decir, no son amplios ni cubren todos los aspectos de las auditorías).

De modo que, ya que no existe una metodología oficialmente aprobada para medir las repercusiones de la auditoría pública, cada EFS emplea métodos tradicionales para determinar las repercusiones que se han dado en su propia experiencia. Estos métodos tradicionales deberían considerarse con ojo muy crítico por razones comprensibles, en especial por la falta de criterios objetivos en las metodologías.

En nuestra opinión, este problema seguirá sin resolverse hasta que entidades fiscalizadoras internacionales (de ser posible) formulen metodologías específicas para medir las repercusiones de la auditoría pública.

Surge una pregunta, que es importante tanto en la práctica como en la teoría, ¿Cuál es la línea base para establecer el “punto de referencia” y la unidad de medición para evaluar las repercusiones de la auditoría pública? ¿Cuál es la base para establecer este valor? Una cosa es clara – las repercusiones de la auditoría pública se deben evaluar, ante todo, en términos pragmáticos, es decir en términos de uso práctico.

En segundo lugar, dado que la auditoría pública no puede evaluarse unilateralmente pues es compleja tanto por su estructura interna como en su integridad, sus resultados finales, eficiencia y repercusiones sólo se pueden expresar mediante un conjunto de indicadores y no con un único indicador.

Referencias: Página web del Gobierno de la República de Lituania. Página web de la EFS de Lituania. Informes de la EFS de Lituania 1995 – 2004 A. Katkus. Control Económico Estatal. 1997

----------- ES/PE 182754A5.3