Análise da eficácia na execução orçamentária pública por meio de indicadores de desempenho que podem ser utilizados pela auditoria

Abstract

Esta pesquisa tem como objetivo apresentar proposta de conjuntos de indicadores de desempenho que podem ser utilizados nas auditorias dos tribunais de contas estaduais para avaliar a eficácia dos gastos orçamentários com a educação, saúde e segurança pública. Para isso, aplicou-se as técnicas estatísticas de Data Envelopment Analysis em dois estágios e estimação de modelos longitudinais lineares de regressão para dados em painel curto strongly balanced sobre os gastos orçamentários realizados no período de 2015 a 2019 por todos os Estados e Distrito Federal. Concomitante, verificou-se por meio de checklist a influência dos elementos da teoria tridimensional do direito (TTD) na elaboração e execução dos orçamentos, e identificou-se quais indicadores de desempenho são usados nos PPAs previstos e realizados. Com a finalidade de medir a eficácia dos conjuntos de indicadores propostos, analisou-se os resultados sugeridos por cada indicador com os gastos realizados por cada ente público. Em seguida, apresentou-se os resultados das análises aos auditores dos tribunais de contas estaduais, por meio de questionário google forms, com a finalidade de legitimar os referidos conjuntos de indicadores. Os resultados apresentados indicam que: os elementos da TTD influenciam significativamente a elaboração e execução orçamentária; não foram encontrados indicadores de desempenho para medir o grau de eficácia das ações realizadas nos PPAs; os percentuais usados para comparar o grau de realização em relação ao previsto são registrados como indicador de desempenho nos PPAs; pouca ou nenhuma atenção é dada aos registros de realização das ações previstas nos PPAs; foram encontrados registros de ações em duplicidade nos PPAs por alguns entes públicos; foi identificado superavaliação nos registros dos recursos previstos na maioria dos PPAs; o grau de explicação estatística dos conjuntos de indicadores alcançaram em média 80% de confiança; nenhum ente público apresentou eficácia em 100% nos gastos realizados e os indicadores apontam quais ações orçamentárias necessitam de intervenções; 70% dos auditores dos tribunais de contas questionados, legitimaram os conjuntos de indicadores propostos para avaliar a eficácia dos gastos com a educação, saúde e segurança pública estadual em 70,3%. Por fim, conclui-se que os indicadores de avaliação de desempenho propostos podem ser utilizados nas auditorias pelos tribunais de contas para verificar a eficácia da execução orçamentária estadual.

Abstract: This research aims to present a proposal for sets of performance indicators that can be used in audits of state audit courts to evaluate the effectiveness of budget spending on education, health and public safety. For this, we applied the statistical techniques of two-stage Data Envelopment Analysis and estimation of longitudinal linear regression models for short panel data strongly balanced on budget expenditures made in the period from 2015 to 2019 by all states and the Federal District. Concomitantly, it was verified by means of a checklist the influence of the elements of the three-dimensional theory of law (TTD) in the preparation and execution of the budgets, and it was identified which performance indicators are used in the planned and executed PPAs. In order to measure the effectiveness of the proposed sets of indicators, the results suggested by each indicator were analyzed with the expenditures made by each public entity. Then, the results of the analysis were presented to the auditors of the state audit courts, by means of a Google forms questionnaire, with the purpose of legitimizing the sets of indicators. The results presented indicate that: the elements of the TTD significantly influence budget preparation and execution; no performance indicators were found to measure the degree of effectiveness of the actions carried out in the PPAs; the percentages used to compare the degree of achievement against the forecast are recorded as a performance indicator in the PPAs; little or no attention is given to the accomplishment records of the actions foreseen in the PPAs; records of duplicate actions were found in the PPAs by some public entities; overestimation was identified in the records of the resources foreseen in most PPAs; the degree of statistical explanation of the sets of indicators reached on average 80% confidence; no public entity presented 100% effectiveness in spending and the indicators point out which budget actions require interventions; 70% of the auditors of the audit courts questioned, legitimized the sets of indicators proposed to evaluate the effectiveness of spending on education, health and state public safety by 70.3%. Finally, it is concluded that the proposed performance evaluation indicators can be used in audits by the audit courts to verify the effectiveness of state budget execution.