spacer

Progetto Prin 2009

Problemi e soluzioni per la valutazione della performance nella pubblica amministrazione

Coordinatore scientifico: Andrea Ichino
Dipartimento di Scienze Economiche Università di Bologna

Altre unita' operative

Giorgio Brunello
Dipartimento di Scienze Economiche Università di Padova

Maria De Paola
Dipartimento di Scienze Economiche Università della Calabria

 

Abstract in italiano

La valutazione della performance della Pubblica Amministrazione (PA) è fondamentale per ogni sistema economico avanzato. Se a livello macroeconomico la contabilità nazionale non riflette il vero valore aggiunto della PA, a livello microeconomico servono misure di produttività individuale o di gruppo per allocare efficientemente le risorse e fornire incentivi corretti ai dipendenti pubblici. La definizione di queste misure pone domande interessanti e complesse.
Il problema è serio in Italia dove molti indicatori suggeriscono che la deludente performance dei servizi pubblici rappresenti un fardello che limita la crescita. Un segnale di quanto sia importante il problema per i policy makers e per l'opinione pubblica è che le sole riforme introdotte dall'attuale governo senza quasi opposizione in Parlamento, sono quelle tese ad inserire qualche forma di valutazione nella PA. Questa convergenza politica ha cambiato il dibattito: il consenso è ora quasi unanime riguardo alla necessità di qualche forma di valutazione, mentre è aperta e vivace la discussione su come valutare.

La mancanza di un orientamento condiviso in tal senso è in parte dovuta all'assenza di risultati consolidati della letteratura scientifica riguardo alle pratiche da seguire nella valutazione dei lavoratori, delle scelte organizzative, delle procedure e delle politiche nei servizi pubblici. La definizione di queste pratiche nel settore pubblico pone problematiche più complesse che nel settore privato per le ragioni che questo progetto di ricerca vuole esaminare al fine di individuare soluzioni operative. Tra queste ragioni, quelle più rilevanti sono:

A) La difficoltà di definire e misurare il risultato di interesse, dato che in molti settori della PA la produttività non può essere misurata in termini monetari né utilizzando altre unità di misura ben definite e da tutti accettate.


B) I problemi etici che limitano l'uso di metodi sperimentali di valutazione e che sono più rilevanti nel caso della PA, poiché la differenziazione creata da un esperimento controllato nei servizi offerti ai cittadini oppure nel trattamento riservato ai lavoratori è più difficile da accettare.

C) Quasi in tutti i settori della PA, e più che nel privato, l'output è il risultato di un lavoro di gruppo e ciò accresce gli ostacoli che si incontrano quando si voglia valutare il contributo del singolo lavoratore per definire un legame tra performance e retribuzione.

D) In relazione al punto C, la valutazione relativa della performance, molto utilizzata nel settore privato, risulta più problematica nel settore pubblico poiché tende ad ostacolare la cooperazione tra i lavoratori e può introdurre incentivi al sabotaggio del lavoro di gruppo. Si noti che la L. 15/3/2009 (“Legge Brunetta”) introduce la valutazione relativa della performance come principale criterio di valutazione dei dipendenti pubblici.

E) Da più parti si ritiene che il lavoro svolto da alcuni dipendenti pubblici (infermieri, insegnanti, ricercatori, giudici) costituisca una “missione” per la quale è di fondamentale importanza la motivazione intrinseca. In tal caso, come mostrato in letteratura, la valutazione, il monitoraggio e gli incentivi monetari possono produrre risultati opposti a quelli che si determinano in altri contesti, poiché possono de-motivare i lavoratori offendendo il loro spirito cooperativo e riducendo, quindi, la loro motivazione intrinseca, nonché produrre selezione avversa nei processi di selezione (ossia attirare lavoratori animati solo da interessi economici e non da “autentica motivazione”);

F) infine, urge risolvere il problema della valutazione nel settore pubblico, ma allo stesso tempo è rischioso e pericoloso introdurre un sistema di valutazione senza un'adeguata preparazione, non informando i lavoratori su come saranno valutati e senza dare loro il tempo di prepararsi in vista del processo di valutazione.

Il nostro progetto di ricerca vuole esaminare tali questioni in tre contesti specifici:

1) Istruzione
2) Giustizia
3) Assenteismo dei lavoratori pubblici

In tutti i casi saranno utilizzati dati amministrativi raramente o mai analizzati in passato. Quando necessario, il progetto distinguerà tra la valutazione dei dipendenti pubblici e degli uffici pubblici e la valutazione dell'impatto prodotto da politiche specifiche che hanno interessato il settore. Questi due aspetti della performance della PA presentano problematiche specifiche da trattare separatamente. Tuttavia, sono accomunati dalle difficoltà evidenziate in precedenza che ne giustificano un'analisi coordinata e parallela.

Le tre unità coinvolte riuniscono alcuni dei ricercatori che oggi in Italia sono più attivi nello sviluppo di metodi e strategie per la valutazione della PA. Alcuni di loro hanno già collaborato su temi di ricerca specifici e se riceveranno il finanziamento potrà stabilirsi tra loro una cooperazione ancora più proficua in relazione alle linee e agli obiettivi di ricerca descritti in quanto segue.

Abstract in inglese

Evaluating the performance of the Public Administration (henceforth PA) is of fundamental importance for an advanced economy. At the macro level, national accounts do not reflect value added generated by the PA. At the micro level, we need measures of individual or team productivity in order to allocate resources efficiently and to provide correct incentives to public employees. This is an issue that raises interesting and difficult research questions.
The problem is particularly serious in Italy where several indicators suggest that the poor performance of public services and public employees is a burden that severely limits economic growth. A significant sign of how important the problem is for policy makers and the public opinion is that the only reforms introduced by the current government that passed almost without opposition in the Italian Parliament were those aimed at introducing some form of evaluation in the PA. As a result of this surprising convergence of the political spectrum, in most branches of the PA (education, research, justice, health, public services), the debate on "if and how to evaluate" is raving at all levels of the hierarchies: almost everybody agrees that some form of evaluation is needed but there is no consensus on how to do it.

The lack of consensus in the public opinion debate is partly determined by the absence of sufficiently consolidated results in the scientific literature on the best practices to evaluate workers, organizational choices, procedures and policies in the public services. These practices appear indeed more difficult here than in the private sector for several reasons that the present research project wants to study in detail with the goal of finding operational solutions. Specifically the most important of these reasons are:

A) The difficulty to define and measure the outcome of interest, given that in most public jobs output cannot be measured in monetary values, nor in other well defined units of measurement.


B) The need to address the ethical concerns that limit the use of conventional evaluation methods based on experiments. These concerns are stronger in the case of the PA inasmuch as an experimentally controlled differentiation of its services among citizens and different treatment for workers is less acceptable.

C) Practically everywhere, and more than in the private sector, the output of the PA is the result of teamwork, and this increases the difficulty of evaluating the contribution of individual workers and of designing their reward accordingly.


D) Related to point C, tournaments and relative performance evaluation methods which are largely used in the private sector, are more problematic in the public sector, inasmuch as they limit cooperation among employees and may foster sabotage of teamwork. Note that Law 15 of March 2009 (henceforth Brunetta Law) has selected relative performance as the main criterion for evaluating and rewarding individual workers in public offices.

E) In the case of some public employees (e.g. nurses, teachers, researchers, judges), it is often argued that their work is a "mission" that is rewarded by intrinsic motivation. In these cases, as extensively shown in the literature, evaluation, control and monetary incentives can produce opposite results than in other contexts, because they can de-motivate workers, kill intrinsic motivation, offend their cooperative spirit and produce adverse selection at hiring (i.e. they could attract a larger pool or workers with no intrinsic motivation but only monetary motivation).

F) Finally, it is urgent to solve the problem of evaluating the public sector, but at the same time it is risky and dangerous to introduce an evaluation system without adequate preparation, without informing workers about what will be evaluated and without giving them the time to prepare for the evaluation.

Our research project addresses these issues in the context of three specific applications:

1) Education

2) Justice
3) Absenteeism of public employees

In all cases we will use new administrative data sources rarely or never analyzed before. Whenever appropriate and useful, the project will distinguish between the evaluation of individual public workers and offices in their normal daily functioning and the evaluation of the impact of specific policies and interventions by public authorities. These two different aspects of the performance of the PA have their own specific problems that require to be addressed separately, but also share many of the difficulties highlighted above. This justifies a parallel and coordinated treatment.
The three units involved in this project bring together some of the researchers who today in Italy are more actively involved in developing methods and strategies for the evaluation of the PA. Some of them are already cooperating on specific issues, and if this project is financed, more fruitful cooperation will emerge along the lines and with the goals described in what follows.

 

DOCUMENTI

pdf   Modulo A della domanda di finanziamento
pdf   Modulo B della domanda di finanziamento: unita' di Bologna
pdf   Programma del workshop di conclusione del progetto
pdf   Relazione finale

 

PUBBLICAZIONI DI ANDREA ICHINO RELATIVE AL PROGETTO

pdf  

The inefficiency of worker time use
with Decio Coviello and Nicola Persico

Forthcoming: Journal of the European Economic Association

Here you can find the appendix not for publication.

Here you can find a previous version of the paper in which the economet-
ric analysis was based on the estimation of the conditional expectation
function of the duration of cases instead of on the estimation of a Cox Proportional hazard model, as in the most recent version.

pdf  

Time allocation and task juggling
with Decio Coviello and Nicola Persico

American Economic Review

    Facolta' di Scelta: L' universita' salvata dagli studenti. Una modesta proposta
with Daniele Terlizzese
pdf  

Il Rapporto sulla Sperimentazione " Valorizza"
Questa sperimentazione e' stata lanciata dall Miur nel 2011 "Per individuare e premiare gl insegnanti che si distinguono per un generale e comprovato apprezzamento professionale all'interno di ogni scuola." Qui potete leggere la sintesi del rapporto e qui la lettera la lettera di Dirk Van Damme dell'OCSE, inviata al Ministro per incoraggiare la ripetizione della sperimentazione. Purtroppo il suggerimento non e' stato seguito.

 

 

spacer