Nell'ambito dell'attività di sorveglianza
del Quadro Comunitario di Sostegno per le Regioni dell'Obiettivo 1, 2000-2006, è attribuita all'Unità di verifica degli investimenti pubblici (UVER) una funzione
di supporto all'Autorità di Gestione e al
Comitato di Sorveglianza del QCS (QCS, capitolo 6, paragrafo
6.4, punto 6.4.3).
La funzione, da svolgersi "in posizione di indipendenza
funzionale", si articola in due tipologie di attività:
a) "verifiche sulla corretta e tempestiva attuazione
degli interventi";
b) "verifiche mirate al controllo di qualità dei sistemi strumentali all'attuazione della programmazione
2000-2006".
In particolare, la seconda funzione viene specificata con maggiore dettaglio
attribuendo all'UVER la funzione di controllo di qualità delle procedure
di monitoraggio.
L'UVER è incaricata della validazione e
del controllo di qualità delle procedure di raccolta,
aggregazione e trasmissione dei dati "…al fine di verificarne la coerenza, la sicurezza e l'affidabilità mediante
controlli casuali su campioni significativi di informazioni".
Una specifica procedura permette l'individuazione
tempestiva dei "punti di crisi".
L'attribuzione all'UVER della funzione suddetta
risponde alla esigenza di qualità dei dati espressa dalla Commissione Europea nel Reg. CE 1260/99.
Il piano di attività
Nel dicembre 2001, l'UVER ha prodotto il documento
"Il
controllo di qualità del Sistema di monitoraggio dei Fondi Strutturali Comunitari per il periodo 2000-2006" (pdf, 483 kb), che contiene la metodologia e il piano di attività.
Quest'ultimo, sviluppato su base pluriennale, è suddiviso in tre fasi:
1) Indagine sull'organizzazione e le caratteristiche del sistema di monitoraggio
Consiste nella realizzazione di una indagine mirata a valutare le caratteristiche
delle risorse (umane e informatiche) e l'organizzazione dei sistemi di
monitoraggio e dei flussi informativi tra le varie istanze del processo di produzione dell'informazione, per
ciascun Programma Operativo.
2) Indagine sulla performance del sistema di monitoraggio
Ha lo scopo di misurare e identificare eventuali punti critici del processo
di monitoraggio attraverso indicatori di performance che possono essere considerati come segnali
proxy della qualità dei dati.
3) Indagine sulla qualità dei dati di monitoraggio
Consiste nella valutazione campionaria della qualità come
funzione della distanza tra il dato registrato nel sistema di monitoraggio e il dato vero, cioè quello che
si sarebbe dovuto ottenere applicando correttamente la normativa.
Le fasi sono logicamente
e temporalmente collegate: in particolare l'indagine sulle caratteristiche
dei sistemi di monitoraggio è propedeutica alle
altre due fasi perché ne costituisce la base conoscitiva,
consentendo un migliore adattamento del piano di lavoro
alle condizioni reali riscontrate sul campo.
Il perseguimento degli obiettivi implica l'individuazione
e l'implementazione delle procedure di controllo,
ovvero di un Sistema di Controllo della Qualità che
registri le informazioni derivanti da tali procedure.
Il sistema di controllo dovrà essere in grado
di fornire elementi conoscitivi per individuare eventuali
punti critici del sistema di monitoraggio come base di
proposte di correttivi al sistema stesso. Lo schema che
segue rappresenta il modello adottato per individuare
l'oggetto, gli obiettivi e i metodi del controllo
di qualità.
Il modello di controllo di qualità dei sistemi di monitoraggio
Il primo livello è costituito dai processi reali
di implementazione dei POR e dei PON che forniscono informazioni
di input al sistema di monitoraggio (il secondo livello)
il quale le elabora e genera sia dati "certificati" che
informazioni per rimuovere eventuali criticità nei
processi.
Il terzo livello, di competenza dell'UVER, e finalizzato
alla elaborazione delle informazioni provenienti dal
secondo livello, si avvale anche dei risultati di verifiche
ad hoc per fornire le dovute valutazioni sulla qualità del
sistema di monitoraggio esaminato e per rimuovere eventuali
criticità residue.
La costruzione del sistema di controllo di qualità si
configura, quindi, come un processo dinamico ex-post, in quanto può essere costruito solo sulla base
delle informazioni disponibili, suscettibili, tra l'altro,
di cambiamenti nel corso del tempo.
L'indagine dell'UVER sull'organizzazione e le caratteristiche dei sistemi di monitoraggio
Successivamente alla redazione del documento metodologico sono iniziate l'attività operativa della
prima fase del lavoro (rilevazione dei dati sulle caratteristiche
dei sistemi di monitoraggio) e la messa a punto degli strumenti conoscitivi e degli indicatori sulla base delle
informazioni acquisite.
L'indagine (pdf, 951 kb) ha avuto
l'obiettivo non solo di raccogliere i dati ma anche
di mettere a punto i modelli di rilevazione, il metodo
di intervista, i concetti utili per l'analisi e la rappresentazione statistica
del sistema di monitoraggio, descritto non solo come
un fenomeno di stato ma anche in termini di flussi.
È stata operata una distinzione tra i concetti
di sistema di monitoraggio e sistema informativo, dove il primo assume un'accezione più ampia del
secondo, che è limitato al software che supporta le funzioni del monitoraggio; ad ogni sistema di monitoraggio
di un POR o di un PON può essere associato più di un sistema informativo.
Un altro concetto che è stato introdotto è quello
di processo di monitoraggio, definito come la sequenza
delle operazioni necessarie al trattamento dei dati di
monitoraggio; sequenze differenti definiscono processi
differenti. Un sistema di monitoraggio può essere
costituito da più processi; ad ogni processo è associato
un sistema informativo anche se uno stesso sistema informativo
può essere utilizzato da più processi.
L'acquisizione delle informazioni necessarie per
conoscere e rappresentare l'organizzazione e le caratteristiche dei sistemi di monitoraggio dei PON e
dei POR, è stata effettuata mediante modelli di rilevazione, riguardanti:
a) l'organizzazione del sistema di monitoraggio;
b) l'organizzazione dei flussi informativi;
c) l'organizzazione e le caratteristiche delle risorse utilizzate nel monitoraggio (umane e informatiche);
d) le attività formative poste in essere ai fini dell'attività di monitoraggio;
e) le caratteristiche del sistema informativo utilizzato per il monitoraggio;
f) i dispositivi di sicurezza adottati per la conservazione
dei dati di monitoraggio;
g) la conservazione di informazioni per gli indicatori di performance del
sistema di monitoraggio, nonché la costruzione di indicatori di criticità dello
stesso;
h) gli aspetti inerenti la diffusione delle informazioni.
L'indagine dell'UVER si è sviluppata
in fasi successive: nella prime due fasi, in cui è stato
anche testato il modello di rilevazione, sono stati acquisiti
i dati relativi ai POR ed ai PON; mentre nella terza, con un nuovo modello di rilevazione, sono state aggiornate
le informazioni già rilevate nella prima fase.
Il controllo di qualità del sistema di monitoraggio dei fondi strutturali
