Dati aperti, appalti trasparenti

Il PNRR e le banche dati OpenCUP, ANAC e OpenBDAP

2022-11-12

Intro

onData è un’associazione promuove l’apertura dei dati pubblici per renderli un bene comune.

Oggi insieme

I dati e le informazioni disponibili per seguire il PNRR sono pochi, e noi di #datiBeneComune insieme all’Osservatorio Civico PNRR chiederemo ancora una volta al Governo di colmare questi vuoti.

Tra i dati disponibili, quelli di:

OpenCUP;
ANAC;
OpenBDAP.

Due parole su ItaliaDomani

Sono elencati soltanto circa 5.000 progetti, risalenti al 13/05/2022;
Le informazioni di maggiore dettaglio presenti riguardano soltanto un miliardo di euro;
Sono presenti le informazioni su sole quattro procedure di gara.

OpenCUP

OpenCUP mette a disposizione di tutti - cittadini, istituzioni ed altri enti - i dati, in formato aperto, sulle decisioni di investimento pubblico finanziate con fondi pubblici nazionali, comunitarie o regionali o con risorse private registrate con il Codice Unico di Progetto.

Il Codice Unico di Progetto (CUP) è il codice che identifica un progetto d’investimento pubblico ed è lo strumento cardine per il funzionamento del Sistema di Monitoraggio degli Investimenti Pubblici (MIP).

🚀 Su OpenCUP “arriva il PNRR”

Se il progetto rientra tra linee di finanziamento previste dal PNRR, tra le informazioni richieste, è obbligatorio registrare anche:

Tematica PNRR (Missione, Componente, Misura e Sub-investimento se previsto)
Target previsto: per compilare in modo corretto, deve essere indicato almeno un target tra quelli previsti. Se la misura/o sub-misura prevede più di un target, valorizzare a 0 i campi non necessari.
Data completamento prevista del progetto

I dati OpenCUP

Bello il motore di ricerca, ma …

se ho 100 CUP??!!
faccio 100 ricerche??!!
faccio 100 copia e incolla di pagine non tabellari??!!
se voglio ripetere la ricerca automaticamente il primo del mese??!!
se voglio collegare automaticamente questi dati ad altri??!!

🧮 I dati aperti di OpenCUP

Lavori pubblici, Incentivi e Contributi per calamità naturali:

Progetti - dataset relativo ai corredi informativi dei progetti
Localizzazione - dataset relativo alle localizzazioni dei CUP
Soggetti - dataset relativo alle anagrafiche dei Soggetti titolari/richiedenti dei CUP
Fonti di copertura - dataset relativo alle fonti di copertura finanziaria associate ai CUP
Link interoperabilità - dataset relativo ai CUP che presentano link ad atri portali open data

🧮 I dati aperti di OpenCUP

sono dati grossi
- 13.299.899 righe x per 91 colonne, circa un miliardo e duecento milioni di celle;
- 18 GB di dati;
non ci sono ad oggi API, ovvero non si può accedere ai dati in modo più comodo e leggero;
con un foglio elettronico sono ingestibili;
per questo, al momento la loro consultazione non è “per tutte/i”.

Come sono fatti questi dati?

Come sono fatti questi dati?

🪛 Come tiro fuori da 18 GB di dati, solo i dati del PNRR?

Il modo più comodo è usare gli strumenti dei film di fantascienza:

unzip -qq -c "OpenData Totale CSV.zip"  | grep -iF "pnrr" >open_cup_pnrr.csv

unzip estrae i dati dal file zip
grep filtra le righe che contengono la stringa “pnrr” (non tiene conto di maiuscole e minuscole)
> redireziona l’output su un file CSV

… in azione 🏃‍♂️

unzip -qq -c "OpenData Totale CSV.zip"  | grep -iF "pnrr" --color=always | less

Torniamo sulla terra (un foglio elettronico)

🔗 sheet

Domande?

Come invio il link alla pagina di un progetto a mio cugino?
Quale è il significato di tutti campi e di tutti i codici, presenti nei dati?
Ci sono state gare/appalti per la realizzazione di questi progetti?

ANAC

Autorità Nazionale AntiCorruzione.

Portale dei dati aperti

➡️ https://dati.anticorruzione.it/

RPCT: elenco dei Responsabili della Prevenzione della Corruzione e della Trasparenza;
In-House: elenco delle amministrazioni e degli enti aggiudicatori che operano mediante affidamenti diretti alle proprie _società__in house_ (art. 192 del d.lgs. n. 50/2016);
L.190/2012: elenco delle comunicazioni pervenute ed elaborate ai sensi dell’art. 1, comma 32, della Legge 190/2012;
Albo Arbitri: albo degli Arbitri della Camera Arbitrale;
Dataset: elenco dei dataset Open Data pubblicati dall’Autorità.

Il dataset “cup”

Il dataset contiene tutte le informazioni dei CUP, relative agli appalti ordinari pubblicati.
2.959.409 righe per 2 colonne, per un file di circa 90 MB. È più usabile, ma è sempre non per tutte/i.

CIG	CUP
59831213A4	F55J10000140006
Z7011BECE2	J49DI4000150003
Z8525EDBD3	D78I18000050005
…	…

Estraiamo tutti CIG dei CUP PNRR

# estrai lista univoca CUP
mlr --c2n cut -f CUP then uniq -a open_cup_pnrr.csv >lista_cup_pnrr.txt

# usa lista CUP per estrarre lista CIG
unzip -qq -c "cup_csv_0.zip"  | grep -F -f lista_cup_pnrr.txt >lista_cig_pnrr_anac.csv

# aggiungi riga intestazione, cambia separatore e rimuovi virgolette
mlr -I --csv --implicit-csv-header --ifs ";" label CIG,CUP lista_cig_pnrr_anac.csv

Che ci faccio con questi dati?

posso estrarre quelli dei CUP di mio interesse;
posso usare quei codici per cercare dettagli in altri portali;
posso leggere i dettagli sul sino ANAC (93473426A2 e 93473426A2);
interoperabilità con altri portali (openBDAP);
mettere insieme il tutto e fare analisi (il caso PINQUA).

Grazie

Andrea Borruso
mailto:andrea.borruso@ondata.it