Data Sharing, DataGov e Open Data

Società italiana di statistica

Scuola SIS

Web e Statistica

Data Sharing, Data Gov e Open DataVincenzo Patruno

Pisa, Santa Croce in Fossabanda,

5 – 9 settembre 2011

Dipartimento di economia aziendale

Dipartimento di statistica applicata all’economiaFacoltà di Economia, Università di Pisa

Il punto di partenzaS

“Lavoreremo insieme per accrescere la fiducia del pubblico e per

creare un sistema basato sulla trasparenza, la partecipazione e

la collaborazione. Questa apertura rafforzerà la nostra

democrazia e promuoverà l'efficienza e l'efficacia del nostro

governo”

Barak Obama

http://www.whitehouse.gov/the_press_office/TransparencyandOpenGovernment/

Il punto di partenzaS

“Make a beautiful website, but first give us the unadulterated data,

we want the data. We want unadulterated data. OK, we have to

ask for raw data now”

Sir Tim Berners-Lee, inventor of the World Wide Web

Open Government

Si intende un modello di Governance a

livello centrale e locale basato sull'apertura

(partecipazione e collaborazione) e sulla

trasparenza nei confronti dei cittadini

Open Government

Apertura: “ridefinire le modalita' di approccio e di

relazione delle amministrazioni nei confronti del

cittadino” (attraverso la partecipazione e la

collaborazione).

Fonte: Come si fa Open Data? Istruzioni per l'uso per Enti e Amministrazioni Pubbliche –

Associazione italiana per l'Open Government - Maggioli Editore 2011

Open Government

Trasparenza: “consentire, stimolare e facilitare i

cittadini nelle attività di controllo continuo dei

processi decisionali all‟interno delle istituzioni, a tutti

i livelli amministrativi e attraverso l‟utilizzo delle

nuove tecnologie.”

Fonte: Come si fa Open Data? Istruzioni per l'uso per Enti e Amministrazioni Pubbliche –

Associazione italiana per l'Open Government - Maggioli Editore 2011

Open GovernmentS

http://www.recovery.gov

http://www.usaspending.gov

Open GovernmentS

Where Does My Money Go

http://www.wheredoesmymoneygo.org

http://www.openspending.org

Open GovernmentS

http://opengovernmentdata.org/data/map/

E in Italia?S

Gli HashtagS

ca” #a4i

#opendata

#opengov

#opendataitaly

#24opendata

Open GovernmentS

“[...] Rendere più trasparente il lavoro del governo

mettendo a disposizione in un unico sito web le

informazioni su economia, salute, ambiente e altri

argomenti, consentendo al pubblico di accedere ai

dati grezzi e di utilizzarli in nuovi modi innovativi”

Open GovernmentS

ca” C’è la consapevolezza che l’Open

Government sia un elemento chiave per lo

sviluppo economico e sociale di un

Open Data

Nel 2009 la Commissione UE ha stimato

che il mercato europeo per il riutilizzo delle

informazioni del settore pubblico sia di 27

miliardi di euro l’anno. Un’enorme quantità di

denaro di cui, nel 2011, ancora nessuno ha

realmente beneficiato.

Studio “MEPSIR – Measuring European Public Sector

Information Resources" (2006), HELM Group

of Companies with Zenc, per la Commissione europea.

Dati pubblici e Dati OpenS

ca” I dati Open sono dati Pubblici riutilizzabili

http://opendatamanual.org/

Open DataS

ca” L’intelligenza collettiva

Open DataS

Data JournalismApps

Data JournalismS

Applicazioni Web

Applicazioni standalone su desktop

Applicazioni standalone su dispositivi mobile

I Contest sugli Open DataS

http://www.appsfordemocracy.org/

La prima edizione di Apps for Democracy ha fruttato 47

Apps (web, iPhone e Facebook) in 47 giorni per un

valore di $2,300,000 per la città a fronte di un costo di

$50,000

“Our mission with "Community Edition" is two fold: to engage the

populace of Washington, DC to ask for their input into the problems

and ideas they have that can be addressed with technology and then

to build the best community platform for submitting 311 service

requests to the city”

http://appsfordevelopment.challengepost.com/

http://opendatachallenge.org/

http://www.appsforitaly.org/

Open DataS

L’illuminante talk di Sir Tim Berners-Lee:

The year open data went worldwide

http://www.ted.com/talks/tim_berners_lee_the_year_open_data_went_worldwide.html

Ma… come trovare i dati?S

Come i dati vengono messi sulla Rete

Un passo indietroS

Il diluvio di datiS

Imprigionare i datiS

I dati vengono di fatto imprigionati nei portali, nei

sistemi informativi e nei siti web dove vengono rilasciati

La caccia ai datiS

I dati sul WebS

Portali

Sistemi Informativi

DataGov

Open Data

La caccia ai dati

Le piattaforme di DataGovS

http://data.octo.dc.gov/

http://www.data.gov/ http://www.data.gov.uk/

EU Call for TenderS

OKF e CKANS

Piattaforme di Data SharingS

Web ScrapingS

Le Stelline di Tim B. LeeS

Ma…gli Open Data stanno funzionando?

Alcune riflessioniS

http://www.compete.com/

Un passaggio necessarioS

ca” Dati sulla Rete

Dati nella Rete

Connettersi ai DatiS

Data Producer

Data Consumer

Connettersi ai DatiS

Dati StrutturatiS

Il “problema” dei MetadatiS

– Qual’è il SOGGETTO della misura?

– Qual’è l’UNITA’ di misura?

– Qual’è la REGIONE GEOGRAFICA a cui il dato siriferisce?

– QUANDO la misura è stata fatta?

Dietro ognuna di queste domande, c’è una idea o CONCETTO che viene usato per descrivere i dati

– Il Soggetto è “popolazione totale"

– L’unità di misura è “persone"

– Il riferimento territoriale è “Comune di Pisa"

– Il Tempo è “31 Dicembre 2010"

Possiamo quindi dire che:

La popolazione totale del comune di Pisa al

31 dicembre 2010 è di 88217 unità

Il problema dei MetadatiS

I metadati strutturati devono essere associati

ai dati, altrimenti diventa impossibile

identificare, ritrovare e navigare attraverso i dati

La struttura dei datasetS

Computers need structure

of data

•Concepts and terms

•Code lists

•Data values

•How these fit together

Unit Multiplier

Time/Frequency

Country

Stock/Flow

A Brady Bonds

B Bank Loans

C Debt

Securities

Country

AR Argentina

MX Mexico

SA South Africa

Stock/Flow

1 Stock

2 Flow

Concepts

COUNTRY

Data Structure DefinitionS

The simplest explanation of a data structure definition is that it is a set of descriptor concepts, associated with a set of data, which allow us to understand what that data means.

ca” • Dimension (e.g. frequency, reference area):

• Attribute (e.g. title, observation status):

• Measure (e.g. turnover index, # of births, # of deaths):

• Groups:

– Grouping of dimensions in order to attach group attributes (e.g. sibling group)

Year Month

Turnover

index Status Confidentiality

2002 January 84.5 actual free

2002 February 85.6 actual free

2002 March 95.4 actual free

2002 April 106.2 actual free

2002 May 98.0 actual free

2002 June 95.3 actual free

2002 July 105.4 actual free

2002 August 107.1 actual free

2002 September 105.2 actual free

2002 October 109.4 actual free

2002 November 104.5 actual free

2002 December 111.9 actual free

2003 January 89.1 provisional free

2003 February 88.3 provisional free2003 March 96.1 provisional free

Source: National Statistical Service of Greece

Data prepared to be transmitted to the European Commission (including EUROSTAT)

Table 1. Deflated turnover index (on volume of sales) for retail trade for Greece

(no adjustment). Reference period: January 2002 to March 2003.

(monthly data - Base year: 2000)

Year Month

Turnover

index Status Confidentiality

2002 January 84.5 actual free

2002 February 85.6 actual free

2002 March 95.4 actual free

2002 April 106.2 actual free

2002 May 98.0 actual free

2002 June 95.3 actual free

2002 July 105.4 actual free2002 August 107.1 actual free

2002 September 105.2 actual free

2002 October 109.4 actual free

2002 November 104.5 actual free2002 December 111.9 actual free

2003 January 89.1 provisional free

2003 February 88.3 provisional free

2003 March 96.1 provisional freeSource: National Statistical Service of Greece

Data prepared to be transmitted to the European Commission (including EUROSTAT)

Table 1. Deflated turnover index (on volume of sales) for retail trade for Greece

(no adjustment). Reference period: January 2002 to March 2003.

(monthly data - Base year: 2000)

Dimensions

Measure

Attributes

<? XML ?>S

http://demo.istat.it/api_demo/?q=getpopolazione&prov=0

12&com=012

SDMX FrameworkS

Census HubS

Il Web “Classico”S

The Emerging Web of Linked Data - Chris Bizer, Freie

Universität Berlin

Il Web è una ragnatela di documenti collegati tra loro,

per l'utilizzo umano

API e Mash-UpS

Universität Berlin

http://cheapguru.org/comuni/

Semantic WebS

Il Semantic Web è una

ragnatela di informazioni

connesse dalla semantica.

L’idea è di generare

documenti che possano al

tempo stesso essere letti e

compresi da esseri umani,

ma anche acceduti ed

interpretati da agenti

automatici alla ricerca di

contenuti.

Linked DataS

Universität Berlin

Usa le tecnologie del Semantic Web per

1. Pubblicare dati strutturati sul Web,

2. definire link tra dati di fonti diverse

RDF (Resource Description Framework) è lo strumento proposto dal W3C per

descrivere i metadati relativi ad una risorsa, mettendo a disposizione un

linguaggio per esprimere la semantica di una risorsa.

RDF è costituito da due componenti:

· RDF Model and Syntax: definisce il data model RDF e la sua codifica XML;

· RDF Schema: permette di definire specifici vocabolari per i metadati.

Una risorsa, identificata univocamente da un URI, viene descritta utilizzando il

data model RDF.

Questo modello è basato su tre oggetti:

Resource (risorsa): indica ciò che viene descritto mediante RDF e può essere

una risorsa Web (ad esempio una pagina HTML, un documento XML o parti di

esso) o anche una risorsa esterna al Web (ad esempio un libro, un quadro, etc.);

Property (proprietà): indica una proprietà, un attributo o una relazione utilizzata

per descrivere una risorsa. Il significato e le caratteristiche di questa componente

vengono definite tramite RDF Schema;

Statement (espressione): è l'elemento che descrive la risorsa ed è costituito da

un soggetto (che rappresenta la Resource), un predicato (che esprime la

Property) e da un oggetto (chiamato Value) che indica il valore della proprietà.

ca” Le triple: Soggetto, Predicato, Oggetto

Nella forma più semplice, il concetto può essere

applicato a frasi come:

„John drinks tea‟

„David likes apple‟

„Italy hasCapital Rome‟

Essentialmente, una tripla RDF mette in relazione

risorse and dati insieme, indicando “come”

ItalyhasCapital

http://example.org/countries/Italy

Italy RomehasCapital

0580912761477

areaCodepopulation

http://example.org/countries/Italy

http://example.org/cities/Rome

Dove hasCapital è l’occorrenza di un

vocabolario condiviso, che diventa così

un identificatore universale a cui viene

associato un significato specifico

Linked DataS

E’ un approccio per pubblicare dati sul Web,

permettendo di linkare dataset insieme usando

riferimenti a concetti comuni

http://baseculturale.it/

RDF Data CubeS

http://schemapedia.com/schemas/qb

Il vocabolario Data Cube permette la

pubblicazione di dati e di statistiche

multidimensionali in modo da essere linkati ai

relativi dataset e concetti. Il modello alla base del

vocabolario Data Cube è compatibile con il

modello descritto da SDMX

(Statistical Data and Metadata eXchange)

ISTAT Linked DataS

Eurostat Linked DataS

Open Data e interoperabilitàS

L’interoperabilità è dunque un elemento chiave di uno

degli aspetti più innovativi offerti dagli open data: l’uso

dei dati in modi e per scopi “inattesi”, nuovi in quanto

non previsti dai singoli enti e soggetti che pubblicano i

“dati grezzi”.

Una sfida per il futuroS

Il lavoro più sexy?S

Hal Varian

Il lavoro più sexy?S

Hal Varian

Il ruolo dello statisticoS

Michael Driscoll

Grazie dell’attenzione

patrunomeister@gmail.com

vincenzo.patruno@istat.it

References:1. http://www.linkedopendata.it/semantic-web

2. http://linkeddatabook.com/editions/1.0/

3. http://segnalazionit.org/2010/01/statistico-su-youtube/

4. http://www.wiwiss.fu-berlin.de/en/institute/pwo/bizer/research/publications/Bizer-

SRIinternational-LinkedDataTalk.pdf

5. http://www.cs.unibo.it/~fabio/corsi/ltw01/slides/19-RDF/19-RDF.pdf

6. http://www.slideshare.net/jindrichmynarz/statistical-data-in-rdf

7. http://www.slideshare.net/patruno/sdmxedi-and-sdmxml

8. http://www.slideshare.net/patruno/census-hub-project

Data Sharing, DataGov e Open Data

Technology

Transcript of Data Sharing, DataGov e Open Data

Ariadne: Data Sharing

MRC Data Sharing Policy Peter Dukes Policy Lead – Data Sharing & Preservation

BioInformatics and Data Sharing. 1. Data Sharing: Mechanism QIN is strongly focused on data sharing (image and metadata)

DATA SHARING CONCEPT

Data Sharing Review

Datagov 4 africa

data sharing code of practice€¦ · sharing of data between different parts of an organisation. Data sharing can take the form of: a reciprocal exchange of data; ... Some data sharing

UI Data Sharing Data Elements - New York Data Sharing...UI Data Sharing Data Elements Page 1 of 12 Contents Introduction 2 Wage Record Data ...

Sharing data

Specifying Compatible Sharing in Data Structuresasankhaya.github.io/pdf/Specifying-Compatible-Sharing-in-Data... · Specifying Compatible Sharing in Data Structures Asankhaya Sharma

Sharing the Data

NIH Data Sharing

Data Sharing

Data Sharing Guidebook

Data Sharing Twopages

Schiedam sharing data

Ecological Data Sharing:

THE MICROFINANCE DATA SHARING SYSTEM DATA SHARING SYSTEM(MiDAS) 1.

TechTarget MDMSeminar DC baseline-datagovernancecdn.ttgtmedia.com/.../TechTarget_MDMSeminar_DC_baseline-datagov… · - Participate in monthly data governance planning and status

ICPSR Data Sharing