Post on 21-Oct-2014
description
1
Evaluating Kublai: key findings
2
Housekeeping• 11.30-13.00• Presentation of evaluation results
(David Osimo)• Discussion• Presentation of ideas for the future
of Kublai• Discussion• Wrap up
• Remember: you can pose questions during the presentation and the discussion using the chat window
3
What is Kublai?• Kublai is a collaborative environment where project ideas can be discussed, refined, and developed into viable projects. It
has been created in 2008 by the Department of Development Policies of the Italian Ministry of Economic Development to help good ideas turn into real world social innovation projects with a concrete economic and employment impact at the local level.
• Kublai does not stress competition amongst start-up projects, but aims at promoting exchange and establishing collaboration amongst people who share the common interest based on the assumption that innovation is always a collective process. Cooperation is free and voluntary: based on personal passions, interests, and life projects, each and every participant to Kublai’s social platform can choose the most appropriate way to interact with others.
• The Kublai environment includes a dedicated staff actively assisting all the ongoing discussions and projects, and available to support all project proponents at every step of the drafting process through different tools: project threads, chatrooms, and live helpdesk sessions. Kublai does not award funds to start-ups, but advises and accompanies the deserving projects at the end of the process, to the sources of competitive funding most appropriate for them – both private and public.
• Only exception to this rule is the Kublai Award, which every year is given to the best social and territorial innovation project raised inside the Kublai community: the award aims at supporting the project promoter in the acquisition of consultancy and/or training services needed for project take-off.
• The Kublai community includes more than 3000 members and 600 projects under discussion. Kublai has helped among many other initiatives currently in the start-up phase, projects such as: Neronote, Angeli per Viaggiatori, Critical City, Film Voices, Kinovan, Fund For Culture, AerialClick.
Source: http://www.cross-innovation.eu/designing-connectivity-kublai/news/
4
Participants’ target
Usual suspects
Deserving winners
Low skills Missed opportunities
Not creative Creative
Don’t receive public funding
Receive public funding
5
Key indicators
Budget 2008-2014 (7 yrs) € 1.441.514,00
Comments 15.959
Users 3.861
Projects discussed 576
Cost per comment € 90,33
Cost per user € 373,35
Cost per project € 2.502,63
Cost per comment (EUR)
6
Participation trends (2008=100)
Users
Projects
Comments
7
Participant’s profile
• >35 yrs (58%)• >University degree (73%)• Equally from north or southern Italy, men or
women• 67% employed, of which 73% with at least 3yrs
experience, mostly as independent
8
Before joining Kublai…
9
If you used other services, how is Kublai with respect to them?…
10
How useful was Kublai (1 to 5)
11
How did you benefit (1 to 5)
12
Did you implement the project?
13
Would you have implemented it without Kublai?
14
If you implemented the project…
15
Finally
30% would accept to pay 5 EUR/month or more
16
Discussion: what options for the future?
• Platform funded by several funding agencies• Spin out as a company• Community service for open innovation , such as
Innocentive• Crowdfunding• Outsourcing to another public agencies
17
ANNEX
18
Obiettivi della valutazione (da D1)
Obiettivo generale• Fornire un strumento utile ad una presa di decisione
razionale ed evidence-based
Obiettivi specifici• Valutazione dei risultati del progetto Kublai dal 2008 fino
ad oggi• Studio di fattibilità sull’assetto futuro dell’iniziativa• Informazione e sensibilizzazione sul progetto interna alla
amministrazione e nei confronti dell’opinione pubblica
19
Obiettivi del progetto (da D1)Obiettivi principali
• Migliorare l’Beneficio dei fondi strutturali• Migliorare il coinvolgimento degli utenti nei finanziamenti
pubblici• Fornire ai creativi competenze necessarie alla
progettazione e alla redazione di bandi• Coinvolgere i creativi nei programmi di finanziamento
pubblico attraverso un approccio informale e peer to peer
Obiettivi accessori• Aumentare il numero di utenti supportati attraverso
l’utilizzo di meccanismi peer to peer • Raggiungere nuove competenze utili al Ministero• Diffondere verso altri programmi approcci alla Kublai• Incoraggiare la condivisione di conoscenza e idee fra i
partecipanti
20
Benefici attesi per i partecipanti (da D1)
Benefici dell’iniziativa• Generica acquisizione di competenze in materia di
elaborazione dei progetti• Ottenimento di specifici consigli utili al miglioramento del
progetto• Promozione e comunicazione del progetto verso possibili
finanziatori• Capacità di networking ed accesso a possibili
collaboratori del progetto• Conseguimento di concrete collaborazioni con altri
Kublaiani
21
MethodologyWhat Status
Casi studio In fase di completamento
Survey Completata - 81 rispondenti su 575 portatori di progetto contattati in 4 istanze: Prima mail generale contenente la
survey Seconda mail collettiva di richiamo Mail collettiva di richiamo da parte
dello staff di Uval Messaggio personale sulla piattafoma a
oltre 200 promotori iscritti negli anni 2011-2014
Analisi dei dati Della piattaforma Completata
Studio di fattibilità In corso
22
Metodologia
23
Rilevanza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è coinvolto il target previsto (creative innovativi con scarse competenze progettuali da aree svantaggiate)?
% di utenti nuovi ai finanziamenti pubblici
survey portatori di progetto
% da sud Italia; % laureati survey portatori di progetto
valutazione originalità di progetti
desk-based analisi dei progetti
% di utenti che non avevano realizzato progetti autonomi fino ad oggi
survey portatori di progetto
distribuzione geografica utenti attivi/portatori di progetto
survey portatori di progetto
% di progetti con forte componente web
Dati piattaforma
Adeguatezza del peer to peer % di partecipanti che hanno proposto idee di progetto;
Dati piattaforma
% di utenti che valutano utile/molto utile I consigli di altri Kublaiani
survey portatori di progetto
24
Efficienza: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Si è ottenuta una adeguata partecipazione?
n. utenti; % utenti attivi; trend nel tempo
dati di progetto
n. commenti dati di progetto
n. commenti totali/n commenti staff
dati piattaforma
costo per commento; costo per utente
dati piattaforma/dati di progetto
si è riuscito ad aiutare un numero di utenti più' elevati dei servizi tradizionali?
costo per utente supportato / anno
dati di progetto
25
Efficacia e addizionalità: domande, indicatori e fonti di valutazione
Domanda Indicatore Fonte
Valore dei consigli ricevuti % di utenti che rispondono utile o molto utile
survey portatori di progetto
Quanto ha fornito elementi unici rispetto ad altre piattaforme? % di utenti che rispondono si
survey portatori di progetto
Lo staff centrale ha fornito consigli utili? % di utenti che rispondono utile o molto utile
survey portatori di progetto
I kublaiani hanno fornito consigli utili? % di utenti che rispondono utile o molto utile
survey portatori di progetto
Servizi più utili di Kublai survey portatori di progetto
Saresti disposto a pagare una fee (10 E mensuali) per usare Kublai / attribuisci un valore ai consigli ricevuti su Kublai - % di utenti che rispondono si
survey portatori di progetto
26
Domanda Indicatore Fonte
Efficacia dell’autoselezione % di progetti di successo fra I 50 più discussi
analisi desk e dati piattaforma
corrispondenza fra progetti più discussi e progetti vincitori
dati piattaforma; risultati awards
Acquisizione di competenze Scelta multipla: % di utenti che rispondono si
survey portatori di progetto
Esempi di progetti migliorati sensibilmente
Casi di studio
I progetti sono diventati realtà? (incl. data)
% di utenti che rispondono si ; % su categorie specifiche
survey portatori di progetto
% di utenti che hanno ricevuto finanziamenti ; % su categorie specifiche
survey portatori di progetto
se si, in che misura questo successo è attribuibile a Kublai % di utenti che rispondono rilevante o molto rilevante
survey portatori di progetto
Beneficio su cittadini numero totale utenti dei servizi realizzati
Survey portatori di progetto
nuove collaborazioni reclutate tramite Kublai
numero intervista a committente
Efficacia e addizionalità: domande, indicatori e fonti di valutazione
27
Efficacia – Utilità percepita delle varie attività
La partecipazione al forum web
Il feedback ricevuto da altri Kublaiani
La partecipazione ad eventi
Uso di materiale prodotto dal progetto
Il feedback ricevuto dallo staff
1 1.5 2 2.5 3 3.5 4 4.5 5
28
Efficacia – Benefici percepiti dalle varie attività
Acquisizione di nuove collaborazioni con un’amministrazione pubblica
Visibilità e capacità di ottenere finanziamenti pubblici o privati
Apertura di collaborazioni con altri Kublaiani
Acquisizione di skills professionali
Miglioramento dell’idea progettuale
Sviluppo dell’attitudine alla condivisione e collaborazione
1 1.5 2 2.5 3 3.5 4 4.5 5
29
Efficacia – Realizzazione del progetto
31%
23%
46%Si, esattamente come previstoSi, in maniera di-fferenteNo
54% ha realizzato il progetto
30
Efficacia – Rapporto fra feedback forniti e ricevuti
14%
4%
43%
20%
19%
Dato molto di piùDato un po di piùParitarioRicevuto un po di piùRicevuto molto di più
39% ha saldo positivo contro il 18% con saldo negativo
31
Efficacia – Misura in cui sono state condivise informazioni
5%
18%
27%32%
18%
Per nullaPocoAbbastanzaMoltoMoltissimo
Il 50% ha condiviso molto, il 23% ha condiviso poco
32
Efficacia – Soddisfazione generale di Kublai
Si No0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai?
Il 30% sarebbe disposto a pagare almeno 5 EUR/mese
33
Addizionalità – Realizzazione del progetto senza Kublai
53%
10%
21%
16%
SiSi, avrei avviato un'iniziativa diversa/più deboleSi, ma ci avrei messo più tempoNo
47% ha avuto un effetto addizionale da Kublai
(Base: solo chi ha realizzato il progetto)
34
Addizionalitá – Giudizio su Kublai rispetto ad altri servizi alla progettazione
7%
18%
18%
4%
21%
32% Molto meno utileMeno utileDi uguale utilitàPoco più utileMolto più utileUtile, ma in maniera diversa
57% ha avuto valore aggiunto da Kublai rispetto ad altri servizi
(Base: solo chi ha utilizzato altri servizi)
35
Domanda Indicatore Fonte
La partecipazione è in crescita?
utenti attivi/mese; visite/ mese
dati piattaforma
I progetti supportati sono continuati?
% di utenti che rispondono si
survey portatori di progetto
Hanno condotto alla creazione di imprese e posti di lavoro?
% di utenti che rispondono si survey portatori di progetto
Gli enti beneficiari sono interessati ai servizi di Kublai?
numero di enti interviste a stakeholder
L’approccio Kublai è stato adottato da altri enti pubblici?
numero casi citati intervista a committente / stakeholder
Sostenibilità: domande, indicatori e fonti di valutazione
36
Sostenibilità – Progetti e creazione di attivitá economiche
Si No0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Il progetto è ancora attivo?Ha creato un'impresa, un'associazione o una cooperativa a seguito del progetto?
37
Analisi statisticaAnalisi Metodologia
Creazione di gruppi basati sulle variabili di profilo
K-means clustering
Estrazione di due variabili: Utilità percepita
o Feedback ricevuto dallo staffo Feedback ricevuto da altri Kublaianio Uso di materiale del progettoo Partecipazione ad eventio Partecipazione al forum web
Beneficio percepitoo Sviluppo dell’attitudine alla
condivisione e alla collaborazioneo Miglioramento dell’idea progettualeo Miglioramento di skills professionalio Apertura di collaborazioni con altri
Kublaianio Visibilità e capacità di ottenere
finanziamentio Acquisizione di collaborazioni con
un’amministrazione pubblica
Factor analysis
Correlazione tra i fattori estratti e variabili qualitative
Univariate Anova – univariate analysis of variance
Correlazione tra variabili Pearson's chi-squared test
38
Risultati dell’analisi statistica (1)
• PRESENZA di correlazione significativa tra Beneficio/utilitào Provenienza da regioni convergentio Difficoltà nella realizzazione del progettoo Condivisione delle informazioni
• MANCANZA di correlazione significativa tra Beneficio/utilitào Esperienza in redazione di progetti o Esperienza in gestione di iniziativeo Aver già ottenuto finanziamenti prima di Kublaio Esperienza professionaleo Livello educativoo Tipo di occupazione
39
Risultati dell’analisi empirica (2)• Gli utenti con minore esperienza manageriale hanno una percezione maggiore di:o Utilità dell’uso del materiale di progettoo Utilità del feedback ricevuto dallo staffo Utilità del feedback ricevuto dagli altri Kublaianio Utilità di Kublai nell’acquisizione di skills professionali
• Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria
• Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo
• Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri Progetti su Kublai
40
In altre parole
• I Kublaiani del sud e quelli senza esperienza manageriale giudicano Kublai piú utile
• I Kublaiani con esperienza manageriale hanno maggiore probabilitá di realizzare il progetto, ma lo avrebbero realizzato indipendentemente da Kublai
• Non ci sono altre differenze significative nel beneficio fra Kublaiani skilled/unskilled
41
Conclusioni generali (1)Kublai ha avuto un impatto positivo in termini di impulso alla creazione di una comunità di progettisti e di stimolo alla progettazione. In particolare l’utilità ed i benefici di Kublai appaiono maggiori per gli utenti provenienti da regioni svantaggiate e con poca competenza nel campo manageriale.
Rilevanza• Il progetto ha raggiunto il proprio obiettivo in termini di profilo dei soggetti coinvolti, status lavorativo, esperienza, genere, livello educativo, provenienza
Efficienza• Il progetto è indubbiamente molto efficiente dal punto di vista del costo per commento, sebbene non vi siano elementi per valutare il rapporto tra risorse impiegate ed iniziative create
42
Conclusioni generali (2)Efficacia•La maggior parte dei progettisti dichiara di aver realizzato il progetto, sebbene sia difficile determinare cosa il promotore intenda specificamente per progetto •Tutte le attività principali del progetto vengono percepite come utili, in particolare il feedback dello staff, mentre i benefici percepiti paiono limitati• Buona parte dei progettisti (40%) ha ricevuto un beneficio netto dall’interazione•I progettisti ripeterebbero l’esperienza e la raccomanderebbero ad altri, ed una buona parte (30%) sarebbe addirittura disposta a pagare per il servizioAddizionalità•Quasi la metà dei progettisti dichiara che non avrebbe realizzato l’iniziativa o l’avrebbe realizzata in maniera più debole/in un tempo più lungo senza Kublai, e la maggioranza ritiene che Kublai abbia un valore aggiunto rispetto a servizi analoghiSostenibilità•L’interazione nella piattaforma ha subito una drastica diminuzione nel 2011-2012•La stragrande maggioranza dei progetti rimangono attivi nel tempo, ma solo una modesta parte si traduce in attività economiche
43
Idee per lo studio di fattibilitá (1) (TBC)
44
Idee per lo studio di fattibilitá (2) (TBC)
45
Prossimi stepsWhat When
Webinar sullo studio di fattibilità 4 Luglio
Conclusione analisi dei dati della piattaforma
6 Luglio
Conclusione dei casi studio13 Luglio
Invio report finale sulla valutazione sulla base dei commenti ricevuti
20 Luglio
Conclusione dello studio di fattibilità 31 Luglio
46
Grazie per l’attenzione!
47
www.open-evidence.com
David OsimoFrancesco Mureddu C/Roc Boronat 117 8th Floor 08018 Barcelona Spain Phone: +34 934 505252dosimo@open-evidence.comfmureddu@open-evidence.com
48
Allegato – analisi empirica
49
Anova output – esempio caso significativo
Sum of Squares df Mean
Square F Sig.
Perceived Impact
Between Groups 4,846 1 4,846 5,046 ,028
Within Groups 72,032 75 ,960
Total 76,878 76
Perceived utility
Between Groups 4,427 1 4,427 4,628 ,035
Within Groups 75,573 79 ,957
Total 80,000 80
50
Anova output – Statistica descrittiva
N Mean Std. Deviation
Std. Error
95% Confidence Interval for Mean
Minimum
Maximum
Between-
Component
Variance
Lower Bound
Upper Bound
FAC1_1 Perceived Impact
Competitivo 41 -,2261676
,92705156
,14478113
-,5187812
,0664460
-1,42236 1,57135
Convergente 36 ,2766494 1,03723504
,17287251
-,0743005
,6275992
-1,42236 2,55376
Total 77 ,0089157 1,00576182
,11461720
-,2193643
,2371956
-1,42236 2,55376
Model
Fixed Effects ,9800133
5,111682
89-,213568
0,231399
4
Random Effects
,25172823
-3,18959
48
3,2074262 ,101360
68
FAC1_2 Perceived utility
Competitivo 45 -,2091052
,97655226
,14557582
-,5024939
,0842836
-2,12679 1,56963
Convergente 36 ,2613815 ,97997167
,16332861
-,0701933
,5929562
-1,85412 1,56963
Total 81 ,0000000 1,00000000
,11111111
-,2211182
,2211182
-2,12679 1,56963
Model
Fixed Effects ,9780686
7,108674
30-,216310
8,216310
8
Random Effects
,23606644
-2,99950
85
2,9995085 ,086763
37
51
Means plotsB
en
efici
o p
erc
ep
ito
Regioni competitive Regioni convergenti
52
Means plotsU
tilit
à p
erc
ep
ita
Regioni competitive Regioni convergenti
53
Means plotsB
en
efici
o p
erc
ep
ito
Sarebbe riuscito a realizzare il progetto anche senza Kublai?
Si Si, ma avrei avviato un’iniziativa diversa/più debole
Si, ma avrei impiegato più tempo
No
54
Means plotsU
tilit
à p
erc
ep
ita
Sarebbe riuscito a realizzare il progetto anche senza Kublai?
Si Si, ma avrei avviato un’iniziativa diversa/più debole
Si, ma avrei impiegato più tempo
No
55
Means plotsB
en
efici
o p
erc
ep
ito
In che misura ha condiviso informazioni sul progetto?
Per nulla Poco Abbastanza Molto Moltissimo
56
Means plotsU
tilit
à p
erc
ep
ita
In che misura ha condiviso informazioni sul progetto?
Per nulla Poco Abbastanza Molto Moltissimo
57
Means plotsU
tilit
à p
erc
ep
ita
No Si
Esperienza manageriale Il rispondente ha già gestito delle iniziative prima
di partecipare a Kublai
58
Anova output – esempio caso non significativo
Sum of Squares df Mean
Square F Sig.
FAC1_1 Perceived Impact
Between Groups 1,480 1 1,480 1,457 ,231
Within Groups 75,181 74 1,016
Total 76,661 75
FAC1_2 Perceived utility
Between Groups 3,979 1 3,979 4,100 ,046
Within Groups 75,707 78 ,971
Total 79,687 79
59
Means plots
Capacità manageriali Variabile composta da esperienza in progettazione, esperienza in
gestione di initiative ed ottenimento previo di finanziamenti
Ben
efici
o p
erc
ep
ito
60
Means plotsU
tilit
à p
erc
ep
ita
Capacità managerialiVariabile composta da esperienza in progettazione, esperienza in
gestione di initiative ed ottenimento previo di finanziamenti
61
Means plots
Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai
Ben
efici
o p
erc
ep
ito
No Si
62
Means plots
Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai
Uti
lità p
erc
ep
ita
No Si
63
Means plots
Esperienza manageriale Il rispondente ha già gestito delle iniziative prima
di partecipare a Kublai
Ben
efici
o p
erc
ep
ito
No Si
64
Means plots
Esperienza in progettazione Il rispondente ha già scritto dei progetti
prima di partecipare a Kublai
Ben
efici
o p
erc
ep
ito
No Si
65
Means plotsU
tilit
à p
erc
ep
ita
No Si
Esperienza in progettazione Il rispondente ha già scritto dei progetti
prima di partecipare a Kublai
66
Pearson's chi-squared test – esempio caso significativo
Value df Asymp. Sig. (2-sided)
Pearson Chi-Square 13.034a 4 ,011
Likelihood Ratio 13,673 4 ,008
Linear-by-Linear Association 1,513 1 ,219
N of Valid Cases 80
a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39.
67
No SiEsperienza manageriale
00%
10%
20%
30%
40%
50%
60%
Molto bassa Bassa Media Alta Molto alta
Utilità del materiale di progetto
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
Analisi della correlazione (1)
68
Analisi della correlazione (2)
No SiEsperienza manageriale
00%
10%
20%
30%
40%
50%
60%
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
Utilità del feedback ricevuto dallo staff
69
Analisi della correlazione (3)
Utilità del feedback ricevuto dagli altri Kublaiani
No SiEsperienza manageriale
00%
05%
10%
15%
20%
25%
30%
35%
40%
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
70
Analisi della correlazione (4)
Utilità di Kublai nell’acquisizione di skills professionali
No SiEsperienza manageriale
00%
05%
10%
15%
20%
25%
30%
35%
40%
Molto bassa Bassa Media Alta Molto alta
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
71
Analisi della correlazione (5)
Ha realizzato il progetto?
No SiEsperienza manageriale
00%
10%
20%
30%
40%
50%
60%
70%
Si Si, in maniera diversa No
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
72
Analisi della correlazione (6)
Sarebbe riuscito a realizzare il suo progetto senza Kublai?
No SiEsperienza manageriale
00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
SiSi, ma avrei avviato un’iniziativa diversa/più debole_x000d_Si, ma avrei impiegato più tempoNo
Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai
73
Analisi della correlazione (7)
Regioni competitive Regioni convergenti00%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai