Kublai evaluation key findings

1

Evaluating Kublai: key findings

2

Housekeeping• 11.30-13.00• Presentation of evaluation results

(David Osimo)• Discussion• Presentation of ideas for the future

of Kublai• Discussion• Wrap up

• Remember: you can pose questions during the presentation and the discussion using the chat window

3

What is Kublai?• Kublai is a collaborative environment where project ideas can be discussed, refined, and developed into viable projects. It

has been created in 2008 by the Department of Development Policies of the Italian Ministry of Economic Development to help good ideas turn into real world social innovation projects with a concrete economic and employment impact at the local level.

• Kublai does not stress competition amongst start-up projects, but aims at promoting exchange and establishing collaboration amongst people who share the common interest based on the assumption that innovation is always a collective process. Cooperation is free and voluntary: based on personal passions, interests, and life projects, each and every participant to Kublai’s social platform can choose the most appropriate way to interact with others.

• The Kublai environment includes a dedicated staff actively assisting all the ongoing discussions and projects, and available to support all project proponents at every step of the drafting process through different tools: project threads, chatrooms, and live helpdesk sessions. Kublai does not award funds to start-ups, but advises and accompanies the deserving projects at the end of the process, to the sources of competitive funding most appropriate for them – both private and public.

• Only exception to this rule is the Kublai Award, which every year is given to the best social and territorial innovation project raised inside the Kublai community: the award aims at supporting the project promoter in the acquisition of consultancy and/or training services needed for project take-off.

• The Kublai community includes more than 3000 members and 600 projects under discussion. Kublai has helped among many other initiatives currently in the start-up phase, projects such as: Neronote, Angeli per Viaggiatori, Critical City, Film Voices, Kinovan, Fund For Culture, AerialClick.

Source: http://www.cross-innovation.eu/designing-connectivity-kublai/news/

4

Participants’ target

Usual suspects

Deserving winners

Low skills Missed opportunities

Not creative Creative

Don’t receive public funding

Receive public funding

5

Key indicators

Budget 2008-2014 (7 yrs) € 1.441.514,00

Comments 15.959

Users 3.861

Projects discussed 576

Cost per comment € 90,33

Cost per user € 373,35

Cost per project € 2.502,63

Cost per comment (EUR)

6

Participation trends (2008=100)

Users

Projects

Comments

7

Participant’s profile

• >35 yrs (58%)• >University degree (73%)• Equally from north or southern Italy, men or

women• 67% employed, of which 73% with at least 3yrs

experience, mostly as independent

8

Before joining Kublai…

9

If you used other services, how is Kublai with respect to them?…

10

How useful was Kublai (1 to 5)

11

How did you benefit (1 to 5)

12

Did you implement the project?

13

Would you have implemented it without Kublai?

14

If you implemented the project…

15

Finally

30% would accept to pay 5 EUR/month or more

16

Discussion: what options for the future?

• Platform funded by several funding agencies• Spin out as a company• Community service for open innovation , such as

Innocentive• Crowdfunding• Outsourcing to another public agencies

17

ANNEX

18

Obiettivi della valutazione (da D1)

Obiettivo generale• Fornire un strumento utile ad una presa di decisione

razionale ed evidence-based

Obiettivi specifici• Valutazione dei risultati del progetto Kublai dal 2008 fino

ad oggi• Studio di fattibilità sull’assetto futuro dell’iniziativa• Informazione e sensibilizzazione sul progetto interna alla

amministrazione e nei confronti dell’opinione pubblica

19

Obiettivi del progetto (da D1)Obiettivi principali

• Migliorare l’Beneficio dei fondi strutturali• Migliorare il coinvolgimento degli utenti nei finanziamenti

pubblici• Fornire ai creativi competenze necessarie alla

progettazione e alla redazione di bandi• Coinvolgere i creativi nei programmi di finanziamento

pubblico attraverso un approccio informale e peer to peer

Obiettivi accessori• Aumentare il numero di utenti supportati attraverso

l’utilizzo di meccanismi peer to peer • Raggiungere nuove competenze utili al Ministero• Diffondere verso altri programmi approcci alla Kublai• Incoraggiare la condivisione di conoscenza e idee fra i

partecipanti

20

Benefici attesi per i partecipanti (da D1)

Benefici dell’iniziativa• Generica acquisizione di competenze in materia di

elaborazione dei progetti• Ottenimento di specifici consigli utili al miglioramento del

progetto• Promozione e comunicazione del progetto verso possibili

finanziatori• Capacità di networking ed accesso a possibili

collaboratori del progetto• Conseguimento di concrete collaborazioni con altri

Kublaiani

21

MethodologyWhat Status

Casi studio In fase di completamento

Survey Completata - 81 rispondenti su 575 portatori di progetto contattati in 4 istanze: Prima mail generale contenente la

survey Seconda mail collettiva di richiamo Mail collettiva di richiamo da parte

dello staff di Uval Messaggio personale sulla piattafoma a

oltre 200 promotori iscritti negli anni 2011-2014

Analisi dei dati Della piattaforma Completata

Studio di fattibilità In corso

22

Metodologia

23

Rilevanza: domande, indicatori e fonti di valutazione

Domanda Indicatore Fonte

Si è coinvolto il target previsto (creative innovativi con scarse competenze progettuali da aree svantaggiate)?

% di utenti nuovi ai finanziamenti pubblici

survey portatori di progetto

% da sud Italia; % laureati survey portatori di progetto

valutazione originalità di progetti

desk-based analisi dei progetti

% di utenti che non avevano realizzato progetti autonomi fino ad oggi


distribuzione geografica utenti attivi/portatori di progetto


% di progetti con forte componente web

Dati piattaforma

Adeguatezza del peer to peer % di partecipanti che hanno proposto idee di progetto;

Dati piattaforma

% di utenti che valutano utile/molto utile I consigli di altri Kublaiani


24

Efficienza: domande, indicatori e fonti di valutazione


Si è ottenuta una adeguata partecipazione?

n. utenti; % utenti attivi; trend nel tempo

dati di progetto

n. commenti dati di progetto

n. commenti totali/n commenti staff

dati piattaforma

costo per commento; costo per utente

dati piattaforma/dati di progetto

si è riuscito ad aiutare un numero di utenti più' elevati dei servizi tradizionali?

costo per utente supportato / anno

dati di progetto

25

Efficacia e addizionalità: domande, indicatori e fonti di valutazione


Valore dei consigli ricevuti % di utenti che rispondono utile o molto utile


Quanto ha fornito elementi unici rispetto ad altre piattaforme? % di utenti che rispondono si


Lo staff centrale ha fornito consigli utili? % di utenti che rispondono utile o molto utile


I kublaiani hanno fornito consigli utili? % di utenti che rispondono utile o molto utile


Servizi più utili di Kublai survey portatori di progetto

Saresti disposto a pagare una fee (10 E mensuali) per usare Kublai / attribuisci un valore ai consigli ricevuti su Kublai - % di utenti che rispondono si


26


Efficacia dell’autoselezione % di progetti di successo fra I 50 più discussi

analisi desk e dati piattaforma

corrispondenza fra progetti più discussi e progetti vincitori

dati piattaforma; risultati awards

Acquisizione di competenze Scelta multipla: % di utenti che rispondono si


Esempi di progetti migliorati sensibilmente

Casi di studio

I progetti sono diventati realtà? (incl. data)

% di utenti che rispondono si ; % su categorie specifiche


% di utenti che hanno ricevuto finanziamenti ; % su categorie specifiche


se si, in che misura questo successo è attribuibile a Kublai % di utenti che rispondono rilevante o molto rilevante


Beneficio su cittadini numero totale utenti dei servizi realizzati

Survey portatori di progetto

nuove collaborazioni reclutate tramite Kublai

numero intervista a committente

Efficacia e addizionalità: domande, indicatori e fonti di valutazione

27

Efficacia – Utilità percepita delle varie attività

La partecipazione al forum web

Il feedback ricevuto da altri Kublaiani

La partecipazione ad eventi

Uso di materiale prodotto dal progetto

Il feedback ricevuto dallo staff

1 1.5 2 2.5 3 3.5 4 4.5 5

28

Efficacia – Benefici percepiti dalle varie attività

Acquisizione di nuove collaborazioni con un’amministrazione pubblica

Visibilità e capacità di ottenere finanziamenti pubblici o privati

Apertura di collaborazioni con altri Kublaiani

Acquisizione di skills professionali

Miglioramento dell’idea progettuale

Sviluppo dell’attitudine alla condivisione e collaborazione

1 1.5 2 2.5 3 3.5 4 4.5 5

29

Efficacia – Realizzazione del progetto

31%

23%

46%Si, esattamente come previstoSi, in maniera di-fferenteNo

54% ha realizzato il progetto

30

Efficacia – Rapporto fra feedback forniti e ricevuti

14%

4%

43%

20%

19%

Dato molto di piùDato un po di piùParitarioRicevuto un po di piùRicevuto molto di più

39% ha saldo positivo contro il 18% con saldo negativo

31

Efficacia – Misura in cui sono state condivise informazioni

5%

18%

27%32%

18%

Per nullaPocoAbbastanzaMoltoMoltissimo

Il 50% ha condiviso molto, il 23% ha condiviso poco

32

Efficacia – Soddisfazione generale di Kublai

Si No0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Raccomanderebbe Kublai ad altri? Presenterebbe altri progetti a Kublai?

Il 30% sarebbe disposto a pagare almeno 5 EUR/mese

33

Addizionalità – Realizzazione del progetto senza Kublai

53%

10%

21%

16%

SiSi, avrei avviato un'iniziativa diversa/più deboleSi, ma ci avrei messo più tempoNo

47% ha avuto un effetto addizionale da Kublai

(Base: solo chi ha realizzato il progetto)

34

Addizionalitá – Giudizio su Kublai rispetto ad altri servizi alla progettazione

7%

18%

18%

4%

21%

32% Molto meno utileMeno utileDi uguale utilitàPoco più utileMolto più utileUtile, ma in maniera diversa

57% ha avuto valore aggiunto da Kublai rispetto ad altri servizi

(Base: solo chi ha utilizzato altri servizi)

35


La partecipazione è in crescita?

utenti attivi/mese; visite/ mese

dati piattaforma

I progetti supportati sono continuati?

% di utenti che rispondono si


Hanno condotto alla creazione di imprese e posti di lavoro?

% di utenti che rispondono si survey portatori di progetto

Gli enti beneficiari sono interessati ai servizi di Kublai?

numero di enti interviste a stakeholder

L’approccio Kublai è stato adottato da altri enti pubblici?

numero casi citati intervista a committente / stakeholder

Sostenibilità: domande, indicatori e fonti di valutazione

36

Sostenibilità – Progetti e creazione di attivitá economiche

Si No0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Il progetto è ancora attivo?Ha creato un'impresa, un'associazione o una cooperativa a seguito del progetto?

37

Analisi statisticaAnalisi Metodologia

Creazione di gruppi basati sulle variabili di profilo

K-means clustering

Estrazione di due variabili: Utilità percepita

o Feedback ricevuto dallo staffo Feedback ricevuto da altri Kublaianio Uso di materiale del progettoo Partecipazione ad eventio Partecipazione al forum web

Beneficio percepitoo Sviluppo dell’attitudine alla

condivisione e alla collaborazioneo Miglioramento dell’idea progettualeo Miglioramento di skills professionalio Apertura di collaborazioni con altri

Kublaianio Visibilità e capacità di ottenere

finanziamentio Acquisizione di collaborazioni con

un’amministrazione pubblica

Factor analysis

Correlazione tra i fattori estratti e variabili qualitative

Univariate Anova – univariate analysis of variance

Correlazione tra variabili Pearson's chi-squared test

38

Risultati dell’analisi statistica (1)

• PRESENZA di correlazione significativa tra Beneficio/utilitào Provenienza da regioni convergentio Difficoltà nella realizzazione del progettoo Condivisione delle informazioni

• MANCANZA di correlazione significativa tra Beneficio/utilitào Esperienza in redazione di progetti o Esperienza in gestione di iniziativeo Aver già ottenuto finanziamenti prima di Kublaio Esperienza professionaleo Livello educativoo Tipo di occupazione

39

Risultati dell’analisi empirica (2)• Gli utenti con minore esperienza manageriale hanno una percezione maggiore di:o Utilità dell’uso del materiale di progettoo Utilità del feedback ricevuto dallo staffo Utilità del feedback ricevuto dagli altri Kublaianio Utilità di Kublai nell’acquisizione di skills professionali

• Gli utenti con minore esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera differente rispetto all’idea originaria

• Gli utenti con meno esperienza manageriale hanno una maggiore tendenza a non realizzare il progetto o a realizzarlo in maniera più debole/o impiegando più tempo

• Gli utenti provenienti da regioni convergenti sono più propensi a presentare altri Progetti su Kublai

40

In altre parole

• I Kublaiani del sud e quelli senza esperienza manageriale giudicano Kublai piú utile

• I Kublaiani con esperienza manageriale hanno maggiore probabilitá di realizzare il progetto, ma lo avrebbero realizzato indipendentemente da Kublai

• Non ci sono altre differenze significative nel beneficio fra Kublaiani skilled/unskilled

41

Conclusioni generali (1)Kublai ha avuto un impatto positivo in termini di impulso alla creazione di una comunità di progettisti e di stimolo alla progettazione. In particolare l’utilità ed i benefici di Kublai appaiono maggiori per gli utenti provenienti da regioni svantaggiate e con poca competenza nel campo manageriale.

Rilevanza• Il progetto ha raggiunto il proprio obiettivo in termini di profilo dei soggetti coinvolti, status lavorativo, esperienza, genere, livello educativo, provenienza

Efficienza• Il progetto è indubbiamente molto efficiente dal punto di vista del costo per commento, sebbene non vi siano elementi per valutare il rapporto tra risorse impiegate ed iniziative create

42

Conclusioni generali (2)Efficacia•La maggior parte dei progettisti dichiara di aver realizzato il progetto, sebbene sia difficile determinare cosa il promotore intenda specificamente per progetto •Tutte le attività principali del progetto vengono percepite come utili, in particolare il feedback dello staff, mentre i benefici percepiti paiono limitati• Buona parte dei progettisti (40%) ha ricevuto un beneficio netto dall’interazione•I progettisti ripeterebbero l’esperienza e la raccomanderebbero ad altri, ed una buona parte (30%) sarebbe addirittura disposta a pagare per il servizioAddizionalità•Quasi la metà dei progettisti dichiara che non avrebbe realizzato l’iniziativa o l’avrebbe realizzata in maniera più debole/in un tempo più lungo senza Kublai, e la maggioranza ritiene che Kublai abbia un valore aggiunto rispetto a servizi analoghiSostenibilità•L’interazione nella piattaforma ha subito una drastica diminuzione nel 2011-2012•La stragrande maggioranza dei progetti rimangono attivi nel tempo, ma solo una modesta parte si traduce in attività economiche

43

Idee per lo studio di fattibilitá (1) (TBC)

44

Idee per lo studio di fattibilitá (2) (TBC)

45

Prossimi stepsWhat When

Webinar sullo studio di fattibilità 4 Luglio

Conclusione analisi dei dati della piattaforma

6 Luglio

Conclusione dei casi studio13 Luglio

Invio report finale sulla valutazione sulla base dei commenti ricevuti

20 Luglio

Conclusione dello studio di fattibilità 31 Luglio

46

Grazie per l’attenzione!

47

www.open-evidence.com

David OsimoFrancesco Mureddu C/Roc Boronat 117 8th Floor 08018 Barcelona Spain Phone: +34 934 [email protected]@open-evidence.com

mailto:[email protected]

mailto:[email protected]

48

Allegato – analisi empirica

49

Anova output – esempio caso significativo

Sum of Squares df Mean

Square F Sig.

Perceived Impact

Between Groups 4,846 1 4,846 5,046 ,028

Within Groups 72,032 75 ,960

Total 76,878 76

Perceived utility

Between Groups 4,427 1 4,427 4,628 ,035


Total 80,000 80

50

Anova output – Statistica descrittiva

N Mean Std. Deviation

Std. Error

95% Confidence Interval for Mean

Minimum

Maximum

Between-

Component

Variance

Lower Bound

Upper Bound

FAC1_1 Perceived Impact

Competitivo 41 -,2261676

,92705156

,14478113

-,5187812

,0664460

-1,42236 1,57135

Convergente 36 ,2766494 1,03723504

,17287251

-,0743005

,6275992

-1,42236 2,55376

Total 77 ,0089157 1,00576182

,11461720

-,2193643

,2371956

-1,42236 2,55376

Model

Fixed Effects ,9800133

5,111682

89-,213568

0,231399

4

Random Effects

,25172823

-3,18959

48

3,2074262 ,101360

68

FAC1_2 Perceived utility

Competitivo 45 -,2091052

,97655226

,14557582

-,5024939

,0842836

-2,12679 1,56963

Convergente 36 ,2613815 ,97997167

,16332861

-,0701933

,5929562

-1,85412 1,56963

Total 81 ,0000000 1,00000000

,11111111

-,2211182

,2211182

-2,12679 1,56963

Model

Fixed Effects ,9780686

7,108674

30-,216310

8,216310

8

Random Effects

,23606644

-2,99950

85

2,9995085 ,086763

37

51

Means plotsB

en

efici

o p

erc

ep

ito

Regioni competitive Regioni convergenti

52

Means plotsU

tilit

à p

erc

ep

ita

Regioni competitive Regioni convergenti

53

Means plotsB

en

efici

o p

erc

ep

ito

Sarebbe riuscito a realizzare il progetto anche senza Kublai?

Si Si, ma avrei avviato un’iniziativa diversa/più debole

Si, ma avrei impiegato più tempo

No

54

Means plotsU

tilit

à p

erc

ep

ita

Sarebbe riuscito a realizzare il progetto anche senza Kublai?

Si Si, ma avrei avviato un’iniziativa diversa/più debole

Si, ma avrei impiegato più tempo

No

55

Means plotsB

en

efici

o p

erc

ep

ito

In che misura ha condiviso informazioni sul progetto?

Per nulla Poco Abbastanza Molto Moltissimo

56

Means plotsU

tilit

à p

erc

ep

ita

In che misura ha condiviso informazioni sul progetto?

Per nulla Poco Abbastanza Molto Moltissimo

57

Means plotsU

tilit

à p

erc

ep

ita

No Si

Esperienza manageriale Il rispondente ha già gestito delle iniziative prima

di partecipare a Kublai

58

Anova output – esempio caso non significativo

Sum of Squares df Mean

Square F Sig.

FAC1_1 Perceived Impact

Between Groups 1,480 1 1,480 1,457 ,231

Within Groups 75,181 74 1,016

Total 76,661 75

FAC1_2 Perceived utility

Between Groups 3,979 1 3,979 4,100 ,046


Total 79,687 79

59

Means plots

Capacità manageriali Variabile composta da esperienza in progettazione, esperienza in

gestione di initiative ed ottenimento previo di finanziamenti

Ben

efici

o p

erc

ep

ito

60

Means plotsU

tilit

à p

erc

ep

ita

Capacità managerialiVariabile composta da esperienza in progettazione, esperienza in

gestione di initiative ed ottenimento previo di finanziamenti

61

Means plots

Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai

Ben

efici

o p

erc

ep

ito

No Si

62

Means plots

Il rispondente ha già ottenuto dei finanziamenti prima di partecipare a Kublai

Uti

lità p

erc

ep

ita

No Si

63

Means plots

Esperienza manageriale Il rispondente ha già gestito delle iniziative prima

di partecipare a Kublai

Ben

efici

o p

erc

ep

ito

No Si

64

Means plots

Esperienza in progettazione Il rispondente ha già scritto dei progetti

prima di partecipare a Kublai

Ben

efici

o p

erc

ep

ito

No Si

65

Means plotsU

tilit

à p

erc

ep

ita

No Si

Esperienza in progettazione Il rispondente ha già scritto dei progetti

prima di partecipare a Kublai

66

Pearson's chi-squared test – esempio caso significativo

Value df Asymp. Sig. (2-sided)

Pearson Chi-Square 13.034a 4 ,011

Likelihood Ratio 13,673 4 ,008

Linear-by-Linear Association 1,513 1 ,219

N of Valid Cases 80

a. 2 cells (20.0%) have expected count less than 5. The minimum expected count is 1.39.

67

No SiEsperienza manageriale

00%

10%

20%

30%

40%

50%

60%

Molto bassa Bassa Media Alta Molto alta

Utilità del materiale di progetto

Il rispondente ha già gestito delle iniziative prima di partecipare a Kublai

Analisi della correlazione (1)

68



00%

10%

20%

30%

40%

50%

60%



Utilità del feedback ricevuto dallo staff

69


Utilità del feedback ricevuto dagli altri Kublaiani


00%

05%

10%

15%

20%

25%

30%

35%

40%



70


Utilità di Kublai nell’acquisizione di skills professionali


00%

05%

10%

15%

20%

25%

30%

35%

40%



71


Ha realizzato il progetto?


00%

10%

20%

30%

40%

50%

60%

70%

Si Si, in maniera diversa No


72


Sarebbe riuscito a realizzare il suo progetto senza Kublai?


00%

10%

20%

30%

40%

50%

60%

70%

80%

90%

SiSi, ma avrei avviato un’iniziativa diversa/più debole_x000d_Si, ma avrei impiegato più tempoNo


73


Regioni competitive Regioni convergenti00%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Presenterebbe altri progetti su Kublai Non presenterebbe altri progetti su Kublai

Kublai evaluation key findings

Government & Nonprofit

Transcript of Kublai evaluation key findings