The New Challenge ofDelphi Survey at NISTEP

Mar.2015

Science and Technology Foresight Center

Hitoshi KOSHIBA, Ph.D.

The Data Science into the Foresight

Summary

Mar-3, 2015 2

Implementing Digitization of Delphi Survey Transition from paper based to web based

questionnaires• It enables to collect mass data in a short time.

Embarking on data science efforts• It enables to overview data from various perspectives.

Developed online Delphi System called “Delphin” which enables data analysis from

various perspectives while sequentially verifying the condition of respondents and

responses

Requirements

Mar-3, 2015 3

Readiness Necessary to output analysis in a short time to follow

rapid technological and societal diversification and situation changes

ScalabilityEnable only to collect mass date in a short time by data

collection on ICT and reduced management cost

Necessary to develop a system for NISTEP staff who is not expert at mass data processing to analyze the collected data

Making Delphi Survey to be web based Making Delphi Survey to be web based and developing analyzing system

Transition to Web based Delphi Method

Mar-3, 2015 4

Delphi survey was conducted by mail in the past It is now switched to the new way. (i.e. Web based Delphi)

01011

Request

Cording

Counting

Response

few weeks

few weeks

few days

few weeks

≒ 1 month

Delphin https

Request

Response

Past（Mail Base） Present（Web Base）

It requires only a few seconds excluding responding time and progress can be tracked anytime.

It took months excluding response periodWith struggling with Excel for counting.

Participants

NISTEP

NISTEP

Participants

few minutes!Collection

Screenshot of Survey System

Mar-3, 2015 5

Topics

As this is a system for general questionnaire, there are issues

related to operability such as UI/ UX

Question items

Requirements

Mar-3, 2015 6

Readiness Necessary to output analysis in a short time to follow

rapid technological and societal diversification and situation changes

ScalabilityEnable only to collect mass date in a short time by data

collection on ICT and reduced management cost

Necessary to develop a system for NISTEP staff who is not expert at mass data processing to analyze the collected data

Making Delphi Survey to be web based Making Delphi Survey to be web based and developing analyzing system

Analyzing System：Delphin Core

Mar-3, 2015 7

Developed a system to process mass data – analyzing and visualizing - efficiently

RegistrationStatus View(Daily)

Result View（Represented value）

Visualization of result details

Cross/correlation analysis on detailed items

Correlation View(among the Topics)

Generate basic report （Printed documents）

Mounting functions timely and searchingly by self manufacturing Mounting functions timely and searchingly by self manufacturing necessary functions while using at practical level

Characteristics

Mar-3, 2015 8

Recognize the status promptly Enable to recognize registration and response status by fields in

real time• Enable to take measures such as additional recruitment by detecting a

shortage of responses Enable to present counting results timely （not complied this

time)

Analyze data easily Realize visualization from various perspectives only by mouse

operation Realize the comparison by demographics on site

Mount tools for data science Latent Semantic Analysis and calculating similarity of topics by

using Natural Language Processing Crawling related articles from web sites

Example of analytics function of Delphin

Mar-3, 2015 9

Dimensionality reduction Principal component analysis(PCA),Multi Dimension

Scaling (MDS) ，Self Organization Mapping (SOM)PLSA，LDA

Natural Language ProcessingCalculating correlation of free answerRelated Topics / Policy search (at web)

Others 1

2

3

4

5

6

7

89

10

11

12

13

14

15 16

17

18

19

2021

22

23

24

25

26 27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

6970

71

72

73

7475

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

9192

93

94

95

96

9798

99

100

101

重要度重要度国際競争⼒国際競争⼒不確実性不確実性⾮連続性⾮連続性倫理性倫理性技.わからない 技.わからない技.実現済み

技.実現済み

技.実現する

技.実現する

技.実現しない

技.実現しない

技術.実現年技術.実現年

技.資源配分

技.資源配分

技.内外の連携.協⼒

技.内外の連携.協⼒

技.⼈材戦略

技.⼈材戦略

技.環境整備

技.環境整備

技.その他

技.その他

社.わからない

社.わからない

社.実現済み

社.実現済み

社.実現する

社.実現する

社.実現しない社.実現しない

社会.実装年

社会.実装年

社.資源配分

社.資源配分

社.内外の連携.協⼒

社.内外の連携.協⼒

社.⼈材戦略

社.⼈材戦略

社.環境整備

社.環境整備

社.その他社.その他

-60

-40

-20

0

2 0

-60 -30 0 30 6 0

細⽬

01. 経営・政策

02. 知識マネジメント

03. 製品サービスシステム(PSS)

04. 社会設計・シミュレーション

05. サービスセンシング

06. サービスデザイン

07. サービスロボット

08. サービス理論

09. アナリティクス

10. ⼈⽂系基礎研究

⼈⼯知能

ビジョン・⾔語

メディア・DB

ハード

インタラクション

ネットワーク

ソフトウェア

HPC

理論

サイバーセキュリティBD・CPS・IoT

ICTと社会

医療機器・技術

健疫ゲ情報

その他

農_⾼度⽣産農_疾病防除農_バイオマス利⽤

農_環境保全

⾷品_⾼度⽣産

⾷品_流通・加⼯

⾷品_⾷品安全

⽔産_資源保全

⽔産_育種・⽣産

⽔産_環境保全

林_⾼度⽣産

林_バイオマス利⽤

林_環境保全

共通_情報サービス

共通_その他

宇宙

海洋

地球

地球観測・推計・予測

加速器、素粒⼦・原⼦核

ビーム応⽤：放射光ビーム応⽤：中性⼦等

計算科学・シミュ

数理科学・ビッグデータ

計測科学

エネルギー⽣産

エネルギー消費

エネ流変貯送

資源

リユース・リサイクル⽔

地球温暖化

環境保全

環境解析・予測

環境創成

リスクマネジメント

新材料の創成

先進製造モデ・シミュ応デ：ICT・ナノ

応デ：環エネ

応デ：インフラ国⼟開発・保全

都市・建築・環境

保守・メンテ

交通・物流

モビリティ

防減災技術

防減災情報

経営・政策

知識マネジメント

PSS

社会設計・シミュSvセンシングSvデザインSvロボット

サービス理論

アナリティクス

⼈⽂系基礎

-0.07 5

-0.05 0

-0.02 5

0.00 0

0.02 5

0.05 0

-0.1 0 .0 0.1 0.2

分野

1. ICT・アナリティクス

2. 健康・医療・⽣命科学

3. 農林⽔産・⾷品・バイオテクノロジー

4. 宇宙・海洋・地球・科学基盤

5. 環境・資源・エネルギー

6. マテリアル・デバイス・プロセス

7. 社会基盤

8. サービス化社会

System Structure

Mar-3, 2015 10

Delphin(Online Delphi System) constructed by 2 components Survey : Use existing OSS (Open source Software), Lime Survey. Analysis (Delphin core): Developed from scratch

• Constructed by DB, Web server, D3, R, php and java script.

Delphin Core

SQL DB httpdMySQL DBhttpd

script/code script/code

sync

Lime Survey

OSS: ExistingBuilt by NISTEP

SurveyAnalysis

ParticipantsNISTEP StaffOnline Delphi System : Delphin

Mar-3, 2015 11

Demonstration

Future Technology Conceptual Map

⼈⼯知能

ビジョン・⾔語

メディア・DB

ハード

インタラクション

ネットワーク

ソフトウェア

HPC

理論

サイバーセキュリティBD・CPS・IoT

ICTと社会

医療機器・技術

健疫ゲ情報

その他

農_⾼度⽣産農_疾病防除農_バイオマス利⽤

農_環境保全

⾷品_⾼度⽣産

⾷品_流通・加⼯

⾷品_⾷品安全

⽔産_資源保全

⽔産_育種・⽣産

⽔産_環境保全

林_⾼度⽣産

林_バイオマス利⽤

林_環境保全

共通_情報サービス

共通_その他

宇宙

海洋

地球

地球観測・推計・予測

加速器、素粒⼦・原⼦核

ビーム応⽤：放射光ビーム応⽤：中性⼦等

計算科学・シミュ

数理科学・ビッグデータ

計測科学

エネルギー⽣産

エネルギー消費

エネ流変貯送

資源

リユース・リサイクル⽔

地球温暖化

環境保全

環境解析・予測

環境創成

リスクマネジメント

新材料の創成

先進製造モデ・シミュ応デ：ICT・ナノ

応デ：環エネ

応デ：インフラ国⼟開発・保全

都市・建築・環境

保守・メンテ

交通・物流

モビリティ

防減災技術

防減災情報

経営・政策

知識マネジメント

PSS

社会設計・シミュSvセンシングSvデザインSvロボット

サービス理論

アナリティクス

⼈⽂系基礎

-0.075

-0.050

-0.025

0.000

0.025

0.050

-0 .1 0.0 0.1 0.2

分野

1. ICT・アナリティクス

2. 健康・医療・⽣命科学

3. 農林⽔産・⾷品・バイオテクノロジー

4. 宇宙・海洋・地球・科学基盤

5. 環境・資源・エネルギー

6. マテリアル・デバイス・プロセス

7. 社会基盤

8. サービス化社会

Mar-3, 2015 12

Visualizing correlation among fields by detail items through natural language processing

Co-Occurrence Relation Map

⼈⼯知能ビジョン・⾔語処理デジタルメディア・データベース

ハードウェア・アーキテクチャ

インタラクション

ネットワークソフトウェアHPC理論

サイバーセキュリティビッグデータ・CPS・IoT

ICTと社会

医薬 医療機器・技術

再⽣医療

コモンディジーズ、外傷、⽣殖補助医療

難病、希少疾患

精神・神経疾患新興・再興感染症

健医疫ゲ情報

⽣命科学基盤技術その他

農_⾼度⽣産

農_作物開発

農_疾病防除

農_バイオマス利⽤

農_環境保全

⾷品_⾼度⽣産

⾷品_流通・加⼯⾷品_⾷品安全

⾷品_⾷品機能性

⽔産_資源保全⽔産_育種・⽣産

⽔産_環境保全林_⾼度⽣産

林_バイオマス利⽤

林_環境保全

共通_情報サービス

共通_その他宇宙海洋

地球

地球観測・推計・予測

加速器、素粒⼦・原⼦核ビーム応⽤：放射光

ビーム応⽤：中性⼦

計算科学・シミュレーション数理科学・ビッグデータ計測科学

エネルギー⽣産

エネルギー消費エネルギー流変貯送資源

リユース・リサイクル

⽔地球温暖化

環境保全

環境解析・予測環境創成

リスクマネジメント

新しい物材機能創成

先進製造モデリング・シミュレーション先端材・デ計測・解析

応デ：ICT・ナノ

応デ：環エネ

応デ：インフラ

国⼟開発・保全

都市・建築・環境

インフラ保守・メンテナンス

交通・物流インフラ

⾞・鉄道・船舶・航空防災・減災技術防災・減災情報

経営・政策知識マネジメント

PSS社会設計・シミュサービスセンシング

サービスデザインサービスロボットサービス理論アナリティクス

⼈⽂系基礎研究

-0.02

0.00

0.02

-0.02 0.00 0.02 0.04

分野

1. ICT・アナリティクス

2. 健康・医療・⽣命科学

3. 農林⽔産・⾷品・バイオ

4. 宇宙・海洋・地球・科学基盤

5. 環境・資源・エネルギー

6. マテリアル・デバイス・プロセス

7. 社会基盤

8. サービス化社会

Mar-3, 2015 13

Visualizing correlation among fields by detail items from

co-occurrence relation when respond

Response Trends Classification Map：PCA Based

1

2

3

4

5

6

7

89

10

11

12

13

14

15 16

17

18

19

2021

22

23

24

25

26 27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

6970

71

72

73

7475

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

9192

93

94

95

96

9798

99

100

101

重要度重要度国際競争⼒国際競争⼒不確実性不確実性⾮連続性⾮連続性倫理性倫理性技.わからない 技.わからない技.実現済み

技.実現済み

技.実現する

技.実現する

技.実現しない

技.実現しない

技術.実現年技術.実現年

技.資源配分

技.資源配分

技.内外の連携.協⼒

技.内外の連携.協⼒

技.⼈材戦略

技.⼈材戦略

技.環境整備

技.環境整備

技.その他

技.その他

社.わからない

社.わからない

社.実現済み

社.実現済み

社.実現する

社.実現する

社.実現しない社.実現しない

社会.実装年

社会.実装年

社.資源配分

社.資源配分

社.内外の連携.協⼒

社.内外の連携.協⼒

社.⼈材戦略

社.⼈材戦略

社.環境整備

社.環境整備

社.その他社.その他

-60

-40

-20

0

20

-60 -30 0 30 60

細⽬

01. 経営・政策

02. 知識マネジメント

03. 製品サービスシステム(PSS)

04. 社会設計・シミュレーション

05. サービスセンシング

06. サービスデザイン

07. サービスロボット

08. サービス理論

09. アナリティクス

10. ⼈⽂系基礎研究

Mar-3, 2015 14

Visualizing response trends by dimensionality

reduction

Issues

Mar-3, 2015 15

SurveyGeneralized questionnaire systems cannot fully deal

with Delphi method in some points due to its particularity. • Dozens of question items for one Delphi topic• The number of topics is from dozens to thousands

►Questionnaire with hundreds questions are usually not constructed (organized).

►Be creative in UI

• After 2nd round, present last count result and re-enter

questionnaire system is consideredRevising and developing

questionnaire system is considered

Issues

Mar-3, 2015 16

AnalyticsDifficult to handle data in Excel due to a large

amount of data

Methods are available to use for data science but difficult to judge what is appropriate. • Difficult for outsourcing as required functions are searched

and found during practice

Developing continuously by a teams of Developing continuously by a teams of data scientists, persons with work

experience and experts

Summary

Mar-3, 2015 17

Identifying fieldsʼ future vision is important work for S&T policy NISTEP implemented Science and Technology Foresight

Survey by Delphi method Improving analyzing speed is a challenge along

with social diversification Using ICT to deal with the challenges but facing

the difficulty to handle a large amount of data Difficult to introduce simplest systems due to structural

issues

Not only digitized but developed online Delphi System called Delphin as a new initiative directing Data Science in Foresight