Taming the Data Dragon: How to Manage, Validate and Get 

Insight From Your Data — Big or SmallKatie Delahaye Paine, CEO, Paine Publishing

Objectives

By the end of this session participants will be able to:• Identify the data they need to make better decisions

• Ensure that their data is clean and valid 

• Produce reports that will make leadership swoon

Data is the language of management 

0% 20% 40% 60% 80% 100%

Application articles

Contract wins

Exec Interview

Media advisory

Release + conference

Press release plus VNR

Product review

Industry issue

Trade show/event

No Message

Negative Message

Positive Message

3

ACA programs drive higher Optimal Content Scores, which correlate highly with web visits

0.41

0.44

0.47

AC items

ACA items

ACA Optimal ContentScore

Correlations between Web Visits and PR Metrics

Pearson r. value

4

4

0

50

100

150

200

250

300

020000400006000080000

100000120000140000

1/1/20

14 ‐ 1/7/20

141/8/20

14 ‐ 1/14

/201

41/15

/201

4 ‐ 1

/21/20

141/22

/201

4 ‐ 1

/28/20

141/29

/201

4 ‐ 2

/4/201

42/5/20

14 ‐ 2/11

/201

42/12

/201

4 ‐ 2

/18/20

142/19

/201

4 ‐ 2

/25/20

142/26

/201

4 ‐ 3

/4/201

43/5/20

14 ‐ 3/11

/201

43/12

/201

4 ‐ 3

/18/20

143/19

/201

4 ‐ 3

/25/20

143/26

/201

4 ‐ 4

/1/201

44/2/20

14 ‐ 4/8/20

144/9/20

14 ‐ 4/15

/201

44/16

/201

4 ‐ 4

/22/20

144/23

/201

4 ‐ 4

/29/20

144/30

/201

4 ‐ 5

/6/201

45/7/20

14 ‐ 5/13

/201

45/14

/201

4 ‐ 5

/20/20

145/21

/201

4 ‐ 5

/27/20

145/28

/201

4 ‐ 6

/3/201

46/4/20

14 ‐ 6/10

/201

46/11

/201

4 ‐ 6

/17/20

146/18

/201

4 ‐ 6

/24/20

146/25

/201

4 ‐ 7

/1/201

4

Relationship between ACA Program Mentions and Site Visits

Site Visits Program Mentions

More spokespeople would translate into better coverage

• Analysis showed that there was a positive relationship between the number of quotes and the volume of desirable coverage. 

• Increasing the number of individual subject matter experts would increase the quality and quantity of coverage.

5

Signs that the Data Dragon is about to pounce

• The Glazed Eyeball Effect• Panic in Your Gut • I can’t fit it all in• Too many numbers, too little time 

This Photo by Unknown Author is licensed under CC BY‐SA

6 Steps to Tame the Data DragonStep 1: Know your business goalsWhat outcomes is this strategy or tactic going to achieve? What are your measurable objectives?Step 2: Agree on metrics or acceptable proxies  Define the investment. Clarify who are you are trying to reach. How your efforts connect with those audiences to achieve the goal? Step 3: Define your benchmarksWho/what are you going to compare your results to?Step 4: Define the metricsWhat are the indicators to judge your progress?Step 5: Select your toolsStep 6: Analyze the dataTurn into action, measure again.  

7

6 Steps to Success

1

2

3

4

5

6

A82

Slide 7

A82 Make additionl slide with "Define the Investment" between #2 and #3

Author, 5/20/2013

Define Your Champagne Moment

8

• What return is expected? • Define in terms of the mission• Your champagne moment: If you are celebrating complete 100% success a year from now, what is different about the organization?

Definitions of “Success” • What’s the path? 

The “Spark” – top tier media coverage

Quality media coverage conveys messages

Influencers generate understanding/awareness 

Communications !s engagement 

Engagement increases revenue. Revenue advances goals 

9

Which data matters? 

• Focus on the KPIs with pre‐assigned targets 

• Analyze the outliers• Include the metrics that answer the “why?” 

• Cluster the rest 

The 6 Most Common Data Problems

• Duplicate data • Not enough data• Too much data• Too many metrics • Comparing apples to goats • Lack of standard terminology • Bots, spam and just plain bad data 

How to Make Sure Your Data is Clean

• Only collect and report on the data that matters –i.e. connects to your goals 

• Eliminate sources that aren’t relevant• Check for and eliminate duplicates• Make sure your data streams are parallel• Develop a standard dictionary for all vendors• Audit & test your data 

12

Get the right data 

13

• Survey or Online action Awareness• Survey or Online action Preference• Survey or Online action  Consideration

• Sales contact system ‐CRM Leads

• Monitoring/listening or Survey  Messaging• Monitoring/listening Visibility• Revenue/expenses Cost savings 

Procter & Gamble 

Purchase

Desirable Photo

Recommendation

Brand Benefit

My Favorite Metrics  Events

• $$ Per Lead• $$ Per Minute spent with Prospect

• Pre/Post %    in goal• Share of desirable voice in media and/or share of event hashtags

For Owned Digital/ and Social, use these 

metrics:

• % ! in conversions• % ! in incoming  queries 

• % ! in preference/ consideration/trust

For Earned Media, use these metrics:

• % ! in conversions from earned content

• % ! in coverage containing 1+ key messages

• in share of desirable coverage vs. the competition

• %    in share of undesirable coverage vs. the competition

• % ! in incoming queries• % ! in preference or consideration or trust or awareness

For Internal Communications, use these metrics:

• %     in willingness to recommend

• % ! in employee engagement

• % ! in understanding of company priorities

Standard Definitions: What IS a “good article”?Desirable Criteria Score Undesirable Criteria Score

Positive: Leaves reader more likely to purchase, work for, or invest OR less likely to oppose

1Negative: Leaves reader less likely to purchase, work for, or invest OR more likely to oppose

1

Contains one or more positive messages 1.5 Contains one or more negative  

messages 2

Event/Program is mentioned 1 No Event/Program is mentioned 0

Dispels a myth 2 Perpetuates a myth  2

Positive headline 2 Negative headline  2

Third‐party endorsement 1 Recommends competition 1

Contains desirable visual 1.5 Contains undesirable visual 2

Total Score 10 Total Score ‐10

Standard Definitions: Engagement Action Score

“Like”/Follow/Open/+1 .5

Favorites/Opens/Views .5

Comments 1

Shares content 1.5

Signs up to receive email or other owned  content  4

Shares a link to an owned site  2.5

Total Score 10

24

Make Data your Bitch

• Figure out what kind of a story they need to hear • What’s keeping them up at night? 

• What’s preventing them from earning their bonus? 

• Analyze your data – What story can you tell 

• Illustrate your story 

Real Life 

Use Metrics to tell Your Story  

20

• Rank order results from worst to best• Stop doing the “worst” performing things

• Ask “So What?” at least three times• Find your inner “Data Geek” (or someone who is)

• Compare to last month, last quarter, 13‐month average

The Data is the Data 

• Don’t be afraid of bad news• You learn more from failure• Suggest ways to improve•Make sure you relate data to goals  

21

Correlation between Media Coverage and Goal Conversions (from Google Analytics) 

0.28

0.399

0.405

0 0.1 0.2 0.3 0.4 0.5

Number of clips

Number of PositiveArticles

MQI Score

Pearson r value

Free entertainment generated the highest Optimal Content Scores

9.308.68

8.108.00

7.677.507.367.31

7.156.71

6.546.36

5.735.26

Free EntertainmentLady Antebellum ConcertSand Sculpting World Cup

Challenge TriathlonBoardwalk Hall Light Show

Hello SummerSand Blast

Miss'd America PageantBlake Shelton

Air ShowJuly 4th Fireworks

DO ACMeet AC

Miss America

Top Programs By Optimal Content Score (OCS)

23

23

Without ACA Events, Optimal Content Scores for Atlantic City Would Have Been Significantly Lower 

The red line represents coverage of Atlantic City minus all mentions of ACA and its programs

4

3.252.75 2.99

3.652.96

3.36 3.24

2.34 2.37 2.43

1.30

‐1.24

0.37‐0.05

0.28 0.28

‐1.56

4.91

3.92

2.993.58

4.14 4.1 4.27 4.12 4.29

2.78 2.56

1.53

‐0.29

0.610.20

1.441.77

0.63

‐2

‐1

0

1

2

3

4

5

6

Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr May June

Average OCS

 Score 

Atlantic City OCS without ACA Atlantic City OCS with ACA 24

Because of ACA’s efforts:• Coverage was less negative, and more positive 

• More downloads of the “Visitor Guide” were generated for less money

• People who saw news about Atlantic City are more likely to recommend and also perceive AC as fun and a place they are excited to visit – a key driver of preference. 

24

Prioritizing Efforts 

25

Market News InternationalJacksonville Business Journal Online

American BankerAtlanta Business Chronicle

ForbesMiami Herald

Jacksonville Business JournalNew York Times

Fox Business NetworkTimes‐Picayune Online

USA TodayUS News & World ReportWall Street Journal Online

Forbes OnlineWall Street JournalUSA Today OnlineCNNMoney.com

Atlanta Journal‐ConstitutionBloomberg Radio Network

Atlanta Business Chronicle OnlineEconomist

Fox Business OnlineBloomberg News

ReutersTheStreet

MSN Money (US)MarketWatch

Bloomberg TelevisionNew York Times Online

Calculated RiskCNBC

Washington Post OnlineMoneyBeat

TwitterBusiness Insider

CNBC OnlineReuters Online

NASDAQYahoo! FinanceSeeking Alpha

Outlets that Don't Include Key Messages Incorrect or Undesirable message No Message

Calculated Risk 2.42Atlanta Journal‐Constitution 2.40Fox Organizational Network 2.25Nightly Organizational Report Online 2.10WFLA‐AM (Fox News Radio) 2.00DealBook 1.63New Orleans City Organizational Online 1.00Forbes 1.00New Orleans City Organizational 1.00Miami Herald 1.00Facebook 1.00CNN Online 1.00Jacksonville Organizational Journal 1.00Reuters 0.91MarketWatch 0.90Economist 0.88FiveThirtyEight 0.75CNBC World 0.50Times‐Picayune 0.50Tennessean Online 0.50

Media Outlets with Lowest Quality Score 

Dragon armor 

• Focus on KPIs not metrics• Tell a story that leadership needs to hear 

• Understand your data • Be the ultimate skeptic • Use only the data that tells a story • Use data that you can act on or that stops you from doing stupid stuff 

• Use charts that illustrate your story • Only show the data that impacts the business, the rest can go in an appendix

This Photo by Unknown Author is licensed under CC BY‐SA

Thank you!Please remember to complete the session evaluation in the Conference app. Visit the session page to leave feedback, access handouts, and view fellow participants.

Need the app? Go to icon.prsa.org to download now

• Visit Paine Publishing online: www.PainePublishing.com

• For any questions, email me: measurementqueen@gmail.com

• Follow me on Twitter: @queenofmetrics

• Follow Paine Publishing on Facebook

• Or call me: +01‐603‐682‐0735