Scenario, Visualization, and Simulation Approaches for 

Addressing Integration Challenges in Mission Engineering(A discussion of practiced applications)

Alejandro S. Hernandez, PhD Anthony G. Pollman, PhD

Systems Engineering DepartmentU.S. Naval Postgraduate School

23 October 2019

1Hernandez, A., and Pollman, A., Addressing Integration Challenges in Mission Engineering, 2019 10/23/2019

Purpose• Offer a workable definition for integration in context of mission engineering.

• Identify enterprise level integration challenges with mission engineering.

• Introduce scenario methodologies and visualization techniques combined with simulation (computer and non‐computer based)  as viable solutions to address integration challenges to mission engineering.

• Propose indicators for the level of integration achieved.

10/23/2019 2

Engineering and Non‐Engineering Problems: Complex Systems

• The Office of the Deputy Assistant Secretary of Defense for Systems Engineering… 

• Demands systems thinking• Expands the definition of a system• Requires a systems engineering approach to new weapon system development.

• Technological and Socio‐political Challenges• A View of Complex Systems

• System of systems• Emergent behavior• Dangers of unintended consequences

“Mission Engineering (ME) is the deliberate planning, analyzing, organizing, and integrating of current and emerging operational and system capabilities to achieve desired warfighting mission effects.” (Gold 2016)

10/23/2019 3

Applicable Understanding of Mission Engineering

• Mission in Gold’s context implies an enterprise‐level, military capability, vice the more common warfighting usage that refers a tactical engagement, objective or set of objectives (Marine Corps Doctrinal Publication‐1 1997). 

• “Mission Engineering combines the structure of systems engineering and the tactical insights of operational planning to a system of systems to deliver a specific capability.” (Vesonder, 2018)

• Engineers seek means to apply mission engineering concepts in concrete terms. 

10/23/2019 4

Acquisition

Mission Integration Management(NDAA 2017)

• The NDAA (2017) stipulates that DOD integration activities are coordinated between operational and acquisition communities.

• The driving force in this relationship is in the operational community.

• We focus on integrating technologies into an existing operational organization.

10/23/2019 5

Refining a Definition for Integration in ME(Lin, Mok, Hernandez, Nussbaum 2018)

10/23/2019

• A three‐phased definition for technology integration provides a practicable and measurable approach to achieve integration.

• The definition is derived from a study with the Navy Environmental Sustainability Development to Integration (NESDI) program, NAVFAC.

• Applies vetted industry and business terms via Rogers (1995), Dewar and Dutton (1986), Robertson (1967)

• Links with operational and acquisition activities. 

• Transition and Adoption phases present particular challenges.

6

Identifying Integration Challenges through Four Guiding Principles (Langford 2012)

Violating one or more of the following principles creates obstacles for integrating new technologies and\ or new capabilities into an enterprise:• Alignment: Match the organization’s strategic direction (ends, ways, and means), the business enterprise, and the capabilities that the technology offers.

• Induction: Recursively think through the interactions (and their impact) between the new technology and the existing organization and systems.

• Limitation: The architecture (structuring places, products, people, and processes) must support the desired outcomes from introducing the new technology.

• Forethought: Deliberately plan integrating a new technology into an organization.  Captures the other three principles.

10/23/2019 7

Some Examples of Integration Challenges in Terms of Langford’s Principles

• Alignment: Solutions to undefined problems.

• Induction: Interoperability and compatibility of communication systems (4ID the first digitized Army division)

• Limitation: • Lack of personnel education and training (Connex bound technologies)

• Organization structure and supply chains (limited repair parts – MGS)

• Forethought: A document outlines standard operating procedures for integrating new technologies, but is not followed.10/23/2019 8

Scenario Methodologies• Construct future scenarios that hold multi‐sided problems that require organizations to review current strategies, knowledge of the workforce, and processes. 

• Promote conceptual thinking and creativity; instill divergent thinking; a catalyst for systems thinking. 

• Educate and train organizations and personnel.

• Scenario planning is itself a system composed of two phases each with several steps.

10/23/2019 9Scenario Planning, Chermack 2011

Scenario Exploration• External analysis• Analyze STEEP forces• De Bono’s thinking hats• Internal analysis• SWOT analysis• Interviews• Analyze business ideas• Other synthesis tools

Scenario Development• Brainstorm the major forces• Rank forces by impact• Rank forces by uncertainty• Develop scenario logic• Construct the research agenda• Define the plots and titles• Write the scenario stories• Create the scenario communication

strategyScenario Implementation• Wind tunneling• Examine initial question• Scenario immersion• Test the theory of the business/

business idea• Analyze current strategies• Develop signals• Experiential exercise• Build resilience and robustness

Project Assessment• Revisit purpose• Take satisfaction measures• Take knowledge measures• Take expertise measures• Take system measures• Take financial measures

Inputs• Stakeholder need• Problem or issue• Organization history and culture• Others

Outputs• Increased understanding• Ability to see problems in new way• Shared understanding of organization & issues• Aligned organizational systems• Robust strategy• Others

Project Preparation• Articulate purpose• Define scope and time frame• Build scenario team & roles• Articulate expected outcomes• Create measure for outcomes• Construct project proposal

StrengthsWeaknesses

Opportunities

Threats

Visualization“Visualization is critical to data analysis.  It provides a front line of attack, revealing intricate structure in data that cannot be absorbed in any other way.  We discover unimagined effects, and we challenge imagined ones.” ‐‐‐ William C. Cleveland (1993)

• Graphical methods are useful in many, if not all, stages of data analyses.

• Visualization combined with subject matter expertise about the system of interest is a powerful approach for making credible conclusions.

• Reverse engineering data products (to include graphics) that support decision making is a useful approach for planning studies. 

10/23/2019 10

Simulation• Exercising a model of a system of interest to study input and output or outcome variables.

• Computer based simulations can incorporate design of experiments and produce data for analyses.

• Non‐computer based simulations emphasize dialogue to gain understanding and leverage subject matter expertise.

• Supports scenario methods and  visualization.

10/23/2019 11

SNOLH Design 15x17, Hernandez 2017

Automated Computer Aided Wargame, Hodicky and Hernandez 2019

Cobra Gold 2018 IOSS, Hernandez et al. 2018

Applying Scenarios• Blueprinting for understanding CONOPS, processes (restaurant 

service quality – Hossain, Enam,  and Farhana 2017).• Scenario‐based learning; practical exercises (education design –

Hernandez and Spence 2019); storyboarding.• Wargames (prototyping warfare) to assess system behavior and 

organizational effectiveness.

10/23/2019 12PSOM

Applying Visualization• Show heat maps to gain insights about interactions.• Create efficiency frontiers to determine “knee in the curve.”

• Develop optimal stressor scenarios for OT&E.

10/23/2019 13

Applying Simulation to Produce Analytic Products

• Study force structure sufficiency; nonparametric trees.• Estimate measures of interest for system behavior (impact on unit effectiveness or system RAM).

• Develop statistical models for (target kill).

10/23/2019 14

  0̂ˆ ˆarg   * tan  +  *  D SE T et Kill Dis ce Sunset

f (X)

X1

X2

Design space with design points and corresponding points on surface.

Often desire to know the average value of a function Y = f (X).

1[ ( )] ( ) A

E f X f X dxA

Examples for Measuring Characteristics that Indicate Successful Integration

10/23/2019 15

Characteristic Measures Possible Scoring Criteria

Complexity Time required to train/ learn

1: > 1 month2: < 1 month3: < 2 weeks4: < 5 days5: < 2 days

CompatibilityLevel of change to existing processes

1: totally new work process2: major modification required3: minor modification required4: adaptation of existing process5: no change

CostExpected annual cost of using the technology

1: >$50,0002: <$50,0003: <$30,0004: <$10,0005: <$5000

TrialabilityAmount of resources required to demonstrate technology

1: > 1 month prep or $15,0002: < 1 month prep or $15,0003: < 2 weeks prep or $10,0004: < 5 days prep or $5,0005: < 2 days prep or $2,000

Recall the Desired Impact of ME on the DOD Enterprise

• Define mission outcomes to identify and frame the correct problem.• Develop an accepted end state for mission success with defined mission success factors to drive the performance requirements for individual systems.

• Aligns the affected stakeholders – Users, Operators, Acquirers, Testers, Sustainers ‐ with the desired mission and capability outcomes.

• Develops an assessment framework to measure progress toward mission accomplishment through end‐to‐end system integration of test & evaluation of mission threads.

10/23/2019 16

Summary – Reaching for DOD’s ME Goals• Scenarios and visualization combined with simulation create useful tools for mitigating integration challenges in mission engineering.

• Examples of applied practices:• Alignment (scenarios): Workshops and tabletop “wargames” with experts to understand customer need; focus on systems thinking.

• Induction (simulation and visualization): Computer simulation experiments with customized design of experiments and simulation analyses to gain insights about interactions between controllable and uncontrollable factors.

• Limitation (scenarios, visualization, and simulation): Blueprint how to implement a new technology into the existing organization; exercises from tactical to campaign levels; development of optimal stressor scenarios.

• Forethought: Integration begins at the initial stage of system design.  Combine with CONOPS development.

10/23/2019 17