1  

 WRAPAROUND MILWAUKEE 

  

  

2014 PERFORMANCE IMPROVEMENT 

PROJECT     

 

Wraparound Medication Clinic Decreasing Intake Appointment No Shows 

         

December 2014     

2  

Performance Improvement Project Contributors: Pnina Goldfarb, PhD – Wraparound Research Consultant –Author and Researcher Pamela Erdman MS, OTR – Wraparound Milwaukee Quality Assurance Director    

Thanks To:  Dr. Dennis Kozel ‐ Wraparound Medical Director Beth Halusan, RN ‐ Wraparound Milwaukee Medication Clinic  Lea Kyle‐Lewis – Administative/Medication Clinic Support Staff Jennifer Miles – Administrative Assistant Maryan Torres, RN ‐ Wraparound Milwaukee Medication Clinic/Pregnancy‐Teen Parent Consultant   …For providing consultation, guidance and/or support during this study     

Special Thanks To: AJA Counseling Center Alternatives in Psychological Consultation Aurora Family Service, Inc. La Causa, Inc. My Home Your Home St Amelian‐ Lakeside St Charles Youth & Family Services Willowglen Community Care   …Wraparound Milwaukee Care Coordination Agencies for supporting families in getting to their Medication Clinic appointments    

3  

Table of Contents  Study Question.................................................................................................................4  Selection Process and Topic Importance...........................................................................5  Study Indicators...............................................................................................................7  Study Population & Sampling Method..............................................................................8  Data Collection.................................................................................................................9  Improvement Strategies/Intervention.............................................................................11  Data Analysis and Interpretation of Study Results...........................................................14  Project Limitations & Implications for Project Improvement...........................................20  Real Improvement Achieved...........................................................................................23  Sustained Improvement..................................................................................................25  References......................................................................................................................26  Appendices.....................................................................................................................28 

Appendix #1 – Sample of Med Clinic Appointments Report Appendix #2  ‐Sample of Upcoming Med Clinic Appointments‐Care Coordinator Copy Appendix #3 – Original email sent to Care Coordinators Appendix #4 – Revised email sent to Care Coordinators 

   

4  

    With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).    

Study Question

5  

    With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).    Topic Selection Process and Rationale  A carefully selected group of Wraparound Milwaukee managers and clinicians were brought together to discuss areas of potential improvement in the Wraparound program.  Collectively, this group has the pulse on the internal workings of the entire program.  Ten ideas were generated that lent themselves to possible Performance Improvement Projects.  The feasibility of each idea was discussed.   Complexity, time, access to data and, most importantly, potential impact on youth care and well‐being were considered.  The topic that emerged as highly relevant and of critical importance to the care of Wraparound youth is related to the legal guardian’s participation at the Wraparound Medication Clinic intake appointment.     To further explore and confirm this proposed topic, a follow‐up discussion was held with Wraparound’s psychiatric Medical Director and the registered nurse who oversees the Wraparound medication clinic.  They indicated that at this initial intake appointment, very specific medical and behavioral information must be obtained from the legal guardian.  The “No Show” rate of legal guardians at their child’s intake appointment has grown into a major concern.    “No Shows” are defined as:  youth that come to a medication clinic intake appointment without a parent/legal guardian, youth and parents/legal guardians who are entirely absent for the Intake appointment, or those situations in which  the intakes were cancelled less than 24 hours before the scheduled appointment.   In review of  the Medication Clinic Appointment Log for a 6 month period (July 1, 2013 – January 31, 2014), an average “No‐ Show” rate of 40% was revealed.   The results of these “No‐Shows” have impact on the youth, other clinic attendees, and the overall functioning of the clinic.  First and foremost, the “No‐Show” hinders the mental health evaluation process which in turn thwarts the ability to provide a course of medication treatment for the youth in a timely fashion.  This has potential to affect treatment planning and Plan of Care Needs acquisition.  A recidivism study conducted by Goldfarb (October, 2014) reveals that youth are most vulnerable to criminal re‐offense in the first 3 months in Wraparound.  This outcome strongly suggests that a medication evaluation and medication plan in conjunction with the behavioral Plan of Care that is developed by the family team should be put in place as soon as possible.      Furthermore, when a “No‐Show” for an intake appointment (which lasts 1 hour) occurs, the clinic generally is unable to fill that time slot. Even though ongoing regular medication management appointments are typically 30 minutes in length, filling this vacancy quickly with 1 or 2 regular appointments is nearly impossible given the demands of school and work and/or transportation challenges.   This inability to fill in “No‐Show” appointments contributes to clinic wait lists.    

Selection Process and Topic Importance

6  

Investigating the Problem   This concern with “No‐Show” rates is observed in the literature.  Accordingly, patients miss from 20% to 50% of scheduled appointments for mental health treatment; twice to three times the rate than in other medical specialties (NIATX and the University of Wisconsin 2009, Kruse G, et.al 2002 and Mitchell A. & Selmes T, 2007.)  There are numerous studies that have attempted to identify the critical variables that contribute to the “No‐Show” rate for mental health services.  These variables include such factors as:  

Younger age 

Low socio‐economic status 

Homelessness 

Transportation problems 

Distance from clinic 

Poor communication 

And a myriad of patient, family and clinician factors (engagement)   A study completed by Lacy, N et al. (2004), explored the “No‐Show” question further by interviewing patients who failed to show up to clinic appointments.  The participants of the study identified 3 types of issues related to not showing for scheduled appointments: emotions (e.g. fear, lack of trust), perceived disrespect, and not understanding the scheduling system.  Locally, a general health center whose service population is very similar to Wraparound Milwaukee (children and families from poverty areas) also reports a “no‐show” rate of 30% (Zetley, L. November 2014).  Zetley states that it appears to depend on the impetus for the medical appointment (e.g. ADHD medication) and the patient’s familiarity with the physician that influences the attendance outcome.   

Given the target population of Wraparound Milwaukee, many of the variables sited are characteristic of the youth and their families. The “No‐Show” rate is further compounded by the fact that this is an initial appointment in which physician/client engagement has not yet been established.   

 Study Rationale 

 Addressing the medication needs of Wraparound youth is critical to their overall mental health and well‐being, contributing to their ability to adequately function in a home environment, in school and in the community.  The “No‐ Show” rate has a negative impact on effectively and efficiently implementing the medication treatment plan (Plan of Care).  Identifying methods for increasing parental/legal guardian attendance at the initial intake evaluation appointment is vital. Beyond the implications for the individual youth, these no shows affect other youth that need service and the overall functioning of the clinic.    

7  

      

With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).    The population used for this study was all youth in Wraparound Milwaukee (Regular Wraparound and REACH programs) who had scheduled intake appointments in the Wraparound Medication Clinic during the baseline period (188 youth) and the two intervention periods (188 & 160 youth respectively) .     To reiterate, “No Shows” are defined as  youth that come  to a medication clinic intake appointment without a parent/legal guardian, youth and parents/legal guardians who are entirely absent for the intake appointment, or those situations in which  the intakes were cancelled less than 24 hours before the scheduled appointment.  There was no sampling methodology applied.  One hundred percent of youth who had scheduled intake appointments at the medication clinic during the period of July 1, 2013 through October31, 2014 and had not cancelled more than 24 hours in advance were counted in this study.    

Study Population & Sampling Method 

8  

    

 With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).   Outcome Indicators  A single outcome indicator has been identified to measure changes in the “No‐Show” rate of the parent/legal guardian at the youth’s intake medication clinic appointment:  

Numerator:  The number of intake appointment “No‐ Shows” that have occurred during a specified period of time 

Denominator:  The total amount of intake appointments scheduled during a specific period of time 

 In order to establish a percentage of change, the number of “No‐Shows” (numerator) was divided by the total number of scheduled intake appointments (denominator).  Those cancellations that occurred more than 24 hours in advance were not included in the total population.   A daily record of all appointments for the Medication Clinic across all 4 physicians is entered into Synthesis (the Wraparound Milwaukee IT system).  This data produces a report in Synthesis (Med Clinic Appointments)that  lays out each client’s type of appointment (Intake or Ongoing Medication Management ), date, time, the status of turnout for the appointment (Attended, No‐show or Cancelled), and any comments related to coming to the appointment.      

Study Indicators

9  

Process Indicators  Four process indicators have also identified:  

1.  Numerator:  The total number of intake reminder phone calls that were successfully made to the parent/legal guardian OR the Care Coordinator. 

Denominator:  The total number of possible intake reminder phone calls that could be made to the parent/legal guardian OR the Care Coordinator. 

 

2.  Numerator:  The total number of intake reminder phone calls that were successfully made to the parent/legal guardian AND the Care Coordinator. 

Denominator:  The total number possible of intake reminder phone calls that could be made to the parent/legal guardian AND the Care Coordinator. 

 

3.  Numerator:  The total number of Intake appointment notifications successfully sent to the clients Care Coordinator and their respective Supervisor. 

Denominator:  The total number of possible Intake appointment notifications sent to the clients Care Coordinator and their respective Supervisor. 

 

4.  Numerator:  The total number of e‐mail reminders that were successfully sent to the Care Coordinators two weeks prior to their clients’ intake appointment. 

Denominator:  The total possible number of e‐mail reminders that could be sent to the Care Coordinator two weeks prior to their clients’ intake appointment. 

 These indicators allow for the measurement of compliance with the intervention processes that were implemented throughout the study. In order to determine the level of follow through, the number of phone calls (as defined accordingly), the number of appointment notifications and the number of email reminders that were sent were divided by the total number of youth with intake appointments minus those that cancelled ,as defined, more than 24 hours in advance of their appointments..    This data was  accessed through the Progress Notes for each youth and the through the Up Coming Med Clinic Appointments‐Care Coordinator Copy report in Synthesis.  An account of emails sent to care coordinators is kept in a manually generated record.     

10  

      

With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).   Outcome Indicator   The data for the outcome indicator, the number of intake appointment no shows that have occurred during a specified period of time for Baseline and both Intervention  1 & 2, is tracked in Synthesis under the client’s electronic medical record Scheduling Tab.  This scheduling/appointment record is managed daily by the Medication Clinic Clerical Assistant who logs in the appointments designating which ones are intake appointments.  This individual follows up by making notations in the comment section about the status of the appointment as follows:  Attended, Cancelled or No Show.  (See Sample Med Clinic Appointments Report‐ Appendix 1)    This report was accessed and analyzed by the Wraparound Research Associate.  Aggregate outcome data was collected to determine the percentage of no shows during the 3 phases (Baseline, Intervention 1 & Intervention2) of the study.    Aggregate data was collected monthly through the 3 phases of the study.  The first phase, Baseline, was identified from July 1, 2013 through January 31, 2014 (31 weeks).  The second phase, Intervention 1, was from February 15, 2014 to June 30, 2014 (19 weeks).  The last phase, Intervention 2, was from July 1, 2014 to October 31, 2014 (18 weeks).  Aggregate data of the three phases were analyzed and compared.  

Process Indicators  The 4 process indicators were identified at the end of Intervention 1 to assure fidelity to the intervention processes.    The first 2 process indicators were to track the number of successful phone calls made in Intervention 1 & 2 to the parent/legal guardian and/or the Care Coordinator.  Success is defined as having made some contact, either through direct conversation or through voice mail, with the parent/legal guardian or Care Coordinator in Intervention 1 and the parent/legal guardian and the Care Coordinator in Intervention 2.    For both phone call tracking indicators, two nurses working in the Medication Clinic made the reminder phone calls every Friday for the following weeks’ appointments.  The nurses entered the results of these phone calls into the Progress Notes section of the youth’s electronic Medical Record in Synthesis.    The Wraparound Research Associate pulled data for all 348 youth from the nurses ‘progress notes of the phone call.   For the #1 phone call tracking indicator, a spreadsheet was generated that indicated who received the reminder call about the appointment, the parent/legal guardian or the Care Coordinator.  Aggregate data was calculated on each youth to determine what percentage of parents/legal guardians or Care Coordinators were called.  For the #2 phone call tracking indicator, the same information was accessed and evaluated.  However, the aggregate data collected was what percentage of parents/legal guardians and Care Coordinators were called.   

Data Collection

11  

  The third process indicator was the percentage of appointment notifications that were sent to Care Coordination Supervisors and the respective Care Coordinators who service these youth.  After the Medication Clinic Clerical Assistant enters the appointment detail into the youth’s electronic Medical Record, the “Send Tab” is pushed that generates another report called, Upcoming Med Clinic Appointments‐Care Coordinator Copy (see Appendix 2).  This report is then electronically sent to the Supervisor and the Care Coordinator, notifying them of the youth’s upcoming intake appointment.   As a process/fidelity check, these Upcoming Med Clinic Appointments‐Care Coordinator Copy reports were audited by the Wraparound Research Associate to assure notification consistency.  The fourth process indicator is the percentage of email reminders that were sent 2 weeks ahead of time for each appointment.  The Medication Clinic Clerical Assistant was trained to ensure that the 2 week window was upheld  The emails were sent by the Clerical Assistant directly to the Care Coordinators.  A log of sent emails was kept.  The Research Associate audited this log to assure that emails were sent no less than 2 weeks before the appointment.    

12  

      

With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).    An aspect of identifying a research question is to complete a literature review in order to discover the prevalence and the variables that contribute to the problem (both discussed above in Study Topic section) as well as the intervention strategies that have been effective.  According to the literature, a characteristic intervention strategy is to initiate a reminder phone call system (NIATX and the University of Wisconsin 2009, Kluger, MP & Karras A. 1983 and Mitchell A. & Selmes T, 2007)  

Baseline  Based on interviews with the staff (doctor, nurses and the clerical assistant), the established procedures for setting and managing appointments included: 

The Care Coordinator initiating the appointment procedure by partnering with the youth and family to scheduled an intake appointment with the doctor. 

The Care Coordinator calling to schedule the appointment. However, as reported by the Clerical Assistant, about 2% of the time the parent initiates the scheduling of the appointment and about 15% of the time the physician forwards the youth’s name to the Clerical Assistant. 

The appointment is scheduled and entered into the youth’s electronic medical record by the Clerical Assistant.  

When a youth’s scheduled appointment is within the subsequent two weeks, a reminder email with an attached schedule was sent by the Clerical Assistant to the youth’s Care Coordinator.   This schedule was distributed every other Friday. 

When a “No Show” occurred: 

A call was made to the Care Coordinator to find out what prevented the family from coming to the intake appointment.  These calls, however, had not been made consistently. 

When a family had 3 no shows, the physician may have chosen not to reschedule the youth. 

   

Improvement Strategies/Intervention

13  

Intervention 1   After baseline was collected, and shared with Medication Clinic staff, the team decided to institute a reminder phone call system in which a nurse would place a call to either the parent/legal guardian or the Care Coordinator on Fridays of each week for appointments in the upcoming week.   A bilingual, Spanish speaking nurse was available to make these calls to families in which Spanish is the primary language.  Additionally, the use of a TTY line available when there was a concern of a possible hearing impairment.  The original phone call “script” included the following messages: 

The legal guardian must come to the appointment 

The appointment will take an hour 

Please call, if there is a problem with keeping the appointment 

A corresponding progress note was written in the youth’s electronic Medical Record.  This entry indicates who was called and if the parent/legal guardian or Care Coordinator was spoken to directly or a message was left.  

Intervention 2  At the approximate midpoint of the study, the outcome data was reviewed and provided the basis for further refinement of the reminder phone calls and “tightening” of the procedural system.  

Reminder Phone Calls  Based on research outcomes (Kluger, MP & Karras A. 1983), the phone call reminder effectiveness can increase by including an orientation statement in combination with a phone call prompt.   This suggests that attention to the message or the “script” could have impact on the outcome.  Furthermore, in a study conducted by Danoff, N.L. & Kemper, K.J. (1993), telephone reminders did not improve the overall rate of kept appointments but appeared to result in significant improvement in the show rate of those that could be reached.   The implication is that it may matter who receives the reminder phone call and if there is an actual live conversation.  Therefore, two additional changes were made to enhance the effectiveness of the reminder calls: 

The reminder phone calls were made to both the parent/legal guardian and the Care Coordinator 

The message or “script” of the phone call included the rationale and the importance of the parent/legal guardian’s attendance at the intake appointment, as well as a request to bring original medication bottles of all prescription drugs. 

 

Procedural Changes  A number of studies suggest that a multi‐method approach to addressing no shows can be more effective (DuMontier, C., et al., 2013., Kluger, MP & Karras A. 1983).  During baseline, the interviews with the nurses and the Clerical Assistant revealed possible areas of improvement. However, in order to evaluate the influence of a single variable (i.e. the phone calls) no other procedural changes were initiated during Intervention 1.    As part of Intervention 2, several procedural changes were made with the input of the nurses and the Clerical Assistant.  These specific changes are viewed as primarily communication enhancements.   

In addition to verbally conveying the date and time of the appointment to the Care Coordinator when the appointment is being set, and in addition to recording the appointment into the youth’s electronic Medical Record Scheduling, the Clerical Assistant hits the “Send Tab” which generates . an updated report called, Upcoming Med Clinic Appointments‐Care Coordinator Copy which is electronically forwarded through Synthesis to the agency Supervisor and the Care Coordinator. This serves as both a confirmation and reminder of the intake appointment. 

14  

 

A 2 week reminder email is sent out to Care Coordinators reminding them of their respective youth’s upcoming intake clinic appointment.    However, perusing the content of the email, it appeared too generic and was identical to the email used for all ongoing medication appointments.  Again, referring to research that explores the reasons why appointments are missed, not understanding the scheduling system or the expectations contributed to no shows (Lacy, N.  et al. 2004). Therefore, the email was rewritten in order to clearly convey the expectations for the intake appointment (see Appendices 4 & 5). 

Lastly, the reminder email was being sent out every other Friday for the subsequent 2 weeks appointments.  The way this notification system was structured, it provided most people with less than 2 weeks’ notice.  A revision of this system was made so that the email with the attached Medication Clinic Schedule is sent out twice per week calculating the two week window so that it provides every family with a full 2 week notice. 

   

15  

  

   

With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).    

Results:  

For Outcome Indicator: Decrease in “No Show” Rate  Baseline data was collected from 100% of youth that were scheduled for an intake medication appointment from July 1, 2013 to January 31, 2014 (31 weeks).  One hundred and eighty eight (188) youth were scheduled for the intake appointments during this time period at the Wraparound Milwaukee Medication Clinic. They either came to the appointment or did not show.  “No Shows” are defined as:  youth that come to a medication clinic intake appointment without a parent/legal guardian, youth and parents/legal guardians who are entirely absent for the Intake appointment, or those situations in which  the intakes were cancelled less than 24 hours before the scheduled appointment.   The compilation of the baseline data revealed that 60% (113/188) of the youth came to their intake appointment (including parent/legal guardian) and 40% (75/188 youth) were “No Shows”, as defined above. (See Chart 1)  Chart 1                According to the physicians and nurses at the clinic, this level of “No‐Shows” is a concern that has been evident for a significant length of time.  Their concern was primarily for the untreated youth.  However, the effect on other youth who could have been potentially seen sooner complicates this issue.  The waiting list for intake appointments is several weeks out.     

Improvement Strategies/Intervention

60%

40%

Med Clinic Intake Appointments at Baseline (n=188)

Attended

No Shows

16  

Intervention 1 & 2:  The total Intervention data (Intervention 1 & 2) was collected on 100% of youth (348) that were scheduled for an intake medication appointment from February 16, 2014 thru October 31, 2014 (37 weeks).  A comparison of Baseline to the entire Intervention period revealed that the data supports the study question targeted outcome; a reduction of the “No Show” rate by 30% (See Chart 2).  In fact the result revealed an actual reduction in the “No Show” rate of 50.67%.  Chart 2                

Intervention 1  The decision to implement a reminder phone call system was an obvious choice given it has been documented in the literature as a typical intervention strategy (NIATx and the University of Wisconsin 2009, Kluger, MP & Karras A. 1983 and Mitchell A. & Selmes T, 2007). Intervention 1 was conducted from February 15, 2014 to June 30, 2014.    Chart 3                Calculating for percent of change, the results revealed good improvement at 27.5% decrease in the “No Show” rate (see Chart 3). However, the targeted 30% of change was not reached in 19 weeks.  A further analysis of the month by month “No Show “data did not reveal a significant downward pattern (see Chart 4).  A best fit analysis (see Chart 5) reveals a regression line with a slope of ‐0.133, suggesting that the decrease of “No Shows” is leveling off and most likely would not reach the targeted 30% decrease across more time. In a regression context, the slope is the heart and soul of the equation because it tells you how much you can expect Y (“No Show” rate) to change as X (time) increases. 

0%20%40%60%80%

Baseline Interventions1 & 2

Attended 60% 74%

No Shows 40% 26%

Baseline vs Intervention Comparisonsn=348

Attended

No Shows

0%

20%

40%

60%

80%

Baseline Intervention 1

Attended 60% 71%

No Shows 40% 29%

Baseline vs Intervention 1February 15, 2014 ‐ June 30, 2014

(n=188)

Attended

No Shows

17  

Chart 4                           Chart 5               

    Process Indicator for Intervention 1:  the number of successful reminder phone calls that are made to the 

parent/legal guardian or the Care Coordinator.  To assure fidelity, the number of successful reminder phone calls in which contact had been made to the parent/legal guardian or the Care Coordinator, were tracked.  Then, a percentage was calculated, dividing the number that had no progress note related to the reminder message by the total number of youth that had intake appointments during Intervention 1.   Eighty five percent or 159/188 youth had an associated progress note that indicated that either the parent/legal guardian or Care Coordinator had been called and at a minimum a voice message had been left.   A further procedural analysis of the phone calls revealed that the nurses, when given the option to call either the Care Coordinator or the parent/legal guardian, they most often contacted the Care Coordinator (See Chart 6).  Furthermore, when contacting the Care Coordinator, it was most likely that the call resulted in a voice mail message.  According to the data shown on Chart 7, the opposite is true for the parent/legal guardian.  Based on these outcomes, it was felt that the phone calls could be more effective if they were made to both the Care Coordinator and the parent/legal guardian.     Chart 6             Chart 7   

Calls to:  Care Coordinators  135/188  72% 

Parents/Legal Guardian 

24/188  13% 

No Call  29/188  15% 

 

  Care Coordinator Phone Calls: 

Left Message  138/159  88% 

Spoke to Care Coordinator 

18/159  12% 

Parent/Legal Guardian Phone Calls 

Left Message  6/32  19% 

Spoke to Parent/Legal Guardian 

26/32  81% 

 

 Furthermore, the message or “script” of the phone call needed to be specific, conveying the expectations for the appointment more clearly as described in the Improvement Strategies section.  This need for clarification of expectations was reiterated in the literature (Mitchell A. & Selmes T, 2007 & Lacy, N., et.al, 2004).    

0%

50%

100%

Feb March April May June

Intervention 1Month by Month 

February 15, 2014 ‐ June 30, 2014

Attended

No Shows

Intervention 1: Linear Regression Slope (b): ‐0.13 Regression line equation: y=4.77‐0.133x 

18  

Intervention 2  At the midpoint of the study, the data analysis revealed that although phone calls had a positive effect, it did not appear enough to reach the desired targeted decrease.  This outcome is supported in the literature, which suggests that phone calls are insufficient and a multi‐method approach may increase effectiveness (DuMontier, C., et al., 2013., Kluger, MP & Karras A. 1983).  Furthermore, the interviews with the staff (nurses and Clerical Assistant) at baseline and then again at the 19th week , revealed a need to enhance the reminder calls and to address procedural issues.  So for the next 18 weeks (July 1, 2014 to October 31, 2014), the procedures for both the phone calls and for scheduling were enhanced and altered.  With these modifications, calculating for percent of change, the results revealed a percent reduction of “No Shows “of 50.67% (75‐37=38, 38/75 x 100), surpassing the targeted 30% percent decrease (see Chart 8).  Chart 8                A further analysis of the month by month data did reveal a widening of the gap between those who attended their intake appointment and “No Show”(see Chart 9).  Chart 9                         Chart 10                  

0%

20%

40%

60%

80%

Baseline Intervention 2

Attended 60% 77%

No Shows 40% 23%

Baseline vs. Intervention 2(n=160)

Attended

No Shows

0%

50%

100%

Intervention 2 (Month by Month)

July 1, 2004 ‐October 31, 2014

Attended

No Shows

Intervention 2: Linear Regression Slope (b): ‐0.14642857142857 Regression line equation: y=4.77‐0.146x 

19  

A best fit analysis (see Chart 10) reveals a regression line with a slope of ‐0.146, revealing a more downward trajectory than was found with Intervention 1.  This regression line is congruent with the outcome data and supports the more than 30% decrease in no shows.    

For Process Indicators for Intervention 2:  

The percentage of successful reminder phone calls that are made to the parent/legal guardian and the Care Coordinator 

Percentage of appointment notifications that are sent to Care Coordination Supervisors and the youth’s  respective Care Coordinators  

Percentage of email reminders that were sent 2 weeks ahead of time for each intake appointment 

 

Phone Calls  To again to ensure fidelity, the number of successful reminder phone calls in which contact has been made to both the parent/legal guardian and the Care Coordinator were tracked and a percentage calculated (The number that had no associated progress note connected to the reminder message or, that only one person (Parent/legal guardian or Care Coordinator) was contacted divided by the total number of youth that had intake appointments during Intervention 2).   Fifty seven percent or 91/160 youth had an associated progress note that indicated that both the parent/legal guardian and Care Coordinator had been called and, at a minimum, a voice message had been left.  (See Chart 11)     Chart 11              Chart 12 

Calls to:  Care Coordinator & Parent/Legal Guardian 

91/160  57% 

No Note  16/160  10% 

No Ability to Leave Message 

53/160  33% 

 

  Care Coordinator Phone Calls: 

Left Message  127/144  88% 

Spoke to Care Coordinator 

17/144  12% 

Parent/Legal Guardian Phone Calls 

Left Message  30/91  33% 

Spoke to Parent/Legal Guardian 

61/91  67% 

 

 A further procedural analysis of the phone calls revealed that the calls to the Care Coordinators, more often than not, resulted in leaving a voice message, while the successful calls to parents/legal guardians resulted in an actual contact (See Chart 12)  

Message Reminders 

Based on memory research that suggests that people must hear messages multiple times before it becomes integrated as new learning, and that using several domains of learning is more effective than using one domain (i.e. auditory & visual channels)(Bigelow, J. 2014 & Banikowski, A.L. 1999); the use of the Send Tab, reminder emails two weeks ahead, and a more specific message in the email were introduced.  A fidelity check was instituted to assure that the Send Tab which provides a visual reminder of the appointment to the Care Coordinator was instituted. This procedural change began with Intervention 2 on July 1, 2014.  No lapse in this procedure occurred. The Fidelity was maintained at 100%.  Training of the Clerical Assistant was required to institute the new email system, this system included 2 parts: 

Sending the reminder email to Care Coordinators for every youth who had an intake appointment 

And sending these emails a full 2 weeks in advance.  

20  

The fidelity check indicated that 100% percent of the new emails were sent to every youth who had an intake appointment.  However, the schedule of sending them out 2 weeks in advance was initially challenging and therefore the overall level of fidelity was 87.5% (140/160) for the timing of these emails.  

Summary of Outcome Data  Chart 13 depicts the entire trajectory from baseline to Intervention 1 and finally to Intervention 2, revealing the increase of attending the intake appointments and the reduction in “No Shows”.  Chart 13                

Unintended Outcome  Cancellations that are made more than 24 hours prior to the scheduled appointment are permissible within the established clinic protocol.     These cancellations were not considered as “No Shows” within this study and therefore were not formally included in the data.  However, when reviewing the overall raw data, it appeared that cancellations that occurred more than 24 hours prior to the intake appointment had increased.   The comparison data was calculated and charted (see Chart 14).  A correlation analysis would have helped establish a statistical relationship.  However, there was an insufficient number of data points to calculate a correlation.  Chart 14               

Baseline Intervention 1 Intervention 2

Attended 60% 71% 77%

No Shows 40% 29% 23%

0%

20%

40%

60%

80%

100%

Intervention July 1, 2013 ‐October 31, 2014

Baseline Intervention 1 Intervention 2

Cancellations 33% 39% 48%

No Shows 40% 29% 23%

0%

10%

20%

30%

40%

50%

60%

No Shows vs. Cancellations 

21  

 

Interpretation  Upon initiating this Performance Improvement Project, a literature review was conducted to explore a number of variables.  What was gleaned from this research is that compared to both general health and mental health clinics, Wraparound’s Medication Clinic’s prevalence rate of “No Shows” at baseline (40%) was significant.  Before initiating any intervention, an analysis of the overall functioning of the clinic and the procedural aspects of scheduling and coming to an intake appointment was conducted.   It was obvious from the beginning, that there were a number of logistical issues.  However, it was felt that in order to isolate possible confounding variables, the intervention process would be divided into 2 phases.   The first intervention would address the outcome indicator, the impact of the reminder phone call to either the Care Coordinator or the parent/legal guardian.    The decision to allow one call to either the parent/legal guardian or Care Coordinator was based on 3 factors; the amount of time required to make calls in an already tightly scheduled day, the ability to actually contact a parent/legal guardian even by voice mail is unpredictable, and lastly, the nurse felt that if she already knew the Care Coordinator, the Care Coordinator may make more effort to encourage the parent/legal guardian to attend (the power of a relationship).  According to the results of Intervention 1 (27.5% decrease in the “No Show” rate), there indeed was impact and benefit from the reminder calls; even if the calls were only directed to the Care Coordinator (72% of calls were made to Care Coordinators).  In line with the research literature that suggests that to really affect change: 

1. One must consider a multi‐ system approach 2. The expectations for the appointment must be clear  3. That in order to remember appointments, people need multiple reminders using a variety of modalities 4. That engagement is a critical factor (Kluger.M.P. 1983, Bigelow, J. 2014, DuMontier, C. 2013) 

Intervention 2 attempted to address these variables through the modifications of the outcome indicator, as well as modifying and introducing new process indicators.    The overall result from Intervention 2, a decrease of 50.67%, strongly suggests that these layers of change (i.e. a multi‐system approach) were very effective.  The change in the phone call to include both the Care Coordinator and the parent/legal guardian, however, did not appear to be the core of the change.  The data revealed that only 57% of the time was the reminder phone calls successfully delivered to both the Care Coordinator and the parent/legal guardian.  This suggests low fidelity to the process of calling both, and therefore cannot be isolated to be the primary influence of 

change. Issues of having incorrect phone numbers, having no voice mail, voice mail that is not identified by name or 

having full voice mail boxes were significant barriers to contacting parents/legal guardians.  A further analysis of the 

parent/ legal guardian reminders revealed that, although small in number, the majority of these calls resulted in actual 

conversations with them (see charts 7 & 12).   For those parents actually spoken ( 92% or 84/91) either came to the 

appointment or cancelled within the appropriate time frame(  more than 24 hours in advance).  This speaks to the 

influence of engagement in reducing “No Shows”, as little as this level of engagement may be. 

Although this study did not control for each Process Indicator individually nor was a factor analysis completed, there is strong support for this multi‐system approach.  The expectations were clarified through both verbal and written messages (see Strategies & Intervention section and Appendix 5), followed by three layers of intake appointment reminders.  This included the phone message expressing clear expectations, an electronic appointment reminder through Synthesis and lastly, a reminder email for intake appointments was sent 2 weeks in advance.  With the exception of the phone message to both parties (parent/legal guardian and Care Coordinator), the other 2 Process Indicators revealed high fidelity (100% & 87.5% respectively).  Again, this supports many of the important elements identified in the literature that influence an increase in attendance at medical and mental health appointments.    

22  

Lastly, the data that revealed those cancellations that were made more than 24 hours in advance was slowly increasing over the course of the study.  This became distinctly obvious during Intervention 2, suggested that this multi‐system approach did raise the awareness and clarified the expectations for the intake appointment (parent/legal guardian present at appointment, bringing medication, and cancelling no less than 24 hours prior to appointment. ) Although a direct correlation cannot be calculated, Chart 14 is very compelling, indicating that the “No Show “rate appears to decrease at approximately the same rate as the cancellations increase.  

Project Limitations & Project Improvement  Engagement with the client is a significant influencing factor for keeping medical appointments (Mitchell, 2007).  The nature of an intake appointment is such that there is very little opportunity for engagement.  As revealed in the study, the capacity to make personal contact with the parent/legal guardian is complete with issues that cannot be easily corrected (e.g. phones, voice mails).  Furthermore, the nurse who had carved out time to make these reminder phone calls did not have the luxury to call at different times or place repeated calls until the parent/legal guardian was contacted.  This resulted in the nurse communicating almost exclusively with the Care Coordinator.  Although this study suggests that significant improvement in decreasing “No Show” rates can occur using the Care Coordinator as the primary conduit to connect with the parent/legal guardian, this indirect communication style does not set the stage for a candid relationship between the physician and the youth/parent/legal guardian.    Other limitations relate to the fact that each variable that was introduced could not be statistically isolated to truly determine what, if any, were the strongest influencing variables.  There may, indeed, be process indicators that are superfluous to affecting change in behavior.  But, without such a study using a multi‐system approach, albeit inefficient, building levels of contact with different modality types of messages may presently produce the  best outcome.  In addition to engagement with the medical staff and understanding expectations, another major factor identified in the literature is addressing anticipatory fear that prevents people from coming to medical appointments (Lacy, N. et.al. 2004 & Zetley 2014).  In order to improve this study and therefore, subsequently further improve outcomes, an opportunity must be made available to talk with parents about how they want to be communicated with.  Once a better approach to communicating with parents is designed then engagement can potentially develop, anxiety and fears can be addressed, expectations can truly be clarified, and the relationships between medical staff and families have potential for being more trusting during future appointments.    Another approach is to involve the Care Coordinator, not as a direct conduit for the appointment, but as a liaison to fostering a relationship between the parent/legal guardian and the Medication Clinic staff.  There a several future studies that Wraparound Milwaukee could consider that would further the understanding of the 

parent/legal guardian’s and even the youth’s relationship with the physician.  One such study could address a 

comparison of how youth/parent/legal guardian “enter” the intake appointment (i.e. with a history of not showing, 

attending or cancelling) and how that contributes to meeting the expectations of future Medication management 

appointments and even how the meds are managed.  Another possible study could address a more thorough analysis of 

cancellations and their relationship to “No Shows.  Lastly,  a deeper analysis of the predictors of “No Shows” could be 

very important given that early non‐attendance increases the risk of  future non‐attendance (Carpenter et al, 1981) and 

may be indicative or contribute to deteriorating mental health (Killaspy et al 2000). 

   

23  

     

With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).    The prevalence of “No Shows” at intake appointments has been persistent, as reported by the medical staff in the Wraparound Milwaukee Medication Clinic.  As is consistent with other medical and mental health institutions serving similar populations in which the majority are living in poverty, are exposed to violence and abuse, have high trauma indices and have significant mental health issues; both Interventions 1 & 2 immediately influenced the outcome indicator.  Although, it is impossible to know from this study which intervention strategies had the greatest affect, it is clear that the decrease in “No Shows”  at intake appointments in the Medication Clinic are related to these interventions and were not directly influenced by extraneous variables.  The use of fidelity measures, identified as the process indicators, allowed for the assurance that the project study was executed as it was conceptualized and designed.  This is a straight forward study in which baseline and intervention data was pulled from Wraparound Milwaukee’s   well established data collection system‐Synthesis.  From the very beginning of the study, the introduction of the outcome indicator (reminder phone calls) and later additional changes in both the outcome indicator and several process indicators showed immediate and significant change (from 40% ‘No Shows” at Baseline to 29% “No Shows” during Intervention 1 and to 23% “No Show” rate during Intervention 2.)   In conclusion, reviewing the outcome as it relates to the study question, the percentage of change by the end of Intervention 2 (50.67%) far exceeded the hypothesized change of 30%.    

Real Improvement Achieved 

24  

     

With the introduction of a number of procedural changes and strategic interventions, within 8.5 months (from February 15th to October 31st, 2014), the “No Show”  rate of the legal guardian at the youth’s intake Medication Clinic appointment will decrease by an average of 30% (from 40% to 28%).    This is the initial study that has looked at intake appointment “No Show” rates at the Wraparound Milwaukee’s Medication Clinic.  The outcome has been pronounced and has had positive effect on youth who have the identified need for psychiatric medication management.  Furthermore, the outcomes have helped enhance the efficiency of the clinic which in turn improves the quality of care for youth and families.  Maintaining sustainability is critical.  The way this study was conducted, the phone calls to families (outcome indicator) and the procedural changes (process indicators)including the new phone script, the new email, and the different reminders at specified times  have all been integrated into the operating procedures of the clinic and are supported by Wraparound Milwaukee’s IT system‐Synthesis.  In order to assure sustainability, Medication Clinic written procedural protocols will be revised and reviewed.  Furthermore, a report can be developed in Synthesis that generates aggregate data of intake appointments attended and those that resulted in “No Shows”.  Pulling this report at regular intervals (i.e. every 6 months) essentially creates a status dashboard from which staff and administration can maintain ongoing assessment of the Medication Clinic’s attendance outcomes.    

Sustained Improvement

25  

References    Banikowski, A.L.. ( 1999) Strategies to enhance memory based on brain research. Focus on Exceptional Children . 32(2). 

Bigelo, J.  (2014). Achilles’ Ear? inferior human short‐term and recognition memory in auditory modality. University of Iowa, DOI:10:1371/journal.pone.0089914.  Carpenter, P.J., Morrow, G.R., Del Gaudio, A.C. (1981). Who keeps the first outpatient appointment? American Journal of Psychiatry, 42, 282‐287.  Danoff, N.L. & Kemper, K.J.(1993) Does excluding patients without telephones affect the results of telephone reminder studies Western Journal of Medicine, 158(1):44‐46.  DuMontier, C., Rindfleisch, K., Pruszynski, J. & Frey, J. (2013). A multi‐method intervention to reduce no‐shows in an urban residency clinic., Family Medicine 45(9).  Goldfarb, P.  (October, 2014),  Juvenile justice recidivism of youth enrolled in wraparound. Wraparound  Milwaukee.    Killaspy, H., Banerjee, S. King. M.(2000),Prospective controlled study of psychiatric out‐patient non‐attendance: characteristics and outcomes. British Journal of Psychiatry 176, 160‐165.  

Kluger, MP. & Karras, A. (1983). Strategies for reducing missed initial appointments in a community mental health center. Community Mental Health Journal., 19(2):137-43. Kruse, G. ,Rohland B., Wu. X.  (2002) Factors associated with missed first appointments at psychiatric clinic. Psychiatric Services;doi:10.1176/appi.ps.53.9.1173.  Lacy, N.L.. Paulman, A, Reuter, M.D. 2004.Why we don’t come: patient perceptions on no‐shows. Annals of Family Medicine, 2:6, 541‐545.   Mental Health Case Study. (2009) NIATX and the University of Wisconsin.  Mitchell  A. & Selmes T. (2007) Why don’t patients attend their appointments? Maintaining engagement with psychiatric services. Advances in Psychiatric Treatment, 13: 423‐434.   

Zetley, L., (November 2014). Personal Interview.  Downtown Health Center, Milwaukee, WI.