Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of...

28
Technical Assistance Consultant’s Report This consultant’s report does not necessarily reflect the views of ADB or the Government concerned, and ADB and the Government cannot be held liable for its contents. (For project preparatory technical assistance: All the views expressed herein may not be incorporated into the proposed project’s design. Project Number: 47227-001 August 2014 Republic of the Union of Myanmar: Skills Development for Inclusive Growth (Financed by the Japan Fund for Poverty Reduction) Prepared by ADB consultants (principally Carsten Huttemeier and Myint Myint San), in collaboration with staff from the Myanmar Ministry of Education and from the ADB Myanmar Resident Mission. For the Ministry of Education (Executing Agency for TA 8634)

Transcript of Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of...

Page 1: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

Technical Assistance Consultant’s Report

This consultant’s report does not necessarily reflect the views of ADB or the Government concerned, and ADB and the Government cannot be held liable for its contents. (For project preparatory technical assistance: All the views expressed herein may not be incorporated into the proposed project’s design.

Project Number: 47227-001 August 2014

Republic of the Union of Myanmar: Skills Development for Inclusive Growth (Financed by the Japan Fund for Poverty Reduction)

Prepared by ADB consultants (principally Carsten Huttemeier and Myint Myint San), in collaboration with staff from the Myanmar Ministry of Education and from the ADB Myanmar Resident Mission.

For the Ministry of Education (Executing Agency for TA 8634)

Page 2: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine
Page 3: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

                           TA 8634-MYA: Skills Development for Inclusive Growth Financed by the Japan Fund for Poverty Reduction (JFPR) 

GuidelinesforaCompetency‐BasedAssessmentSystem

August 2014 

 

Page 4: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

2

List of content                              Page   Preface                                  2  Principles of Competency Based Assessment                    3  Procedures for Developing Assessment Resources                6  Validation and Endorsement                         12  Assessor Requirements and Registration                    13  Assessor qualifications                            16  Certification                                17  Annex I                                  19                   

Page 5: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

3

1.0 Preface  Traditionally, Myanmar has used testing to determine whether or not a person should receive a quali‐fication. The concept of testing implies that assessment is a single event, like an exam or formal test. The concept of assessment is broader. Assessment may include formal tests or examinations. However competence based assessment imply that there may be other methods of assessing competence. The reason why Myanmar is to use the term assessment is to signify that there may be a number of alter‐native ways in which a person can demonstrate their competence. The discussion of the principles of competency based assessment should clarify what is meant by assessment and how it differs from trade testing. 

The purpose of this Assessment and Certification Manual is to: 

Explain some of the major principles behind the future competency based assessment system in Myanmar; 

 

Outline how competence based assessment resources should be developed;  

Outline how certificates based upon related a qualifications framework should be prepared and issued; 

 

Explain the registration process for Assessors and Master Assessors;   

Naypyitaw, August 2014  Carsten Hüttemeier 

Team Leader, ADB‐TA 8634 MYA, Skills Development for Inclusive Growth   

 Disclaimer:   The views expressed in this paper are those of the authors and do not necessarily reflect the views and policies of the Government of Myanmar or any of its agencies, the Asian Development Bank (ADB) or its Board of Governors or the governments they represent, or the Government of Japan. ADB and its partners do not guarantee the accuracy of the data included in this publication and accept no responsibility for any consequence of their use.  By making any designation of or reference to a particular territory or geographic area, or by using the term “country”, this document does not intend to make any judgements as to the legal or other status of any territory or area. 

   

Page 6: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

4

2.0 Principles of Competency Based Assessment    2.1 Competency based training    

The pilot project:” Skills Development for Inclusive Growth” to be implemented in MoST and MoI gov‐ernment technical high schools (MoST) and industrial training centers (MoI) has adopted the Compe‐tency Based Training (CBT) model. A CBT model will meet the current and new skill needs of the labor market. CBT involves close links with industry to identify the skills, knowledge and attitudes required for competent workplace performance. These skills, knowledge and attitudes are specified by industry in “Skill Standards”.  In turn, the demonstration of skills, knowledge and attitudes provides “evidence” that a person can perform a job to the required standard specified by industry. Competency Based Assessment is the process of showing that a person can perform according to the Skill Standards.    2.2 Competency based assessment    

Competency Based Assessment involves collecting evidence in order to prove that a person can per‐form against the elements of competence and performance criteria as stated in the Skill Standards. In traditional assessment, a person takes a single test or examination. In competency based assessment, there are a number of activities to determine whether a person can demonstrate competency.   The important principles of Competency Based Assessment are:  

Validity 

Sufficiency 

Authenticity 

Currency 

Cost  effectiveness 

Flexibility    2.3 Validity      

A competency based assessment system must be based upon clear benchmarks. These benchmarks are supplied by the Skill Standards. The Skill Standards specify the skills and knowledge to be applied to various trades and occupations. They also set out the minimum standards of performance expected by the trade.     2.4 Sufficiency     Assessors must collect sufficient evidence of competence from candidates so that the assessors can reach an assessment decision. Sufficiency shall be defined as collecting enough evidence to demon‐strate that the candidate can:    

Perform task skills 

Perform task management skills 

Solve problems 

Perform according to specific workplace environments    2.5 Authenticity     Authenticity means that the work provided for assessment is really the work of the candidate.  

Page 7: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

5

 2.6 Currency       Currency means that the work presented for assessment is recent.   2.7 Cost effective     The system must be cost effective for both the institutions and for candidates. Costs to be considered include:  

Materials for testing 

Payments to assessors 

Fees for the testing center including any calculated overhead 

Remuneration to support staff  

Candidate’s time    

Time taken to reach an assessment decision     2.8 Flexibility      The assessment system shall be flexible enough not to disadvantage candidates on grounds of:  

Physical or intellectual disability 

Socio‐economic background 

Religion 

Ethnicity 

Gender   This shall involve making reasonable adjustments to assessment techniques for individual candidates. Candidates still supply the same evidence of competence, but it may be gathered in different ways.     2.9 Criterion referenced assessment       Assessment is based upon agreed benchmarks of skill and knowledge. These benchmarks are provided by the Skill Standards. The Standards provide the actual skills and knowledge that will be assessed and also identify suitable methods for assessing the skill and knowledge.   2.10 Evidence based judgement       Criterion referenced assessment assumes that the assessment decision is based upon a collection of evidence, not one event such as a test or exam. A combination of methods should be used to reach an assessment decision. The judgement is based upon a collection of evidence and measured against the Skill Standards. Using evidence based judgement model means that assessors will need to develop as‐sessment materials consisting of:  

Outlines for candidates to assist them in collecting their evidence 

Specifications for practical tasks to be completed 

Instructions to candidates; 

Marking or assessment guides for assessors; 

Record keeping instruments for recording of summative assessments. 

Page 8: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

6

2.11 Appropriate to industry and training context     Assessment needs to take into account the needs of industry and the context of training. This means that assessment materials must be practical and take into account specific workplace and training needs such as:  

Workplace policies and procedures 

The need for special equipment  

Time constraints 

The inability of some candidates to gather direct workplace evidence of competence 

Candidates from geographically isolated locations   2.12 User friendly    In the preparation of assessment materials the needs of the intended target group should be taken in‐to account, especially in the areas of language, literacy and numeracy. Any technical language used shall reflect the technical language of the workplace.     2.13 Skill Standard assessment         Assessment materials shall be produced for each Skill Standard of an occupation/trade.     2.14 The system     For each Skill Standards, workplace problem solving exercises shall be developed by industry practi‐tioners. They shall be given a template to work from. The problems will be based upon real workplace issues. Candidates are expected to solve the problems by:  

Giving practical demonstrations of the skills involved 

Demonstrating their understanding of why they are performing the skills in a particular man‐ner 

Answering a series of questions relating to the underpinning knowledge in the Skill Standards.  

In production/manufacturing occupations problem solving shall be replaced by asking candi‐dates to perform a particular application.  

   2.15 Candidate resources     Candidate resources (also called assessment tools) are the evidence gathering instruments themselves. They shall/may consist of:      

An outline of the problem/s to be solved 

A description of the task/s they need to perform 

Any associated specifications 

A scenario in which they will need to demonstrate their understating of the task/s performed 

A list of the areas about which they will be asked questions 

The Skill Standards that are being assessed.      

Page 9: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

7

2.16 Assessor resources         Resources for assessors include:  

The set of candidate resources 

Checklists for assessors to use when assessing the candidates performances in the practical demonstration of skills, the demonstration of understanding and the knowledge based ques‐tions 

A set of questions to be used for the knowledge based assessment. The assessor resources help to achieve consistency in assessment by ensuring that all candidates are assessed in the same way.  

     2.17 Record keeping instruments     A  final  (summative)  record  instrument  shall be  required  for each  Skill  Standard.  These  instruments shall be standardized so that they follow the same format for Skill Standards.     2.18 Assessment reports     An important part of record keeping is the reporting of assessment results. A competency based as‐sessment model generally does not include grading. Consistent with the principle of criterion refer‐enced assessment there are only two grades – Competent or not yet competent. This shall not pre‐clude the assessor from providing feedback to the candidate and can be included in the candidate’s documentation for assessment. This shall include suggestions for further training or work experience if the candidate is not yet competent.  

3.0 Procedures for Developing Assessment Resources   Development of  assessment  resources  shall begin once  Skill  Standards have  been  approved by  the NSSA. Although any person or organization may develop resources, the institutional responsibility may be with  assessing  organization,  however  assessment  resources  cannot  be  national  assessment  re‐sources before NSSA have approved them.   3.1 Technical experts    Assessment  resources  shall be developed by  technical experts  from  the occupations covered by  the Skill Standards. The assessment resource development team shall be approved by the Technical Advi‐sory Committee and finally endorsed by the NSSA     3.2 Workplace related    Assessment resources shall be based around real workplace problems that need to be solved or work‐place applications. Candidates shall need to justify what they are doing and they shall need to answer questions  relating  to  underpinning  knowledge.    Assessors  shall  have  a  demonstration  checklist  by which  to  assess  the practical demonstrations of problem  solving.  They  shall have  a  list of  “theory” points that the candidates will need to explain  in their justifications. They shall have a  list of areas  in which questions  for underpinning knowledge must be asked. The assessment materials shall contain records of assessments and sufficient space  for  feedback comments  to  the candidates. The table on the next page looks at these resources in terms of the characteristics of high quality assessment mate‐rials. The assessment materials shall contain records of assessments and sufficient space for feedback comments to the candidates.  

Page 10: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

8

 The following looks at these resources in terms of the characteristics of high quality assessment mate‐rials.  Myanmar assessment resources  Characteristics of high quality assessment materials   

Clearly linked to the Skill Standards   

 

The problems identified are checked against the elements of competence of the Skill Stand‐ards to ensure that they are included  

The questions pick up the underpinning knowledge in the Skill Standards 

The justifications for procedures show that the candidate understands what he/she is doing   Based on real life practical skills and relevant to the workplace    

The problems to be solved are derived from real workplace issues  

By justifying what they are doing it is like explaining to a customer or client why a job needs to be done and how it will be done.   

Easy for assessors to assess  

The use of simple checklists shall ensure easy assessment   Assess the key skills and knowledge in the Skill Standards     

The problems identified are checked against the elements of competence in the Skill Standards to ensure that they are included 

The questions covers the underpinning knowledge in the Standards 

The justifications for procedures show that the candidate understands what they are doing  

The candidates must provide evidence that proves the candidate is able to:  

Complete practical tasks  The problem solving shall require a practical demonstration of the solution. 

Manage more than one task at a time  

The practical demonstration shall involve organizing tasks. 

Use underpinning     knowledge to solve problems 

The explanation of how and why a job was done shall pro‐vide evidence for the underpinning knowledge 

Work within regulations and follow various workplace guidelines (like policies and procedures) and standards 

Questions relating to safety and other regulations shall be asked.  

The practical demonstration shall include all safety aspects of the job. 

The practical demonstration shall involve various workplace standards. 

 

   

Page 11: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

9

3.3 What is a problem?  Obviously a problem  is not knowing what to do or not knowing when the consequences of an action will cause harm. When applied to a workplace, a problem could involve: 

Fixing a broken part 

The consequences of using incorrect materials or equipment 

Fixing a job that has gone wrong 

Not having the right parts for a job  

3.4 What is a workplace application?    An application  is usually  relevant  to manufacturing or processing  types within different occupations. Here the  issue  is often being able to make a specific type of product or use a machine or process. So instead of identifying a problem to be solved, the assessment resources shall describe the application.   For each of the Skill Standards a number of “problems” or applications shall be developed. The prob‐lems shall be:  

Relevant to workplace applications 

Simply stated 

Include the skills identified in the elements of competence.   

3.5 Assessment resources  The assessment resources for each skill standards shall consist of:  

A description of a problem to be solved or of a workplace application 

An outline of the task/s to be completed in order to solve the problem or complete the appli‐cation. 

The tools, equipment and materials made available and other assistance required (such as helpers, reference materials etc.) 

A justification as to why the problem was solved in the way it was or for how the application was carried out 

Areas in which questions should be asked to test underpinning knowledge  Below is a complete example of an assessment resource.  3.6 The Problem (An example)  You have received a car that has been repaired after a serious accident. It has been rebuilt with new panels all along the driver’s side. The  front, rear and passenger side panels have been repaired. The panels have been re‐sprayed with metallic silver paint. However, there is a distinct difference in shade between the new panels and the repaired panels.  What do you need to do?     

1. You must decide how to achieve a match  in the shade between one repaired panel and one new panel and undertake the job. 

 

Page 12: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

10

2. You must give a verbal/written report to the customer about why the first paint  job was not successful and what you have done differently.  

 3. You must answer some critical questions about painting new sections/surfaces of automobiles  

 What assistance will you get?   

Manual handling assistance will be made available to you upon your request. 

A copy of the assessor/s practical skill’s checklist is included.  

All the relevant reference materials, tools, materials and equipment that you need   

You will be given xxxxxx hours to complete the assessment.   How will you be judged as competent?   Your success in this assessment will depend upon:  

Choosing the best solution to the problem 

Demonstrating the practical skills, including the way you use tools and equipment  

Demonstrating your adherence to any standards, norms, specifications  

Answering all critical questions correctly about preparation, sand papers, paint selection and different ways of dong the job  

The quality of your final paint job 

Your report to the client 

The way you cooperate with/lead any other people involved in this work  To be successful, your paint  job must demonstrate all  the  items on  the assessor/s checklist and  the quality of the final product must be approved by the assessor/s.  3.7 Four components of competency     The  section  about  “What  you need  to do” enables  the  candidate  to demonstrate  the  key  skills de‐scribed in the elements of competency by completing the task indicated.    The knowledge that underpins the performance criteria shall be demonstrated by the candidate when they provide their justification about why the first job was unsuccessful and why they approached the job in the way they chose the second time.  The  critical questions  shall enable  the  candidate  to demonstrate  their underpinning knowledge and shall be based upon the underpinning knowledge described in the assessment guide.   In the section “How you will be assessed as competent” the whole of the Skill Standards is included – performing  a  task  (task  skill),  organizing work  (task management),  solving  a  problem  (contingency management) and knowledge of standards, norms regulations etc (job role/work environment)      The assessor resource or checklist ensures that the performance criteria of the Skill Standards are met. There is an example of the assessor resource on the next page.    

 

Page 13: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

11

         

Skill Standard:          Automobile Painter  

Name/Task:            Paint a new section/surface of an automobile    

 

Procedure:    Re‐paint a new panel to match an original panel, based upon a                specific given workplace problem. 

  Prepare an oral and/or written report explaining the work to the client     Answer questions relating to critical issues put by the assessor/s  

 A:   During the practical demonstration   to resolve the problem, did the candidate   do the following things correctly:                Yes      No     N/A   1. Follow all safety procedures:                  2.  Use appropriate Personal Protective Equipment (PPE)           3.  Sand the surface with 320‐400 grit wet/dry sand paper             4.  Mask any exposed areas not requiring paint                  5.  Apply the appropriate quality undercoat according   to any manufacturers specifications                     6.  Sand the undercoat area with 600‐800 grit wet/dry sand paper         7.  Use a silicon remover to clean the prepared surface according to any    Manufacturer’s specifications                       8.  Measure the correct amounts of paint and solvent                9.  Apply the correct number of coats manipulating the spray gun to   ½ achieve an even finish according to any manufacturers    specification                              10.  Apply a clear coat over a metallic base coat according to any   Manufacturer’s specifications                      11.  Remove any masks without causing damage to the painted areas         12.  Clean paint drops                            13.  Cut rough areas after applying compounding paste              14.  Apply a final polish and check that work is to the required standard   

  15.  Does the new panel match the original panel                      

Page 14: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

12

 B:   Is the job outcome correct in the following areas:       

 1.  Color match                                                

 2.  Shine                              

 3.  Absence of scratches                        

 4.  Even paint spread                          

 

 C: In the report to the client, did the candidate correctly:         Yes     No     N/A 

  1.  Explain why the original job caused a mismatch between   the original and the new panels                      2.  Explain how the job should be carried out                  3.  Explain  what types of tools, equipment and materials should be used     

 

 The candidate’s report   to the client was:                  Not Satisfactory      Satisfactory      

        

 D:   Did the candidate correctly answer questions about:        Yes     No     N/A 

  1.  The intended process used in the job                    2.  Types of paints and their properties                     3.  Paint mixing techniques                        4.  Safety requirements                          5.  Standards or norms associated with the work                 6.  Assembly and disassembly of automobile body    parts and components                                  7.  Painting techniques                          8.  Material safety Data Sheets                        9.  Suitable environmental conditions for spray painting           

 

 The candidate’s answers to   questions were:                      Not Satisfactory      Satisfactory      

 

 Feedback to candidate: 

 

 

 

Page 15: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

13

 

 

 

 The candidate’s overall result                Not competent      Competent   

 

For the candidate 

 I am satisfied with the way the assessment was conducted:        Yes       No 

 

 Candidate signature:  Please include reasons if not satisfied.  

 

Assessor signature:              Place and Date:    

     

 

Teacher/Instructor Signature          Place and Date: 

 

4.0 Validation and Endorsement   The assessment materials produced by trade experts shall undergo a validation process facilitated by the relevant Technical Advisory Committee. The resources shall not be presented to the NSSA for final approval until  the  technical  Sector Committee provides a  recommendation  that  the  resources have been independently validated.     Because the Skill Standards already have been through a content validation processes, the assessment resources ought or may not to go through content validation.    4.1 Validation questions    The assessment resources shall, however require independent validation to ensure that they meet the benchmarks provided by the Skill Standards. Validation shall cover the following questions:  

Is the problem or event clearly and simply stated?  

Is the “problem” or event a practical workplace issue?    

Do the critical questions cover the key underpinning knowledge in the standard? 

Does the assessor checklist cover the key performance criteria in the standard?  

Do the “questions about” cover the underpinning knowledge and any knowledge based areas of the performance criteria? 

Are the knowledge questions written from the point of view of a “knowledgeable client”?    4.2 Validation process     

Page 16: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

14

The assessment resource development teams shall submit completed assessment resources to the rel‐evant  Technical Advisory Committee.  The  Technical Advisory Committee  shall  review  the  resources and confirm that the validation questions are answered  in the positive. The Technical Advisory Com‐mittee can seek expertise from within the trade or occupation as required and shall consult with the resource developers where further information or explanation is required.  Once the Technical Advisory Committee has validated the assessment resources they are submitted to NSSA or the executing agency for formal endorsement.   4.3 Endorsement Process   The NSSA under MoLES is the national authority responsible for the regulation of technical and voca‐tional education and training shall approve the assessment resources. The Technical Advisory Commit‐tees shall submit the assessment resources developed for final approval to the NSSA. The role of the NSSA will be to confirm that appropriate process were used to develop the resources, confirm that the resources are suitable for the qualification level in which the Skill Standards are packaged, and, if so, formally approve the resources. Should NSSA have any concerns with the resources presented for ap‐proval, these concerns shall be expressed in writing to the Technical Advisory Committee with a re‐quest that the Technical Advisory Committee further review the resources.  

5.0 Assessor Requirements and Registration  5.1 Background  Myanmar  is  introducing  competency based  training.  This brings with  it  a  key  requirement of using competency based assessment. To ensure the credibility and robustness of the system, a method of registering competency assessors is therefore required.  5.2 Conducting assessment  To conduct an assessment, a person must be  trained and  registered as Assessor. Trained and  regis‐tered assessors can assess candidates together with trade experts, who have a higher  level of qualifi‐cations than the subject to be assessed. Higher level of qualification is also measured in times the reg‐istered assessor has been working within  the occupation. The Registered Assessor has  the authority and the responsibility to make the final judgement of competency.  5.3 Structure  There shall be two levels of Assessors:  

1. Trained and Registered Assessors  

2. Licensed Assessors.         

Page 17: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

15

  

5.4 Registration and License Process   

   

5.5 Requirements   

To become a Registered Assessor, an  individual must be able to provide sufficient evidence that they meet the conditions required for Assessors. They must also sign the international code of ethics for as‐sessors to indicate their intention to abide by them. A suitable person to become a Registered Asses‐sor shall be expected to already be a technical expert  in one field, have good  interpersonal skills, be observant and have an analytical mind and a desire  to help people have  their  competencies  recog‐nized. 

Appropriate Myanmar requirements for Assessors shall be developed in the near future.  

5.6 Evidence guidelines   

An applicant to become a Registered Assessor has the responsibility of assembling sufficient, valid and authentic evidence to demonstrate their competency. A typical portfolio of evidence might include: 

Documentation for being working in the relevant occupation e.g. at least ten years  

Successful completion of an appropriate competency assessor training course, or evidence of equivalent underpinning knowledge.  

Completion of relevant learner guides. Evidence of equivalent learning shall also be accepted.  

  Technical specialist  

Assessortraining undertaken

Applies for registration with Agency

Assemble evidence of assessment

Evidence assessed

 Registered Assessor 

Further assessor training

Assemble evidence of assessment

Evidence and experience assessed

Licensed   

Assessor

Page 18: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

16

Completion of a small number of actual assessments which have been peer reviewed   (or re‐viewed   by assessor selection panel). The assessments shall all be in the one technical area, but must show use of a variety of relevant evidence gathering techniques. The number of as‐sessments will be expected to be around five. Other evidence of equivalent competence shall be considered.  

An observation of one or more assessments shall be required, particularly if the evidence submitted is not sufficient, or to check authenticity. All evidence submitted must be in a form which can be readily audited by the person(s) who shall certify competency. The authenticity of the evidence must be able to be established easily. Evidence shall be retained by the accred‐ited assessment organization and NSSA for a period of five years to allow for auditing. The rec‐ord of assessment and the awarding of the qualification shall be retained for life. 

5.7 Master Assessor    

The role of the Master Assessor shall include all aspects of the Registered Assessor scope. In addition, Master Assessors shall be expected to work across two or more technical areas (although they may on‐ly possess technical competence in one). They shall have authority and responsibility to:  

Train and assess Registered Assessors.  

Review assessments and Assessment Instruments and Assessor Checklists and recommend improvements. 

 

Review the competency assessment system and recommend improvements.   

Recommend improvements to the skill standards based on their use in assessment.  

They  shall  also  be  able  to work  in  a  context where  Assessment  Instruments  and  Assessor Checklists are not established and will be expected to contribute to the establishment of As‐sessment Instruments and Assessor Checklists. 

5.8 Evidence guidelines   

An applicant to become a Master Assessor has the responsibility of providing sufficient, valid and au‐thentic evidence to demonstrate their competency. A typical portfolio of evidence shall include:  

Work as a Registered Assessor showing breadth and depth of application of the assessment competency.  

Successful completion of an appropriate Master Assessor training course, or evidence of equivalent underpinning knowledge. 

Review of assessments undertaken by an applicant to become a Registered Assessor  

Mentoring of applicants to become Registered Assessors or of new Registered Assessors. 

Formal training of applicants to become Registered Assessors 

Completion of a moderate number of actual assessments which have been peer reviewed (or reviewed by a Master Assessor). The assessments must be in at least two technical areas, and 

Page 19: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

17

must show use of a wide variety of relevant evidence  gathering techniques. The number of as‐sessments shall be expected to be more than twenty.  

Other equivalent evidence of competency may be acceptable. All evidence submitted must be in a form which can be readily audited by the person(s) who will certify competency. The au‐thenticity of the evidence must be able to be established easily. Evidence should be retained by the accredited assessment organization for a period of five years to allow for auditing. The record of assessment and the awarding of the qualification should be retained for life.  

5.9 Technical competence    Ideally technical competence will be determined by a qualification or other certificate of competency against the relevant skill standards under the NVQ. This will not always be practical, particularly when introducing competency based assessment. Where this is not practical it is permissible to use a person who is generally recognized by the industry as a technical expert. Appropriate evidence of this industry recognition shall be sought by the Assessor. This evidence need not be of the same standard as is re‐quired for the awarding of a qualification.  

6.0 Maintenance of Records of Registered Assessors  NSSA or the executing agency shall  initially be responsible  for maintaining a data base of Registered Assessors  through  the management  information system. NSSA or  the executing agency shall also be the initial body accrediting Registered Assessors and as such they must maintain the management in‐formation system in order to retain evidence of Assessor competence. In time, NSSA or the executing agency may wish to delegate these responsibilities to suitably accredited organizations. Typical  infor‐mation to be included in the data base shall include:  Record of Registered Assessor  

Name:  Qualifications  

Contact details                Summary of evidence 

Assessor training dates  Date of assessor registration 

Area of technical expertise/specialty  Other information 

Experience                 

Evidence shall be attached  

6.0 Assessor qualifications   6.1 Assessor training    The person who conducts the assessment and makes the assessment decision shall need to complete the registered assessors training course. The registered assessors training course will cover the follow‐ing areas:  

Components of skill standards. 

Page 20: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

18

Competency based assessment principles. 

Criterion referenced assessment. 

Formative and summative assessment. 

Consistency in assessment decision making.  

Questioning skills. 

Providing feedback. 

Completing checklists.  

Preparing assessment resources.  

On‐the‐job and institutional assessment.    

The assessor training course shall be directed by the NSSA and/or the executing agency.  It  is recom‐mended that the executing agency is  implementing the agency for carrying out the assessors training courses under the direction of NSSA.  

7.0 Certification  As  part  of  the Myanmar National Vocational Qualifications  framework,  certification  is  provided  for each  Skill  Standard  demonstrated.  Formal  qualifications  are  issued  once  the  required  package  of standards has been demonstrated. NSSA or the agency is responsible for issuing qualifications against this component of the NVQ.     Assessment undertaken via a recognition process for workers with existing skill and knowledge shall be also administered by  the NSSA or  the executing agency. Similarly, any direct workplace assessment shall be directly administered by NSSA or by any agency recommended and approved by NSSA.    For single skill standard assessments, a skills log book shall be stamped by NSSA or the executing agen‐cy or training provider accredited by NSSA or executing agency  in order to verify that the skill stand‐ards has successfully demonstrated by the candidate. NSSA or the executing agency shall  issue a for‐mal qualification under  the NVQ once  a package of  skill  standards which  form  a qualification have been successfully demonstrated.   For candidates wanting a  formal record of achievement against an individual skill standard, they shall apply to NSSA, the executing agency or accredited training provider, which shall generate appropriate statements.     7.1 Result sheet    Once a candidate has been assessed as competent by an accredited training provider or by a qualified assessor in the workplace, a result sheet is forwarded to the NSSA or the executing agency or to the accredited training provider’s certification unit. The result sheet shall contain the:  •  Candidate’s name.  •  Candidate’s contact details.  •  Candidate’s identification number.  •  Name of the institution or workplace where assessment was conducted.   •  Assessor’s name.  •  Code number and name of the skill standard.     

Page 21: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

19

Accredited training providers and NSSA or the executing agency are  responsible  for maintaining rec‐ords of successful assessments. NSSA or the executing agency are responsible for the issue of NVQ cer‐tificates once a candidate qualifies for an award. This shall be done through the accredited institution.     7.2 Certificates     Certificates for NVQ awards shall contain the following information:  •  Name and logo of executing agency/Ministry  •  Industry logo if qualifications achieved within the industry or at a workplace.  •  Logo and number of accredited provider where assessment has taken place, if qualifications are   achieved at a training institution.  •  Code number and name of the qualification  •  Candidates full name  •  A list of the Skill Standard that make up the qualification (on the back of the certificate).     If assessment is undertaken by an accredited provider, the provider must supply NSSA or the executing agency with logos if these are to be desired on the certificate.                              

Page 22: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

20

             

ANNEX I

Templates for Developing Assessment Resources                               

Assessment Task Template    

Page 23: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

21

 

Skill Standard Title: 

 Skill Standard code:  

The Problem 

In this section you should briefly describe the problem to be solved                                          

Page 24: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

22

What do you need to do?   This shall be a one or two sentence description of the task    This shall outline briefly the oral or written report required (oral is preferred)    You must answer some critical questions about (insert skill standard title)   

           

How will the trainee be assessed as competent?    Trainee success in this assessment will depend upon:   •  Choosing the best solution to the problem    •  Demonstrating the practical skills, including the way you use tools and equipment    •  Demonstrating your adherence to any standards, norms, specifications    •  Answering all critical questions correctly about (…………………………..)   •  The quality of your (…………………………..) job   •  The final outcome of your (…………………………..) job   •  Your report to the client   •  The way you cooperate with any other people involved in this work     •  To be successful, …………………………………………………………………………..     Your assessor/s may give you the opportunity to correct any mistakes in the job or the report or ques‐tions.  

    

Page 25: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

23

What assistance will the trainee get?   Manual handling assistance shall be made available to the trainee upon request.   A copy of the assessor/s practical skill’s checklist is included.    All the relevant reference materials, tools, materials and equipment that the trainee need                You will be given xxxxxx hours to complete the assessment.                                

Page 26: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

24

Assessors Check list (Example)  

Skill Standard Title:   

 

Skill Standard Code:   

 

 Procedure:   

A:   During the practical demonstration,    did the candidate do the following things correctly:        Yes      No     N/A  1. 2. 3. 4. 5. 6. 7. 8. 9. Use the performance criteria to guide this task list 10. 11. 12.

13. 14. 15.

Page 27: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

25

This section shall include the key elements of competence and performance criteria

B: Is the job outcome correct in the following areas: Yes      No     N/A 

1.

2.

3.

4.

The candidate’s performance was: Not Satisfactory Satisfactory C: In the report to the client (If any), did the candidate Respond correctly: Yes No N/A 1. 2. 3.

The candidate’s report to the client was: Not Satisfactory Satisfactory D: Did the candidate correctly answer questions about: Yes No N/A

1. 2. 3. 4. 5. 6. 7. 8. 9.

The candidate’s answers to questions were: Not Satisfactory Satisfactory

Feedback to candidate: Provide feed back to the candidate - especially if they are not competent about how they could improve The candidate’s overall result Not competent Competent

Page 28: Technical Assistance Consultant’s Report...2 List of content Page Preface 2 Principles of Competency Based Assessment 33 1.0 Preface Traditionally, Myanmar has used testing to determine

 

26

I am satisfied with the way the assessment was conducted: Yes No Please include reasons if not satisfied. Candidate signature: Assessor signature: Date: Training provider: Date: