Ufolio Preliminary Report -  Year One, 2008-2009

June 15, 2009

  Contributors:   Ron Bramhall Director - Honors Program, Lundquist College Of BusinessInstructor - Leadership and Communication, Lundquist College of Business   Nancy Cheng Associate Professor, Department of Architecture   Lori L. Hager, Ph.D. Assistant Professor, Arts and Administration Program Associate Director, Center for Community Arts and Cultural Policy   Jonathon Richter, Ed.D. Research Associate, Center for Advanced Technology in Education   Eric J. Schiff, MA Adjunct Instructor, Arts and Administration Program     Compiled by Lori Hager, edited by Nancy Cheng   Abstract: This report presents a preliminary summary of activities, accomplishments, and recommendations from the first phase of the Ufolio project, which includes Lunquist College of Business, the Arts and Administration Program, and the Architecture Department, with support from the Center for Advanced Technology in Education.

 

Ufolio : Preliminary Year-End Report June 15, 2009

Purpose of this report

The purpose of this document is to provide a preliminary summary report on the first year of the UFolio pilot project, involving the LCB Honors Program, the Arts and Administration Program, and School of Architecture. This report reflects very preliminary findings and observations. A more detailed analysis of the first-year findings will follow. In Section I, this document presents a position summary; Section II re-states our original project objectives; Section III describes accomplishments and outcomes; and makes recommendations for next year; Section IV presents student anecdotes and reflections. A supplemental appendix includes individual faculty and research associate report. A project budget is provided in Section V (additional attachment).

Section I - Preliminary Summary

Ufolio is a collection of academic units interested in implementing eportfolios, or personal learning environments, at the University of Oregon.  Support from the Vice Provost’s office allowed AAD, ARCH, and LCB to pilot a multi-disciplinary eportfolio system during the academic year 2008-2009.  After extensive research on eportfolio processes, research, and systems, Ufolio selected to work with an open source web 2.0 “mash-up” system using word press multi-user, which central IS agreed to support for two years. Pilot groups were formed, and student usability assessment materials collected, and will provide the basis for more-detailed analysis and report.  Efforts on campus are contextualized within the broader higher education eportfolio community through participation in Inter/National Coalition for Electronic Portfolio Research (INCEPR) bi-annual meetings and reporting. This preliminary report summarizes findings, re-states objectives, and presents recommendations.  Anecdotal student reflective comments are included, and a revised budget provided.   Project Overview (From Ufolio planning proposal) Our project examines the broad question: “What eportfolio process and system can best address student-centered assessment, diverse curricular requirements, and co-curricular learning?” Faculty from three academic units will develop student-centered learning addressing course objectives through integration with a multi-disciplinary eportfolio environment.  At the same time, a needs assessment for instituting a broader campus eportfolio system will be investigated. By the end of the first year, we expect to have working prototypes across the engaged academic units, piloted systems that are flexible in a multidisciplinary environment, and developed student assessment components related to learning objectives and student-centered eportfolios.

Summary This is a faculty-driven eportfolio initiative.  This has both benefits and challenges in terms of engagement and sustainability.  Many higher education eportfolios are housed in administrative teaching and learning hubs, equivalent to our Teaching Effectiveness Program.  This is largely a result of how and why eportfolios are used institutionally.  Institutional eportfolios require a mechanism for implementation, support, and training.  Those eportfolio systems driven through a teaching and learning center may have difficulty getting faculty and students involved, when eportfolios are not required, or viewed as instrumental to education goals, and may have a large learning curve for faculty and students.  Department or faculty-driven eportfolios may arise from faculty and student needs and goals, but struggle with sustaining such a system or program through lack of resources and support infrastructures. Further, reward structures for faculty participation may be non-existent.   Though higher education institutions are attracted to eportfolios for their value in informing accreditation and assessment purposes, the eportfolio community often views this as at-odds with the purposes of eportfolios - to promote student-centered learning and reflection, and authentic assessment and demonstration. This tension frequently results in localized solutions and practices, making the identification of a “one-size fits all” eportfolio platform virtually impossible, despite the proliferation of available eportfolio platforms that can be implemented cross-insitutionally[1]. Each practice comes with its own set of requirements and challenges. Minnesota has a state-wide eportfolio requirement, and has developed a platform in-house, responsive to the particular needs of their education environment.  California is adopting a state-wide eportfolio system and have selected epsilen for their platform. Both states have committed significant resources to administrative, technical, and faculty support structures for eportfolios. Through our participation in the Intern/National Coalition of Electronic Portfolio Research (INCEPR) we can stay at the leading edge of the developments in how Higher Education is addressing these challenges.  

Our pilot group has experienced similar tensions in finding commonalities in approach to learning, curriculum, and assessment. As a group composed of NTTF, adjunct faculty, tenure track, and tenured faculty, our positions within our respective departments and programs affect our approach to student participation in eportfolios, what we perceive of as the value and outcome for student participation, the role of faculty, kinds of skills and tools that should be engaged, and facility with emergent technologies. All of these informed the process, and were reflected in the choices that were made.   At the February INCEPR meeting, the reference to “personal learning environments” rather than “eportfolios” seemed to more accurately convey the direction that this project was moving.  However referring to it as a PLE does not capture the essential collaboratory actions of eportfolio processes. Howard Rheingold is working on a social media classroom that addresses classroom collaboration in higher education, and other emergent systems point to the efficacy of continuing to struggle with the tensions reflective of the needs of administration and faculty in addressing student learning for the 21st century.

Section II- Objectives and Goals

Project Objectives As stated in our project proposal: We seek to explore the efficacy of including the eportfolio process in shared learning objectives that support students to demonstrate and reflect on learning and present their accomplishments, for faculty to archive and showcase instruction and student work, and for academic units to collect information on student progress and achievements.   Project Goals for 08/09 Building on the professional and demonstration eportfolios in the AAD graduate program, and the Architecture studio courses, we plan to expand our eportfolio applications to include reflective components where students demonstrate mastery of concepts and skills through demonstrations in their eportfolios. Faculty participants are identifying and developing rubrics related to course and program objectives, and preparing to work with students to identify demonstrations of learning (evidence) related to their academic goals and achievements. Faculty will pilot these in the Winter and Spring term courses.   Research Goals As part of our participation with the Inter/National Coalition for Electronic Portfolio Research, we identify research goals and strategies for our eportfolios, and connect these to an international network of scholars and upper administration personnel in ground-breaking work in eportfolio applications in HE. We have identified shared learning objectives that we anticipate will form the basis of cross-curricular and interdisciplinary pilot research groups. We anticipate communicating with the UO student assessment team to align efforts for student-centered learning.

Section III –Accomplishments, Outcomes, Recommendations

·       Tested packaged platform systems using functional specifications developed in the fall. Selected 3 platforms for in-depth analysis. Ultimately none of the platforms assessed were selected.  Instead, based on recommendations from experts in the field, and based on usability, support, and functional requirements, a WordPress Multi-User web 2.0 “mash-up” was selected as the eportfolio system for this phase of the pilot.

·       IS is supporting the pilot project for 2 years, and assisting to identify necessary supports and training for wide-spread implementation. Priority support areas and systems 

will be further operationalized over the summer for a broader fall term roll-out in the Arts and Administration Program (AAD) and Lundqusit College of Business (LCB).

·       Eportfolio applications were expanded in 7 courses, using both the PLONE-based system, as well as the new WPMU system.  Tutorials were developed for using the PLONE system, and Helen Barrett will be working with us during the summer to develop the WPMU tutorials and UFolio portal.

·       LCB Honors Program, AAD, and AAA began curriculum mapping integrated with eportfolio processes and in preparation for implementing in multi-disciplinary environment.

·       Usability assessments were conducted in Winter and Spring. (These assessments will be collated and analyzed during Summer 2009).

·       Workshops in Digital Documentation and Digital Storytelling were offered Winter, 2009.

·       Additional team members were brought into the AAD project during Winter and Spring, 2009, and will be instrumental in implementing eportfolios program-wide.

·       Workshops on curriculum-mapping were conducted by Dr. Jonathon Richter, Center for Advanced Technology in Education (CATE).

·       Students were introduced to the new WPMU-web 2.0 mash up environment during a spring term pilot in LCB, ARCH, and AAD, and provided critical reflections and analysis.

·       Eportfolios applications were expanded in 9 courses.

·       Faculty interviews conducted by Dr. Richter will inform the Design-Based Research (DBR) component of the pilot, and will be analyzed and written up during the summer, 2009.

·       Dr. Helen Barrett joined the UO INCEPR team, and will be working and consulting with us through this next phase of the pilot.

  Outcomes and Assessment

There is no “one-size fits all” eportfolio system, rather a flexible learning and collaboration environment that can address the priority areas of different departments and programs seems to be at the forefront of the “eportfolio” revolution.  Given the limited resources for supporting an institutional development of an eportfolio system at UO, an open-source web 2.0 system, which is flexible and malleable, requires minimal programming and system support, and utilizes the tools students already employ and which they will use in their professional environments, seems to be an optimal choice at this phase of the project.  Initially, WPMU seems to support students to conceive, guide, and demonstrate their learning in ways that keep them at the center of their learning processes. Further, students – when shown the potential – are excited to be offered the opportunity to be agents of their own education, to learn to make the connections in their learning through using tools they are both familiar with, and (for some) in which they are the experts. This has implications across a range of learning mediums.    Conversations relating to privacy, ownership, and assessment will need to continue.  Currently, there is not an effective process for testing the system preparatory to full-scale implementation, so continuing to work with IS to address this, is critical.  

 

Working across departments is extremely challenging, and the ways in which both students and faculty engage in learning and in technology are widely varied.  At the same time, recognizing the need for unit/department-driven solutions further challenges structures in IS support that seek to support cross-campus collaborations. However, continuing to work inter-departmentally challenges us to find ways for students to make inter-disciplinary connections, and for the learning environment to support this.  

  Further, though the arts have long employed portfolios as demonstrations of learning, it has been the result of a creative, reflective, and iterative process that is at center of the eportfolio learning.  Business education supports team work, communication, and leadership demonstrated curricularly and co-curricularly – also an integral component of eportfolio learning.  For these reasons, among others, the unique challenges and solutions of this project have the potential to make a significant contribution to the field.   Recommendations

·     There is no “one-size fits all” eportfolio system; Helen Barrett recommended that instead we should instead “plant a thousand flowers.”  Given the selection of WPMU with infinite flexibility, each participating department/program will work independently to operationalize it to suit the unique needs, goals, and structures of their curriculum and programs, while continuing to benefit from research and resources of engagement with Ufolio, and INCEPR.

·       Continue to come together as a learning and resource community on campus through the eportfolio forum, and identification of shared research agendas through INCEPR.

·       Enhance and continue to develop department-level training and support for faculty and student support through tutors, workshops; and to explore the efficacy of working with other units on campus in support of training, such as Teaching Effectiveness Program, Central Computing, and AAA Professional Outreach and Development for Students (PODS).

·       Expand usability assessments through surveys and other measures, and use of the system to aggregate and collect critical reflective and anecdotal feedback on student and faculty use.

·       Continue to streamline the intersection with IS and document protocols for such a system to be supported on a larger scale. IS is currently committed to the numbers of project participants based on this year’s pilot, and as such, efficient operability of the current system for existing project participants is of the highest priority.

·       Continue to intersect with the national and international eportfolio development community through INCEPR, eifel, Rhinegold, and others.  Strengthen inter-institutional relationships relating to eportfolio growth.

·       Strengthen the outcomes-based assessment component of the project to reflect institutional priorities.

·       Implement eportfolios throughout AAD for undergraduate and graduate students and courses in a two-year phased roll-out, that will include assessment and evaluation for program improvement.

·       Next cohort of Honors Program students will develop Personal Learning Plans that will be integrated with curriculum and eportfolio processes and system.

 

Section IV - WPMU Pilot Student Reflections

  I wish that all of my instructors had WPMU blogs so that I could have easy access to their course resources and more opportunities to communicate and network with them and students in the classes.   I would suggest that training and attention be paid to student awareness of the appropriate use of this tool (WPMU/blogs).   Current purpose/design of ePortfolio platform still puzzles me -- it's professional, yet embedded in the University of Oregon -- to me this means that I can only "get away" with pointing it out to potential employers for about a year after graduation, because it's so clearly marked out as student work for a specific year.  The website is a much more flexible tool because it's advertisement for me -- not UO. However, as I understand, my access to that website is limited to about a year, which is also too bad.   I think a good strategy would be to set up a document or blog post and invite group members to make comments and suggestions so that they learn to work in the site (like WP) and give feedback.  Wikis and Google docs are super handy for compiling group project information, and having this tool available within a social network is really handy.   Wikis, Blogs - Web 2.0 tools that can hold a lot of content to accommodate a discussion board, posting documents, posting video messages. I would love to see customizable Twitters in the future that can be adapted for specific groups.   I wish that Blackboard functioned more like the social networking tools we've used, because they are so much more intuitive and user-friendly -- however, I'm not sure social networking is a totally worthwhile option unless it has a specific, course-related purpose.  I say this because most social networking tools are informal and for fun; most students already have their own, personal accounts.  There is zero incentive for me to create yet another blog which I'll have to monitor and develop, unless it serves a function my personal account won't.  Eportfolios are a great idea because they are explicitly professional and worth doing well, but it's important that, given all the user-friendly platforms available,  that students will be able to access and continue using the system for their professional needs.  

     

  Ufolio Participants, 2008-2009   Ron Bramhall ePortfolio LCB Faculty Liaison, and Platform Development Lead LCB Director, Honors Program   Nancy Cheng AIA, ePortfolio Faculty Liaison for Architecture Department, and AAA Platform Development Associate Professor, Department of Architecture   Lori L. Hager, PhD Faculty Liaison for Arts and Administration, and ePortfolio Project Director Assistant Professor, Arts and Administration Program Associate Director, Center for Community Arts and Cultural Policy   Jonathon Richter, Ed.D ePortfolio Research Lead Research Associate Center for Advanced Technology in Education   Eric J Schiff ePortfolio criteria and usability, and AAA platform development Adjunct Instructor, Arts and Administration Program   Sandy Fortier Center for Community Arts and Cultural Policy ePortfolio GRF

 

Affiliated:

John Fenn, Adjunct Faculty, Arts and Administration Program Appendix : Faculty and Research Associate reports, 2008/2009

UfoliO Project - Year End Report, 2008-2009 Ron Bramhall – Lundquist College of Business

Introduction

This report summarizes my work with the UfoliO project for the 2008-2009 school year.  My activities reflect my goals specific to the LCB Honors Program, and the overarching goals of the UfoliO Project.

 

Project Objectives for LCB Honors Program Eportfolios

Determine the viability of eportfolios as a tool for developing, assessing and presenting evidence for deep learning of cross-curricular professional skills (team skills and oral/written professional communication); determine if eportfolios could be implemented across the curriculum with minimal involvement of faculty; address whether a successful eportfolio implementation could truly be student-driven.    I identified the following objectives for my project:

  ·        Define professional skill competency definitions, learning objectives and rubrics ·        Define assessment measures of learning for professional skill sets related to communication, collaboration, ethical decision-making. ·        Identify LCB curricular touchpoints of professional skills ·        Begin preparing Honors students for eportfolio learning and engagement ·        Develop pedgogical processes for eportfolio implementation with LCB Honors students

Objectives

LCB Honors

My objectives for the Honors program this year were to get a functioning eportfolio system in place and begin implementing that system with ~35 LCB Honors students.  This involved both getting technology in place and eportfolio processes in place.

 

UfoliO Project and INCEPR Coalition

My focus at the UfoliO Project level was to explore eportfolio systems and make recommendations for adoption.  I was to contribute to formulating eportfolio processes and approaches; build support for our project across campus; be an active member in our work with the INCEPR coalition, which involved contributing to our research reports and attending the bi-annual meetings.

 

Goals and Outcomes

LCB Honors

Honors students developed “Intentional Learning Plans”(ILP), designed to have students think intentionally about their education in the LCB in an integrated way, instead of viewing the Honors Program as a collection of classes. This will be reintroduced to the new Fall 2009 Cohort as a “Professional Development Plan”. 

 

Identifying core professional competencies in the LCB, mapping those to the curriculum and planning for implementation with a new cohort beginning Fall 2009, including 

·                   Understand and manage self

·                   Understand and work with others ·                   Communicate effectively ·                   Promote ethical practices

Professional competencies are currently being mapped to the LCB curriculum.  Next steps are to identify learning objectives for each, develop rubrics and identify appropriate artifacts for measurement.  By end of summer, I will be fully ready to implement eportfolios with the new LCB Honors cohort entering Fall 2009. Goals and Outcomes (continued)

BA 352 Course – Leadership and Communication

Explored WPMU[2] as a Course Management system, using Wordpress instead of Blackboard in a course of 24 students for everything except emailing the class and Safe Assign. Project Resources and Course Schedule were used to post documents and readings for each class period. The blog function kept students up to date on happenings in the class, and each student created their own blog to create and reflect on their Leadership Development Plans.

 

Used a variety of web 2.0 tools in a “mash-up” including Google Docs for student papers.  Students submitted their assignments through Google Docs. I cut and pasted rubrics at the end of the documents and graded them online. I could highlight issues, cut and paste common comments and get their feedback to them more quickly.  The grading process was effective but a bit clunky and probably slower than just writing on their papers. 

 

Platform and Research

Investigated multiple eportfolio platforms, and spoke with institutions about their experiences across platforms and systems.

Active participation with the INCEPR coalition, which involved contributing to our research reports and attending the bi-annual meetings.

Exploring the viability of using Wordpress Multiuser, along with other Web 2.0 tools.  

We gained commitment from Central Computing to host the platform for a 2-year period and began testing.

I contributed to formulating eportfolio processes and approaches.  I wrote a grant proposal for funding through the Big Ideas process.  The proposal was not accepted but it did intersect with several other proposals focused on reforming the UO’s approach to undergraduate education, helped us crystallize our thinking about our project and raised awareness on campus about the need for better integration of technology and educational strategies.   

I interfaced with other interested groups on campus, most notably the Clark Honors College. 

Project Assessment and Reflection

Our project has gone slower than we originally anticipated.  I believe this is a function of our original plan being too ambitious rather than any major deficits in our work.  While it is true that eportfolio pedagogies are more important than the technology, those pedagogies cannot be tested without some technology in place.  As such, the delays in getting the technology implemented hindered our abilities to move forward with our testing of eportfolio processes.

 

That said, I believe the time spent digging deeper into what eportfolios might look like in our various programs was time well spent.  We are better positioned to use the technology now than we were 9 months ago.

 

There is no one platform that will lead to success in eportfolios.  Every successful implementation I have seen begins with a clear understanding of the goals of the eportfolio, clear eportfolio processes, clear instruction and support for faculty and students, and clear motivation for faculty and students to engage. 

 

 

ePortfolio End of Year Summary Nancy Cheng , Associate Professor, Architecture   This year, our faculty team focused our team objectives, developed strong working relationships and made progress on implementing a new platform.  Our team project goals fall into the following areas

1)                                       Technology:  System specification, then evaluation or development 2)                                       Teaching : Curricular implementation 3)                                       Research :  Find best implementation methods & system to meet student, faculty and administrative needs.  Comparison of communication / collaboration across disciplines 4)                                       Dissemination : Creating a broader audience for cross-fertilization 

  1) Technology:   I focused on trying online systems (more than contributing to the system specification and evaluation.) I used ePortfolios to clarify expectations, promote reflection, document progress, and facilitate feedback and assessment.  Three of my classes used the Plone ePortfolio system (Fall Arch 4/584 studio, Arch610 Computer Graphics and Arch384 studio) and the fourth used WordPressMU (a small pilot group) Primary attributes are summarized below.    Plone ePortfolio Google Sites PbWorks WordpressMU Positive + + Strongly branded 

through consistent style.

+ Easy to use for individual or group efforts

+  Easy to use for Wikis, course sites +  Robust user permissions + Good user support

+ strong ability to customize + large user base & documentation + portable + aggregation potential 

Negative - - Interface requires training - Little graphic customization possible - Hard to find local developers

- Fixed file quota - No backup or transfer method - little graphic customization - no levels of user permissions

- costs money $199/yr - no social networking  

- Interface requires training - MU compatibility requires trial & error - less customization than standalone WP

  - Plone ePortfolio (Fall: 15 Arch 4/.484 students , Winter: 36 Arch 601 students & Spring: 65 Arch 384 students, 85 Arch 222 students):  While Plone is a robust, flexible Content Management System, without a developer to address small issues that loom large for beginners.  My students have found the interface awkward, so the system requires tutor support.  Our implementation standardized the look of all pages, making it difficult for design students to be expressive.

- Google Sites (Spring: Arch384 class Wiki):  Very intuitive software, easily adaptable to use as a course Wiki or individual ePortfolio.  Limited fixed quotas make the sites impractical for large dynamic project.  Little graphic customization.  Similar to PBWorks wiki software, with less control about user permissions.

- PbWorks (used for independent studies & Arch610 resource pages) : works well for Course Wiki.

- WordpressMU (Spring: 5 student pilot group):  professional appearance, medium ease of use.

              

2) Teaching My major focus has been on thoughtful curricular implementation.  I have been focusing on how the transparency of the ePortfolio system can get students and instructors on the same page and increase accountability in assessment progress.   Working with our UO ePortfolio core and the INCEPR group has taught me a lot about how to be clearer in my teaching.  For my classes, I created both evaluation criteria and ePortfolio support documentation with the help of Davina Camardo and Eric Schiff.   I have succeeded in getting almost all the students to create some sort of ePortfolio, but the quality and utility of the online work varies widely.  The methods-oriented Computer Graphics class and ePortfolio Pilot group were much more successful at thoughtful use of the software.  In design studios where computer technology was not an explicit part of the class, students put little energy in to their ePortfolios.  Despite being listed as part of the course requirements, the ePortfolio documentation and reflection was seen as an add-on.  >> I’m interested in finding ways to better integrate the reflective process in with the main objectives of the course.   Circumstances made it difficult to create a successful learning environment.   The second-year undergraduates had learned Dreamweaver and the ePortfolio system in first year but had forgotten the skills.  Because they understood the advantages of authoring a real website, it was hard to get them enthusiastic about the more limited ePortfolios.  I provided four training sessions for the Arch384 students in the middle of the course and offered two followup sessions at the end of the course.  >> In previous years we required incremental submission of portfolio pages for each major building block of the project.  This allowed refinement of a custom graphic template as well as developing the habit of archiving.    Adding the layer of reflection is more challenging because the students are completely geared towards the live presentation of their work.  >> Separating the polished public presentation from the private reflection could help the challenge of showing dirty laundry in public.  If we required the students to present their projects from the online site using a data projector, we could save printout costs and ensure that the online presentation was polished.   3) Research We have only begun to look at the research questions we have proposed.  I have amassed a large number of online student  ePortfolios to examine, and we developed a survey to collect student preferences and attitudes.  >> A major goal for the summer is to analyze and summarize the student behavior and attitudes from the previous years.   Due to the diversity of disciplines involved, it has been more difficult to create a cross-disciplinary study. We wanted to look at how ePortfolios could help to guide students in developing Communication and Collaboration skills, so we each defined Collaboration in terms of discipline-specific objectives, activities, criteria, outcomes, etc.  But for Spring 2009, it turned out that the class contexts of the WordpressMU pilot did not foster this.  I encouraged my Architecture pilot students to use their blog to track their progress towards personal learning goals and the only group activities we had were giving feedback through comments and an online forum (through Diigo, since BuddyPress wasn’t functional for much of the term).  >> Fall 2009 presents an opportunity to set up a more definitive comparison, where we each identify a team project and look at how to foster collaborative behavior.               4) Dissemination We have been successful at building alliances with our natural stakeholders on campus (Helen Chu and Sarah Stubbs of IS Academic Computing, Andrew Bonamici of the Library), we have connected with partners on campus pursuing similar goals (Honors College, Foreign Language teaching, Education) and external allies (Helen Barrett, WSU, INCEPR).  While our forums were more lively last year, we have built more in-depth understanding of our mission through our targeted partnerships.  In addition, we gave our ideas a larger exposure through the UO Provost’s Big Ideas call for proposals. Ron was very effective in initiating a Big Ideas proposal that concisely articulated our ideas coming out of Helen Barrett’s visit and our February INCEPR meeting.   SNAPSHOT OF RESULTS:

·        Students in the computer graphics classes are receptive to learning technology; those in studio find it a distraction from their core mission.  In team-taught studios, compliance varies according to the instructor attitude.

·        Response to reflective questions has varied greatly.  Those adept at graphics tend to be less interested in verbal assignments.  Introspective students with poor graphic skills can be much more expressive in writing than through drawings, models or computer graphics.  It helps the instructor to see that students understand concepts, even though they lack proficiency in generating visual results.

·        Google Sites is very accessible and quick to learn, BUT you can’t backup or move the sites and they have a fixed quota limit!  Compared to PBWiki, which I have used  for 5 previous classes, Google has not set up a support infrastructure.

·        >>  Keep new requirements minimal.  Target sharing of artifacts that benefit the whole (i.e. site analysis, factual design data)  Provide strong documentation, support and examples for the eager to excel.

NEXT STEPS

Analysis : Study previous year’s ePortfolios and survey results.  Analyze and summarize.  Write and submit research abstracts.

Assessment :  Resolve the misalignment between departmental studio evaluation forms, and narrower course evaluation criteria.  Look at how to tie the artifacts to the evaluation. Build on WSU work.

Research : Plan Fall term courses to support interdisciplinary comparison.

Funding                                             : Define areas of potential innovation, find partners, search for funding sources.  

Dissemination :         

-         Highlight top work on ePortfolio site, add students to index. -         Continue dialogue with IS, Honors College.  -         Look at creating faculty workshops, building on the AAD efforts.  -         Engage Arch Dept colleagues and students about how to foster this effort.

Preliminary Year-End Summary Lori Hager – Assistant Professor, Arts and Administration Program   Primary areas of activity related to building support structures to implement eportfolios department-wide in AAD; liaison on th ufolio budget; working toward providing some organizational framework, and instituting documentation and communication structures for the UFolio Group; building relationships with IS; developing national and international connections and resources; expanding eportfolio applications through workshops for students and increased curricular and reflective connections; support for documentation and evaluation.   Internship/ePortfolios Lori Hager, expanded the ways in which students engaged with eportfolios in her Internship course sequence (AAD 610).  Students identify developments in the profession, connect skills and professional objectives to needs in the field.  After this scan, students identify areas  for professional development and establish work learning goals that reflect their professional objectives and academic goals.  They conduct research on arts organizations that would provide them opportunities to advance their skills and goals, and begin to secure a location.  From this, they connect their responsibilities to their work learning goals, with demonstrations of learning that reflect their progress, learning, and growth.   Connecting Theory to Practice This year, I increased the digital documentation requirement to more closely align their WLGS and their DOLS through their eportfolios.  Students will develop these in the WPMU environment and during the fall, students will analyze their development individually and as a group, and from this will create a presentation that reflects how they are constructing meaning as individuals and as a group relative to their professional objectives and academic goals, how they are connecting theory to practice, and how they are making adjustments to their academic and professional goals.  As a result of the course, the workshops, and the pilot group, students are taking ownership for their course through creating a course blog in WPMU that will allow them to document and reflect and experiment with how they are demonstrating their learning through their eportfolios and their courses, and how they will apply this across their classes.   Enhancing Reflection/Authentic Assessment Another goal for this year was to expand the reflective component of the eportfolios to include digital storytelling.  Students were offered a workshop in digital storytelling, and as a result are including digital narrative and field journals in their demonstrations of learning.  Additionally, students spontaneously created a digital narrative in their Arts Learning Policy and Practice (AAD 510) graduate seminar that authentically reflected what they learned through 

in the course through each creating a 30-second “elevator speech” of the value of arts education, which we recorded in imovie. This video will be used as a promotional and advocacy video. This is an example of the ways in which students will authentically reflect and assess through appropriate structures, and with available tools.    Consultants and Workshops I was able to support bringing Helen Barret to conduct the Digital Storytelling workshop, and to consult with the group during a critical time in our development. I sponsored a digital documentation workshop in support of the expanded reflection and assessment component of the project this year, which was conducted by Dr. John Fenn, current AAD Adjunct Instructor and next year’s full time Media Management Assistant Professor.   We brought John Ittleson in to consult with us regarding  Epsilen, about our project development in general, and about possible connections with the work that they are doing with eportfolios in California.  John was a member of INCEPR Cohort 3.   Participation in the two INCEPR meetings last year provided a critical context for our development.   Most importantly, the February meeting following on the visit from Helen, convinced us to move into working with WPMU.   Arts and Administration Program Most importantly, eportfolios is now recognized as critical for our students; development, and will be implemented as requirement for AAD graduate students starting fall, 2009.  The recent hire of John Fenn as the new Media Management faculty, the addition of expert adjunct faculty Scott Huette, who is involved with the eportfolio courses offered through PODS, as well as support from CC, have provided us with the “tipping point” to institute eportfolios across the AAD undergraduate and graduate program. Undergraduate students conducting practicum as co-curricular work will engage with eportfolios; a new course sequence in “Teaching the Arts” will result in artists-as-teachers constructing teaching eportfolios; faculty will employ it for courses; and students will use it to aggregate their work during their tenure here at UO.  Importantly, students will be employing tools and evaluation structures that they will engage with throughout their careers, and the evidence will be an “eportfolio” they can take with them where they go.   I conducted informal interviews with students involved with eportfolios,  both with the old PLONE-based system, as well as with WPMU, and will be collating and analyzing this information to inform the development of the system in the fall. Surveys about student engagement and preparation conducted in the digital documentation workshop, and through CC, will provide critical evidence for structuring training and support modules for faculty and students. These, along with a more extensive evaluation of this year’s pilot, will provide the basis for the next term implementation.     UfoliO FINAL REPORT – June 12, 2009 Jonathon Richter, Research Associate, Center for Electronic Studying Original Proposed Winter and Spring Term 2009 Activities for: Assist ePort faculty map their curricula (document meetings, journal context, produce maps); work with our group to establish shared understanding of portfolio processes (faculty developed ePortfolios; create shared resource docs, terminology, and relationships); assist in the development of artifact descriptions and rubrics (how to measure) for each program portfolio with context across the ePortfolio group (same when we can, different when we must) -- (artifact descriptions and rubrics + summary of program alignment/contrast); assist ePortfolio program faculty to create useability / feedback forms to distribute to students (feedback forms / surveys for program students); assess the ePortfolio platforms (compare / contrast) in the spring (platform assessment); Lead ePortfolio group to synthesize feedback gathered by faculty during Spring (pilot summary).   Below is a bulleted summary of my UfoliO involvement and activities Winter/Spring 2009. Also included here are comments and/or reflections to further detail and enhance activity descriptions. An overall reflection and commentary on my UfoliO project work for this time period follows this section. Finally, a synthesis of these activities and accomplishments and their relative alignment with the UfoliO goals to enhance university Student-Centered Learning and Institutional Assessment efforts concludes the report.   Proposed Activity Description Winter term 2009: Submit documents from meetings, and curriculum maps, resources documents, artifact descriptions, and rubrics; submit summary of activities.  

Activities and Accomplishments -         Conducted several inservice workshops to participating UfoliO faculty on (a) Curriculum Mapping; (b) Portfolio Learning; and (c) Assessment for Learning (i.e. formative assessment). Led in comparing and contrasting faculty program spheres-of-influence, and portfolio audience / outcomes discussions. -         Facilitated curriculum mapping process with faculty to produce documentation of coursework as relates to curricular artifacts and portfolio teaching and learning. -         Created a web-based shared bookmarking and webnotes group using Diigo and began collecting resources of potential relevance for the project. -         Attended a portfolio presentation as “guest evaluator” for Nancy Cheng. Feedback document relevant to portfolio system attached. -         Facilitated UfoliO Project group and Friday Forums with attendees from other campus departments. Discussions focused on exploring additional ePortfolio systems, Web 2.0 solutions and enhancements. -         Participated in group and individual meetings with Helen Barrett and others on campus to generate support for developing ePortfolio systems solutions with our core group departments and campus-wide, pursued ongoing commitment to development through forums and networking with key UO faculty. -         Facilitated the UfoliO group on creating a synthesis of beliefs and progress for the I/NCEPR Cohort V meeting in San Francisco. Wrote the final copy and submitted in time for the meeting. -         Facilitated identification of a common student outcome for all programs currently participating in the program: “collaboration”. Included exploration of “collaboration” in the semi-structured interviews conducted as a conclusion to the Portfolio Curriculum Mapping process. -         The collection of program-specific artifacts and development of particular rubrics relevant to portfolios was postponed until the system prototype for each program could be put in place. -         I worked with other UfoliO project members to establish ePortfolio system/platform criteria which is documented on the wiki site – this included usability, customization capabilities, portability, and assessment features. This was used for distilling attributes, functionality, and sustainability for targeted commercial ePortfolio systems. Members including myself met regularly to establish criteria and then interview potential vendors for field-testing ePortfolio systems within our departments. -         Attended a day-long workshop at The American Educational Research Association (AERA) on Design-Based Research (DBR), collecting resources, context, and experience relevant to this DBR project. Note: tuition was paid by UO's Center for Advanced Technology in Education. -         Following our Cohort V (and Cohort III) meeting/conference in San Francisco, group consensus was to pursue WPMU and Web 2.0 mash-up tools as an ePortfolio system/platform to pilot with 3 cohorts of students. -         Criteria and goals were established and I was involved/attended and contributed to a series meetings with UO CC systems and Academic computing heads to establish a pilot test for Spring term. -         Worked closely with Helen Barrett on defining and developing cues and context for reflection in the academic projects. 

  Proposed Activity Description End of Spring term: submit feedback forms/surveys developed for students; written platform assessment overview; written pilot summary.   Activities and Accomplishments

-         Collaborated with the UfoliO team in deciding to discontinue the evaluation of “off the shelf” ePortfolio software because of multiple factors – opting rather to integrate generic tools and develop portfolio teaching and learning processes into those. Google Apps and WordPress MU were the leading choices. The “written platform assessment overview” deliverable thus, became a “written portfolio integration overview”. -         Created an initial draft of a student feedback form for WordPress MU users and worked with Computer Services on deployment. -         Met with UO CC members for detailing pilot requirements, training, usage and feedback mechanisms (RT reporting). This was very helpful to get started, but response from CC on RT rquests fell way short of expectations. This was communicated in final meetings with Helen Chu and Micah Sardell. 

    UfoliO FINAL REPORT Eric J. Schiff, Adjunct Instructor, AAD

Role: Administration, development, support, and transition of current AAA ePortfolio system; Usability Criteria, Planning, Field Testing of new ePortfolo system(s); Evaluation, customization needs assessment of ePortfolio systems; Development, implementation, and teaching support; standards and rubrics.   Activities and Accomplishments Below is a bulleted summary of my UfoliO involvement and activities. Also included here are some brief comments and/or reflections, and. an overall reflection and commentary on my UfoliO project work for this time period follows this section. Development of A&AA platform and demonstration to faculty. Maintained current Plone ePortfolio system; Worked with UO CC and A&AA Computer Support to improve secure server access and overall usability of the Plone system; Worked with Nancy Cheng and ARCH GTFs to develop and make available basic Plone ePortfolio tutorial resources – posted on the eportfolio.uoregon.edu site.   All AAD graduate students had Plone system ePortfolio profile accounts created and populated per with specific content criteria and hierarchy established, and disseminated to students in AAD Advanced Information Design and Presentation course. Profiles were made accessible to AAD and other faculty.   UfoliO Project group and Friday Forums - demonstrated eportfollio.uoregon.edu system and work from AAD and ARCH. Discussions focused on exploring additional ePortfolio systems, Web 2.0 solutions and enhancements.   Meetings with Helen Barret and others on campus to generate support for developing ePortfolio systems solutions with our core group departments and campus-wide, pursued ongoing commitment to development through forums and networking with key UO faculty.   Prepared for I/NCEPR CohortV meetings and ePortfoio West Coast Summit conference in SFO to demonstrate our work, attend workshops and breakout sessions, evaluate and determine future direction of the UfoliO project.   Attended meetings with John Fenn and Lori Hager to develop standards for web published presentation ePortfolios produced as outcomes of my Spring term AAD Multimedia Presentation and Design course. These were defined and presented to AAD graduate students at the beginning of Spring term through Blackboard course site.   Curriculum mapping of my three AAD courses was completed as part of the UfoliO project – documents made available on UfoliO wiki and my WPMU blogsite.   I worked with other UfoliO project members to establish ePortfolio system/platform criteria which is documented on the wiki site – this included usability, customization capabilities, portability, and assessment features. This was used for distilling attributes, functionality, and sustainability for targeted commercial ePortfolio systems. Members including myself met regularly to establish criteria and then interview potential vendors for field-testing ePortfolio systems within our departments.   Following our Cohort V (and Cohort III) meeting/conference in San Francisco, group consensus was to pursue WPMU and Web 2.0 mash-up tools as an ePortfolio system/platform to pilot with 3 cohorts of students. Criteria and goals were established and I was involved/attended and contributed to a series meetings with UO CC systems and Academic computing heads to establish a pilot test for Spring term. Eric, Ron, and Nancy prepared for the Spring term pilot by creating demonstration WPMU academic course blogsites and establishing general guidelines for limited student participation.     My goal for next year is to establish a base set of Rubrics for my courses that align with my curriculum maps. I will integrate these in the course delivery and individual course project evaluation using my WPMU course blogsites.   Created a scope and sequence for introducing WPMU pilot students to the system, functionality, and user interface. (Mirrors the introductory AAD WPMU workshop for faculty series outline that I submitted to John Fenn and Lori Hager).  

Researched, introduced, and presented case study to both my Spring term course students and AAD pilot cohort, the concept of Personal Learning Environments (PLEs); integrating ePortfolio systems and Web 2.0 tools and applications for facilitating, producing, reflecting, and assessing student work. This had high value and was embraced and applied by students in the WPMU pilot project – evidenced in their WPMU blogsites and specific assignments during the project.   Met twice weekly for hour long sessions with the AAD student pilot cohort to implement WPMU system and Web 2.0 tools and applications. Agendas and specific ePortfolio systems pilot implementation and student training are detailed on my WPMU demonstration blogsite in the “Posts” and UfoliO pilot section/pages.   Researched and recommended WPMU plug-ins, themes, widgets, and user interface functionality. Researched and recommended Web 2.0 tools and applications for faculty/student use in the pilot project – areas of focus were networking, collaboration, productivity, and communication.  Reflections and Recommendations   While formal assessment tools are available for integration and use with the WPMU system, this is an area that our group will need to address in the near future. I am confident that we will be able to manage an effective solution, and one I am hoping to implement by Winter term, 2010.   As part of the UfoliO WPMU pilot Spring term, Nancy Cheng, Ron Bramhall, and myself wanted to ensure opportunities to involve students in “student centered learning and assessment” activities. The concept of PLEs (personal learning environments) became centric to our project, a core value for designing and implementing our approach and activities using WPMU and accompanying Web 2.0 tools and applications. This positioning supported our belief that engaging students to take a level of control of their learning environment by choosing the systems and tools that made sense to them, while providing a framework for them to employ formative assessment activities to understand the deeper learning taking place, would be of high value and benefit. Given the varied nature of our pilot cohorts’ courses, assignments/projects and outcomes would be different for each group. But, we agreed to build the student self-assessment/reflection framework and prompts around the following: communication, collaboration, and process. I added a peer feedback component. I was impressed with the detail and focus of student reflections, and the feedback from their peers. I believe the quality of self-evaluation was higher and carried greater benefit by using these methods and WPMU tools.   Another observation I made as students undertook this challenge of using the WPMU system, was that they immediately began querying each other on the process of using Web 2.0 tools and applications that had been introduced, to identify and cull resources; that they then began working together to understand the process and next steps for networking and sharing them with each other. These activities reinforced my belief that students got the concept and value of creating PLEs, they engaged in core tenets of the formative evaluation process we had identified as centric to student-centered learning and assessment. They presented much more thorough reflections of their work; an understanding of what they learned, how and why they learned, and where they might improve upon it and/or apply it.   Finally, I believe our UfoliO project group is headed in the right direction. Continued and increased support from the university is essential for further development and expansion of ePortfolio systems on campus; this being both financially, and in recognizing and promoting the opportunities and value/benefit for engaging students and faculty in its use. I look forward to my continued involvement in the UfoliO project next year.       8  

[1] The eportfolio platform development community has made significant strides since we began our tiny project in wordpress four years ago.  There are on the market some potential platforms that could be considered for implementation at UO, however it would take an institutional commitment to make this a viable option.  At the same time that the platform community has reached a level of sophistication, developments in web 2.0/3.0 are suggesting a more authentic approach to using eportfolios to prepare students to engage as global citizens and lifelong learners.  The trend in eportfolios seems to be moving

away from these kinds of portfolio management systems in favor of implementing processes that are authentic to the way that people live and learn and communicate in a web 2.0/3.0 world.  [2] Using Wordpress as a Course Management system was very successful.  It has the capacity to do most of what Blackboard does with more flexibility, style and continuity across terms.  I believe with more work, it could replace or augment Blackboard for many

faculty.  There are some challenges.  It is not as plug and play as Blackboard.  Templates and guides will need to be developed for faculty who don’t want to dig into the technology as much.  But this is not any different from any other technology.  Most reports are that the

bulk of faculty use very little of the functionality of Blackboard anyway so it seems to be more a question of motivation to use technology than the technology itself.  Wordpress has the potential to be no more difficult to use than Blackboard with the right support structures. 

The challenge is creating the motivation.