의과대학에서 학습관리시스템과 컴퓨터 기반 평가시스템의 구축 및 운영 경험

Experiences with Establishing and Implementing Learning Management System and Computer-Based Test System in Medical College

Article information

Korean J Med Educ. 2012;24(3):213-222
Publication date (electronic) : 2012 September 30
doi : https://doi.org/10.3946/kjme.2012.24.3.213
1Department of Medical Education, The Catholic University of Korea School of Medicine, Seoul, Korea
2Department of Teacher Education, Cheongju University College of Education, Cheongju, Korea
박주현1, 손지영2, 김선,1
1가톨릭대학교 의과대학 의학교육학과
2청주대학교 사범대학 교직과
Corresponding Author: Sun Kim Department of Medical Education, The Catholic University of Korea School of Medicine, 222 Banpo-daero, Seocho-gu, Seoul 137-701, Korea Tel: +82.2.2258.7200 Fax: +82.2.2258.7794 email: skim@catholic.ac.kr
Received 2012 March 7; Revised 2012 April 26; Accepted 2012 May 30.

Trans Abstract

Purpose:

The purpose of this study was to establish an e-learning system to support learning in medical education and identify solutions for improving the system.

Methods:

A learning management system (LMS) and computer-based test (CBT) system were established to support e-learning for medical students. A survey of 219 first- and second-grade medical students was administered. The questionnaire included 9 forced choice questions about the usability of system and 2 open-ended questions about necessary improvements to the system.

Results:

The LMS consisted of a class management, class evaluation, and class attendance system. CBT consisted of a test management, item bank, and authoring tool system. The results of the survey showed a high level of satisfaction in all system usability items except for stability. Further, the advantages of the e-learning system were ensuring information accessibility, providing constant feedback, and designing an intuitive interface. Necessary improvements to the system were stability, user control, readability, and diverse device usage.

Conclusion:

Based on the findings, suggestions for developing an e-learning system to improve usability by medical students and support learning effectively are recommended.

서론

최근 다양한 의학 정보를 제공하는 수단으로서 첨단 정보 통신 기술을 효율적으로 이용하는 웹 기반의 e-러닝(e-learning)이 주목받고 있으며, 현재 의학교육의 효율성과 효과성을 향상시키기 위해 여러 의과대학에서 e-러닝을 사용하고 있다[1,2,3]. e-러닝은 온라인 커뮤니티, 수업 자료 및 사전 학습 제공, 온라인 상호작용, 컴퓨터 기반의 온라인 평가 등을 기존의 강의실 수업에서 적극적으로 활용하는 것이다. 의학교육에서 이러한 e-러닝은 효과적이고 체계적인 교육을 전달하는 테크놀로지 활용 이상의 새로운 의학교육 방법으로서 의미를 가지고 있다.

e-러닝의 장점은 오늘날 의학교육 분야의 과제들을 여러 측면에서 해결하는 가능성을 가지고 있다[4]. 의학교육에서는 다양한 사례에 적용할 수 있는 지식을 효율적으로 습득하기 위한 방법이 모색되어야 하므로, 테크놀로지 및 네트워크의 장점을 활용한 e-러닝의 필요성이 부각되었다[3]. 그리고 다양한 멀티미디어 기법을 쉽게 적용할 수 있는 e-러닝은 의학교육에서 사용해오던 시청각자료를 더욱 효과적으로 활용할 수 있도록 시너지 효과를 낼 수 있게 되었다[3].

이러한 e-러닝의 장점을 강의실 교육에서 함께 사용하는 교육 형태로서 블렌디드 러닝(blended learning)이 부각되었다. 블렌디드 러닝은 ‘혼합학습’이라고도 불리는데, 온라인과 오프라인 활동의 조합, 다양한 웹 테크놀로지의 혼합, 다양한 학습방법의 혼합 등으로 정의할 수 있다[5,6]. 최근에 블렌디드 러닝은 주로 온라인과 오프라인의 학습전략을 적절히 결합하여 활용함으로써 학습 성과를 극대화하기 위한 설계 전략으로 이용되고 있다[7]. 즉, 기존의 강의실 교육과 e-러닝의 각 장점들을 활용하여 학습효과를 극대화하는 학습 체제인 것이다.

최근 의학교육에서도 이러한 온라인과 오프라인 수업을 결합하는 블렌디드 러닝을 활용하기 시작하였다. Childs et al. [8]은 의학교육의 기존 교육과정에 e-러닝의 요소를 통합시키는 것이 중요하며, 전통적인 수업 방식과 e-러닝 방법을 혼합하는 블렌디드 러닝이 의학교육에서 필요하다고 제안하였다. Ruiz et al. [2]은 e-러닝을 기존의 의학 교육과정에 통합하기 위해서 요구분석에 의해 설계된 블렌디드 러닝 체계를 수립해야 함을 강조하였다. 그리고 Lau & Bates [9]는 의과대학 교육에서 e-러닝을 활용한 선행연구들을 분석한 결과, 의과대학 교육에서 대부분의 e-러닝 활용은 강의실 교육에서 학생들의 개별 학습 촉진과 상호작용을 향상시키기 위한 블렌디드 러닝 유형이라고 제시하였다.

국내 의학교육 현장에서도 e-러닝을 활용하는 연구들이 최근 이루어졌다. Kee & Hong [4]은 e-러닝이 의학교육의 문제를 해결할 수 있는 효과적 방법으로 주목받고 있으며 실제로 의과대학 교육에서 e-러닝을 활용한 교육이 활발히 진행되고 있다고 언급하였다. Park et al. [3]은 의학교육에서 e-러닝을 활용한 선행연구들을 분석하여 e-러닝의 활용 유형 및 효과성에 대해 고찰하였으며, 국내 의학교육에서 e-러닝과 블렌디드 러닝의 활용에 대한 앞으로의 과제에 대해 제시하였다. 블렌디드 러닝의 맥락에서 컴퓨터 기반 평가(computer-based test, CBT)에 대한 연구도 최근 의학교육 현장에서 이루어졌다. Park et al. [10]과 Im et al. [11]은 의과대학에서 CBT시스템을 개발하여 시행하고 난 후에 학생들을 대상으로 설문조사를 실시하여 CBT의 장점과 단점을 도출하여 제시하였다.

또한 e-러닝을 지원하는 시스템의 맥락에서 학습관리시스템(learning management system, LMS)에 대해 관심을 가지게 되었다. LMS는 e-러닝에 접근할 수 있도록 조직하고 제공하기 위해 사용되는 도구이며, 교수학습의 다양한 활동을 관리하는 웹 기반 플랫폼이라 정의할 수 있다[12]. 구체적으로, 즉각적인 메시지 전달이 가능한 기능, 토론 기능, 채팅, 파일을 올리고 내려 받을 수 있는 기능 및 공유 기능, 역할에 따른 권한 부여 기능 등을 통합하여 동일한 공간에서 단일 인터페이스로 제공되는 시스템을 말한다.

이러한 LMS와 CBT에서 제공하는 다양한 기능들을 교수자 및 학습자들이 적절하게 활용할 수 있으면 e-러닝 시스템 안에서 자유롭고 원만한 교수-학습의 진행을 기대할 수 있다. 그러나 이러한 시스템들이 불필요한 기능들을 너무 복잡하게 제공하거나 비효율적으로 정보를 처리하고 있을 때는 오히려 교수자와 학습자의 활동을 방해하게 된다[13,14]. 즉, e-러닝을 지원하는 시스템이 효율적, 효과적으로 설계되지 못하면, 사용자들은 적절히 사용하지 못하여 학습 효과를 얻지 못하게 되는 것이다. 따라서 e-러닝에서 교수-학습과정을 효과적으로 지원하기 위해 사용성을 고려하여 시스템이 설계되어야 할 것이다. 이러한 맥락에서 시스템이 구체적으로 어떻게 제공되어야 대학의 사용자들이 보다 효과적, 효율적인 교수-학습 활동을 수행할 수 있는지를 파악하는 것이 중요하다.

본교에서는 2010년부터 e-러닝 지원 시스템으로 LMS와 CBT 시스템을 구축하여 현재까지 의학과 학생들의 교육에 시행해 오고 있다. LMS는 강의실 교육에서 디지털 자료의 공유와 상호작용 지원, 출석점검과 일정관리의 자동화 등을 목적으로 하였고, CBT는 평가의 자동화와 즉각적 평가 피드백을 제공하는 것을 목적으로 개발되었다. 앞서 언급했듯이 국내 의학교육 현장에서도 e-러닝을 활발히 이용하고 있지만, 의학교육이라는 특정 상황에서 e-러닝 시스템의 효과적인 구축 및 실행 방안에 대한 연구는 아직 제한적인 상황이다. 앞으로 의학교육에서 이러한 e-러닝 시스템의 안정적 정착과 활성화를 위해서는 학생들의 의견과 요구를 중심으로 검증이 지속적으로 이루어지는 것이 필요하다. 이에 본 연구에서는 의학교육 상황에서 e-러닝 시스템을 구축하고 이를 활용한 후에 학생들이 인식하는 사용성, 장점과 개선점에 대해 파악하여 더욱 효과적으로 시스템을 개발하고 활용하기 위한 개선 방안을 모색하는 것을 목적으로 한다.

대상 및 방법

1. e-러닝 시스템의 구축

본 연구에서는 의과대학에서의 e-러닝 지원 체제로 교수·학습 과정 지원을 위한 LMS와 학생평가 지원을 위한 CBT 시스템을 구축하도록 하였다. 우선, CBT는 2009년 3월부터 시작하여 1년 동안 개발을 진행하였으며, LMS는 2009년 8월부터 시작하여 7개월 동안 개발을 진행하였다. 구체적인 개발 과정은 다음과 같다.

1) 시스템의 개발 원칙 수립

의학교육에 적합한 e-러닝 시스템을 구축하기 위해 관련 문헌 분석을 통해 LMS와 CBT 시스템의 이론적 개발 원칙을 수립하였다. Reeves & Harmon [15]이 제안하고 있는 멀티미디어의 사용성 준거를 기초로 하여 e-러닝 시스템의 이론적 개발 원칙을 다음과 같이 수립하였다.

  • 시스템의 조작 과정이 사용자에게 편리하고 쉬워야 한다.

  • 실시 과정에서 오류 발생 없이 안정적으로 이루어져야 한다.

  • 웹 페이지에서 이동이 자유롭고 편리해야 한다.

  • 사용자가 기능을 쉽게 조절할 수 있어야 한다.

  • 다양한 형태의 멀티미디어를 활용할 수 있어야 한다.

  • 평가의 경우 채점이 정확하고 결과에 대한 구체적 피드백을 즉각적으로 제공해야 한다.

  • 부정행위를 막을 수 있어야 하고 보안이 철저하게 이루어져야 한다.

2) 교수 및 학생 요구조사

시스템을 사용하게 되는 의과대학 교수 및 학생, 관리자들의 의견을 수렴하여 더 효과적이고 사용성이 높은 시스템을 개발하기 위해 요구조사를 실시하였다. 의과대학 교수들의 요구분석은 2회의 교수회의와 2회의 교수 워크숍을 통해 교수들의 의견을 수렴하는 방식으로 이루어졌다. 교수들을 대상으로 하는 설문조사와 전공별 소그룹 토론 등을 통해 교수들이 수업 중에 필요로 하는 LMS와 CBT의 기능은 무엇인지에 대해 구체적으로 파악하도록 하였다. 학생을 대상으로 하는 요구조사는 학기 말에 설문조사와 소그룹 면담을 통해서 학생들의 학습에 필요한 구체적인 기능들에 대해 의견을 수렴하였다. 또한 관리자의 요구분석은 관리자들과의 면담 및 회의를 통해서 이루어졌다.

이러한 요구분석 과정을 거쳐서 LMS는 강의실 교육에서 다양한 디지털 자료의 공유, 교수-학생, 학생-학생 간 원활한 상호작용 지원, 출석점검과 일정관리의 자동화 등의 기능이 필요하다는 것이 파악되었다. 그리고 CBT는 학생 평가의 자동화, 문제은행, 즉각적인 채점, 구체적인 평가 피드백 등을 제공하는 기능이 필요함을 알 수 있었다.

3) 시스템의 설계 및 개발

개발 원칙과 교수 및 학생들의 요구조사 결과를 토대로 하여 시스템 개발 전문업체와의 협의를 실시하여 시스템의 주요 기능을 설계하고 개발하였다. 이러한 개발 과정은 수차례 개발업체와의 회의와 전문가 자문회의 등을 통해서 이루어졌다. CBT는 1년 동안 개발이 진행되었고, LMS는 7개월 동안 개발이 진행되었다.

4) 시범 운영

이러한 개발 절차를 거쳐서 2010년 3월에 LMS와 CBT를 구축하여 시범적으로 운영을 하게 되었다. 이러한 시범 시행 과정을 통해 나타난 서버 시스템 및 실시의 문제점을 분석하고 대처 방안을 강구하였다. 한 학기동안 시범 운영한 결과에서 나타난 문제점들을 보완하여 2010년 2학기부터 본격적으로 전체 의학과 학생들을 대상으로 LMS와 CBT를 수업에 적용하게 되었다.

2. 학생 대상 설문조사

1) 대상 및 절차

2010년 2학기와 2011년 1학기의 총 1년 동안 개발된 LMS와 CBT를 학생들의 수업에 적용하고 나서 2011년 1학기 말에 의학과 학생들을 대상으로 시스템에 대한 평가를 설문조사로 실시하였다. 조사 대상은 의학과 1학년 학생 101명과 2학년 학생 118명, 총 219명이었으며, 설문조사를 통해 LMS와 CBT의 평가를 실시하였다.

2) 평가도구

설문조사의 문항은 시스템의 사용성이 어느 정도인지를 평가하기 위해 Reeves & Harmon [15]의 사용성 평가 척도의 일부 문항을 사용하였다. Reeves와 Harmon은 교육을 위한 상호작용적 멀티미디어 프로그램을 평가하기 위해 인터페이스 측면과 교육적 측면의 평가 지침 20개를 제시하였는데, 본 연구에서는 e-러닝 시스템에 적합한 인터페이스 평가 문항 9개를 선정하여 사용성을 평가하도록 했다. 평가문항은 시스템의 사용성에 대해 묻는 5점 척도 문항 9개와 시스템의 장점과 개선점을 묻는 서술형 문항 2개로 구성되었다. 시스템의 사용성을 묻는 5점 척도 문항은 다음과 같았다.

  • 시스템의 사용이 편리하였습니까?

  • 시스템 내에서 찾고자 하는 정보에 쉽게 접근이 가능하였습니까?

  • 시스템의 사용 방법을 기억해서 사용하기 쉬웠습니까?

  • 화면 디자인은 사용하기 편리하게 이루어져 있었습니까?

  • 시스템의 기능을 학습자가 쉽게 조절할 수 있었습니까?

  • 시스템을 안정적으로 사용할 수 있었습니까?

  • 디자인이 미적인 측면에서 보기 좋았습니까?

  • 시스템을 본능적으로 사용할 수 있도록 인터페이스가 쉽게 구성되어 있었습니까?

  • 시스템의 전체적인 기능이 효과적이었고 만족스러웠습니까?

3) 결과 분석

학생 설문조사 문항 중, 5점 척도 문항은 통계 분석을 실시하여 평균과 표준편차를 표기하였으며, 서술형 문항의 답변은 내용 분석(content analysis) 방법을 통해 주제별로 코딩하여 목록화 하였다.

결과

1. e-러닝 지원 시스템의 구축

본 연구에서는 의학교육에서 교수·학습 과정 지원을 위한 LMS와 학생 평가 지원을 위한 CBT 시스템을 구축하였다. LMS는 의과대학 학생들의 강의실 교육에서 디지털 자료의 공유, 수업 일정 관리, 상호작용 지원, 출석점검, 수업평가의 자동화를 목적으로 구성되었다. Fig. 1과 같이 기본적인 수업과 커뮤니티 관리시스템에 출석점검시스템과 수업평가 지원시스템을 함께 구축하여 교수․학습 과정을 원활하게 지원하도록 하였다. CBT는 학생평가의 자동화와 즉각적 평가 피드백, 효율적인 문제출제를 가능하게 하는 것을 목적으로 구성되었으며, Fig. 1과 같이 시험응시, 채점, 피드백 제공을 자동화하는 평가관리시스템에 교수들이 문제 출제를 지원할 수 있는 문제은행과 저작도구시스템을 함께 구축하도록 하였다.

Fig. 1.

System Design and Construction

LMS: Learning management system, CBT: Computer-based test.

본 연구에서 개발된 LMS와 CBT 시스템의 구체적인 구성요소를 설명하면 다음과 같다.

1) LMS의 구성요소

a. 수업관리시스템

본 연구에서 개발된 수업관리시스템은 학생들의 수업 일정을 한 눈에 볼 수 있도록 주간 달력 형식으로 설계되었으며, 첫 페이지에서 수업시간과 관련 정보를 쉽게 확인하고 업로드되어 있는 강의 자료를 다운로드 할 수 있게 하였다. 그리고 매 수업마다 실시하는 수업평가와 자신의 출석 여부, 학습자료 업로드 현황 등을 한 눈에 확인할 수 있도록 아이콘으로 구성하여 한 화면에 제시하고 있다(Fig. 2).

Fig. 2.

Screen Example of Class Management System

b. 수업평가시스템

수업평가시스템은 한 주에 이루어진 매 수업마다 학생들이 평가를 실시하고 한 강좌가 끝날 때마다 강의평가를 실시하여 그 평가 결과를 교수들이 확인할 수 있도록 설계되었다. 학생들이 수업관리시스템에서 곧바로 매 수업마다 평가를 실시할 수 있도록 인터페이스를 연계하여 구성하였으며, 선다형과 서술형으로 모두 수업평가가 가능하도록 평가시스템을 구성하였다(Fig. 3).

Fig. 3.

Screen Example of Class Evaluation System

c. 출석관리시스템

출석관리시스템은 강의실에서 수업이 이루어질 때에 학생들이 학생증을 이용하여 자동적으로 출석을 점검할 수 있도록 하는 시스템이다. Fig. 4의 왼쪽과 같이 강의실의 컴퓨터에서 학생들의 수업 출석 현황을 자동적으로 파악하여 교수에게 제시해주고, 학생들은 오른쪽 그림과 같이 자신의 출석 현황을 웹의 수업관리시스템에서 다시 확인할 수 있도록 연계하여 개발하였다.

Fig. 4.

Screen Example of Class Attendance System

2) CBT의 구성요소

a. 평가관리시스템

평가관리시스템에서는 학생들에게 익숙한 지필 시험지의 형태로 구성하여 웹에서 시험 응시를 하도록 설계하였으며, 선다형과 서술형 등 다양한 유형의 문제를 마우스와 키보드를 사용해 학생들이 응시할 수 있도록 설계하였다. 교수 또는 관리자가 평가를 생성하여 학생들을 대상으로 시험을 실시하고 학생들이 즉각적으로 평가결과를 확인할 수 있도록 하였으며 평가생성, 성적조회, 점수별 분포도와 문항통계정보(정답률, 변별도, 신뢰도 등)의 페이지로 구성되어 있다(Figs. 5, 6).

Fig. 5.

Screen Example of Test Scoring

Fig. 6.

Screen Example of Test Feedback

b. 문제은행과 저작도구시스템

문제은행과 저작도구시스템에서는 교수들이 다양한 유형의 문제를 생성하여 문제은행을 구축하고 이 문항들을 쉽게 검색하여 출제할 수 있도록 하는 문항 만들기 기능으로 구성되어 있다(Fig. 7). 문제은행에서 생성된 문제들을 분류하고 쉽게 검색할 수 있도록 구성되어 있으며, 문항들을 가지고 시험지를 만드는 시험지생성 기능과 기존에 만들어진 시험지의 문항을 자동 추출할 수 있도록 설계하였다. 문제은행시스템에서 시험지를 생성할 때에 문항들의 순서를 섞어서 각 학생들에게 제공함으로써 학생들의 부정행위를 막도록 하였다.

Fig. 7.

Screen Example of Authoring Tool System

2. 학생 대상 조사 결과

1) 시스템의 사용성

본 연구에서 개발한 시스템의 사용성에 대해 학생들을 대상으로 조사한 결과는 Table 1과 같았다. 사용성에 대한 전체 평균은 LMS가 3.08이고 CBT가 3.26으로 5점 척도에서 보통 이상의 만족도를 보이고 있었으며, CBT가 LMS보다 다소 높은 수준의 사용성을 보이고 있었다. 구체적으로 LMS의 사용성에 대해서는 2.90과 3.16의 범위에서 전반적으로 비슷한 수준의 만족도를 나타냈으며, 이 중 시스템의 안정성에 대해서는 2.90으로 낮은 만족도를 보였다. CBT의 사용성에 대해서는 LMS와 달리 전반적으로 3.0 이상의 높은 수준(3.02~3.34)의 만족도 수준을 보였다. 이 중에서 사용의 용이성(3.32), 탐색의 용이성(3.34), 인지적 부하 정도(3.33), 사용자 조절(3.33), 인터페이스의 편리성(3.32)에서는 전반적으로 높은 수준의 만족도 수준을 나타내고 있었다. 그리고 LMS와 같은 양상으로 CBT 시스템의 안정성에 대해 질문한 결과, 3.02의 낮은 수준의 만족도를 보였다.

Survey Results of Usability Satisfaction (n=219)

2) e-러닝 시스템의 장점

본 연구에서 개발한 e-러닝 시스템의 장점에 대해 학생들을 대상으로 조사한 결과, 다음과 같은 내용으로 다수의 학생들이 시스템의 장점으로 인식하고 있는 것으로 나타났다(Table 2).

Students Perceptions of System’s Strengths

a. 자료와 정보 접근의 용이

학생들은 LMS 시스템을 통해 수업에 대한 여러 가지 정보를 한 눈에 확인할 수 있도록 되어 있어서 정보접근이 용이한 것을 시스템의 장점으로 제시하였다. 수업에 대한 정보와 수업과 관련된 학습 자료는 물론이고 강의실 수업의 출석 확인까지 할 수 있어서 편리하다고 답변을 하였다. 지난 수업뿐만 아니라 앞으로 수업을 하게 될 학습 자료들에 대해 손쉽게 얻을 수 있어 도움이 된다고 언급하였고, 전체 수업에 대한 정보를 얻고 교과과정을 한눈에 파악하면서 미리 학습 계획을 세울 수 있도록 돕는다고 장점을 제시하였다. CBT 시스템에서도 학생들의 평가 정보에 대해 구체적으로 확인할 수 있으며, 평가결과에 대해서 통계적인 정보도 같이 제공하고 있어 도움이 된다고 언급하였다.

b. 즉각적인 피드백 제공

CBT 시스템의 가장 큰 장점은 시험을 치룬 후에 즉각적으로 평가결과에 대한 정보를 학생들에게 제공하는 것이라고 인식하고 있었다. 대부분의 학생들은 기존의 지필검사에서 얻지 못하는 평가결과 정보의 즉각적 제시, 틀린 문항에 대한 구체적 정보, 자신이 성취도에 대한 통계적인 정보 등을 알 수 있는 것을 CBT 시스템의 장점으로 인식하고 있었다.

c. 직관적인 인터페이스 구성

본 연구에서 개발된 LMS와 CBT 시스템은 기존에 학생들이 오프라인에서 사용해오던 수첩이나 시험지와 비슷하게 구성되어 있어서 학생들이 친숙하게 인식하는 것을 알 수 있었다. 그리고 시스템의 기능을 실행하는 인터페이스가 오프라인에서의 친숙한 이미지와 형태를 적용하고 있어서 직관적으로 쉽게 사용하도록 구성되어 있다고 학생들이 답변하였다. 구체적으로 LMS의 경우는 주간 시간표나 달력과 비슷한 형태로 이루어져 있고, 학습자료, 수업평가, 출석 등의 다양한 정보에 대해서 직관적인 아이콘을 사용하여 연결되어 있어서 학생들이 편리하다고 인식함을 알 수 있었다. 또한 CBT 시스템의 경우는 일반적으로 온라인 평가에서 사용되는 단문항 형태의 제시방법이 아니라, 지필 시험지와 동일한 형태로 문항을 제시하고 마우스로 직접 선택하여 표기하는 방식으로 되어 있어 학생들이 직관적으로 사용할 수 있었다고 답변하였다.

3) 시스템의 개선점

현 시스템의 개선점에 대해 학생들을 대상으로 조사한 결과, 다음과 같은 내용을 다수의 학생들이 문제로 인식하고 시스템의 개선점으로 제시하고 있었다(Table 3).

Students Perceptions of System’s Drawbacks

a. 시스템의 불안정성

시스템의 사용성에 대한 설문조사 결과(Table 1)에서도 나타났듯이 다수의 학생들은 현재 개발된 LMS와 CBT 시스템의 불안정성을 개선점으로 제시하였다. CBT의 경우는 평가가 시작되었을 때 로딩이 지연되거나 과부하로 인하여 성적 산출이 지연되는 등의 불안정성이 개선점으로 제시되었다. 그리고 LMS도 웹 페이지 연결이나 기능상의 잦은 오류, 출석 정보의 연동이 지연되거나 정확하게 이루어지지 않는 것 등을 개선점을 제시하였다. 이러한 문제점들을 개선하기 위하여 서버를 확충하고 시스템을 업데이트 하는 등 안정성을 확보하기 위한 노력이 필요하다고 학생들이 답변하였다.

b. 사용자 조절 기능 제한

학생들은 현재의 e-러닝 시스템에서 제공하는 기능들 이외에 사용자가 조절할 수 있는 더 다양한 기능들이 필요하다고 제시하였다. 구체적으로 북마크와 메모와 같이 학생이 웹 페이지에 기록을 하고 저장을 할 수 있는 기능을 요구했으며, 화면 레이아웃이나 이동을 원하는 대로 변경하고 조정할 수 있는 기능이 필요하다고 답변하였다. 또한 로그아웃이 되는 시간을 조정하거나 옵션을 추가하는 등과 같이 현재 설정된 기능들을 학생들이 자유롭게 선택하여 변경할 수 있도록 하는 것을 개선점으로 제시하였다.

c. 스크린 디자인의 가독성 문제

다수의 학생들이 스크린 디자인 측면에서 가독성이 떨어져서 사용하기 불편하다는 문제점을 제시하였다. 특히, CBT의 경우는 한 시간 이상 집중적으로 스크린 화면을 보면서 문제를 풀어야 하기 때문에 눈이 쉽게 피로하고 지친다고 언급한 학생들이 있었으며, 마우스를 이용하여 자주 스크롤을 하거나 클릭을 해야 하는 것이 번거로우며 글자의 크기나 색상이 획일적이고 이미지의 해상도가 낮은 문제점으로 인해 정보를 인식하는 가독성이 떨어진다는 문제점을 지적하였다. 또한 LMS의 경우도 두 번 이상 클릭을 해서 들어가야 구체적인 정보를 보거나 다운로드를 할 수 있도록 되어 있는 것이 불편하고, 글자 크기가 너무 작고 중요한 정보가 눈에 잘 띄지 않는 스크린 디자인이 개선되어야 한다고 언급하였다.

d. 다양한 기기에서의 활용 제한

현재의 e-러닝 시스템은 OS에 따라 인터페이스가 잘 적용되지 않는 문제점이 있고 스마트폰에서 정보를 확인할 수 없는 것이 불편하다고 학생들이 언급하였다. 그리고 CBT는 마우스를 사용해야 하는 기존의 PC 환경보다는 직접 입력과 선택이 편리한 태블릿 PC에서 사용할 수 있도록 하는 것을 선호하였다. 또한 LMS의 다양한 기능들이 스마트 디바이스에서 가능하도록 시스템이 개발되면 좋겠다는 것을 여러 학생들이 개선점으로 제안하였다.

고찰

본 연구에서는 의학교육을 효과적으로 지원해줄 수 있는 e-러닝 시스템으로 LMS와 CBT 시스템을 구축하였고, 학생들을 대상으로 평가를 시행하여 시스템의 사용성, 장점과 개선점에 대해 조사하였다. 결론적으로, 의학교육 환경에서 학생들은 LMS 시스템을 통해 수업에 대한 여러 정보를 한 눈에 확인할 수 있는 것과 CBT를 통해 시험을 치룬 후에 즉각적으로 평가 결과와 자세한 피드백을 확인할 수 있는 기능을 제공하는 것을 가장 큰 장점으로 인식하는 것을 알 수 있었다. 그리고 기존에 학생들이 오프라인에서 사용해오던 형태와 비슷하게 시스템 인터페이스가 구성되어 있어서 학생들이 친숙하게 인식하고 쉽게 사용할 수 있는 것을 장점으로 인식하였다. 개선점으로는 시스템의 불안정성, 사용자 조절 기능이 부족한 것을 가장 많은 학생들이 개선이 필요한 점으로 지적하였고, 스크린 디자인 측면에서 가독성이 떨어져서 사용하기 불편한 점과 스마트폰에서 정보를 확인할 수 없는 것 등을 앞으로의 개선점으로 제시하고 있었다.

이러한 연구 결과를 토대로 하여 향후 의과대학에서 e-러닝 지원을 위한 LMS와 CBT 시스템을 구축하고 활용할 때에 고려할 점을 다음과 같이 제시할 수 있다.

첫째, e-러닝 시스템의 안정성을 확보하는 것이 무엇보다 중요하다. 본 연구에서 의과대학 학생들은 LMS와 CBT를 활용하는 과정에서 시스템의 안정성 확보를 중요하게 인식하고 있었다. 이것은 의학교육 환경에서 테크놀로지를 사용하다가 오류가 발생하여 자신이 불이익을 당하거나 손해를 볼 수 있다는 학생들의 불안감[16]이 반영된 것이라고 할 수 있다. 본 연구 결과에서는 시스템의 안정성에 대해 학생들의 만족도가 높지 않았고, 시작할 때의 로딩 속도 개선, 중간에 화면이 멈추거나 인식이 되지 않는 등의 오류가 발생되지 않도록 시스템을 개선해야 한다고 학생들이 제안하였다. 따라서 e-러닝 시스템에 대해 학생들이 불안감을 느끼지 않고 신뢰를 가질 수 있게 하고 교수․학습 과정에서 활성화되도록 하기 위해서는 오류가 발생되지 않도록 시스템의 안정성을 최우선으로 확보하는 것이 필요할 것이다.

둘째, 의학교육에서 학생들이 편리하게 시스템을 조작하고 기능을 조절할 수 있는 다양한 사용자 조절 기능이 구현되어야 한다. Chumley-Jones et al. [16]의 연구에서도 의과대학 학생들에게 e-러닝을 활용하기 위해서는 사용자 중심의 인터페이스 디자인이 중요하다고 제시하였다. 즉, 학습자의 다양한 요구에 맞추어 인터페이스가 설계되고 사용자가 조절할 수 있는 여러 옵션을 제공하게 되면 더 많은 학습자의 만족도를 높일 수 있을 것이다. 본 연구의 결과, 다수의 학생들이 응답한 내용은 학생들이 편리하게 사용할 수 있도록 하는 다양한 조절 기능을 구현하는 것이었다. 즉, 오프라인의 학습이나 평가 과정에서와 같이 메모를 하거나 표시를 하는 기능들을 웹 화면상에서도 쉽게 사용할 수 있도록 구현하는 것이 필요하다. 또한 제한된 스크린 화면에서 이동이 자유롭고 편리해야 하고, 여러 기능들을 학습자의 요구에 맞추어 배치, 사용 여부, 선호기능 등을 조절할 수 있도록 하는 것이 필요할 것이다.

셋째, 웹 화면의 가독성을 높이도록 화면 설계가 이루어져야 한다. 제한된 컴퓨터 스크린 화면에 제시되는 정보의 형태 및 크기, 아이콘, 레이아웃 등에 의해 학습자가 인식하는 가독성이 영향을 받게 된다. 본 연구 결과, 몇몇 학생들은 컴퓨터 스크린을 장시간 쳐다봄으로써 오프라인에서보다 눈이 더 피로하고 집중력이 떨어진다는 의견을 제기하였다. Park et al. [10]의 연구에서도 의학교육 현장에서 CBT를 실시하고 난 후에 설문조사를 시행한 결과, 컴퓨터 스크린으로 인해 학생들의 집중력이 떨어진다고 보고하였다. 이러한 결과들을 통해서 볼 때, e-러닝 시스템에서 정보를 제시할 때에는 학생들이 내용에 집중할 수 있도록 가독성을 높이는 노력을 해야 할 것이다. 구체적으로 가독성이 높은 형태와 크기, 색상 등을 사용해야 할 것이며, 제한된 화면에 집중할 수 있도록 일관적인 레이아웃을 사용하고 가능한 한 스크롤의 사용을 최소화하여야 할 것이다. 또한 눈의 피로를 줄일 수 있는 화면 색상 사용과 평가 시 추가적인 스크린 장치 등을 사용하는 것도 고려해 볼 수 있다.

넷째, e-러닝 시스템이 다양한 스마트 기기에서도 활용될 수 있도록 개발되어야 한다. 최근 다양한 테크놀로지 환경이 발전되면서 e-러닝을 넘어서 유비쿼터스 러닝(ubiquitous learning)과 스마트 러닝(smart learning) 등 새로운 형태의 교육방법이 출현하게 되었다. 기존의 컴퓨터와 달리 스마트 기기들은 디지털 컨버전스(digital convergence) 경향에 따라 복합 및 융합형 기기의 등장이 더욱 확대되었고, 하나의 교수학습 자원이 다양한 형태로 활용될 수 있는 장점을 가지게 되었다[17]. 이러한 교육 흐름에 맞추어 앞으로 의학교육에서도 최근의 스마트폰, 태블릿 PC 등의 스마트 미디어에서 활용될 수 있도록 시스템이 개발되어야 할 것이고, 최신 테크놀로지의 장점을 활용하여 의학교육의 효과성을 더욱 확대시킬 수 있도록 해야 할 것이다.

본 연구는 의과대학에서 e-러닝 시스템 구축 및 활용의 실제적 개선 방안을 제안하였으며, 이것은 향후 의학교육의 질 제고를 위한 e-러닝 정책 수립에 기여할 것으로 본다. 그러나 본 연구는 소수 학생들의 설문조사 결과만을 토대로 방안을 도출하였다는 한계점을 가지고 있으며, 교수 및 전문가들을 대상으로 시스템을 조사하고 분석한 자료를 토대로 연구 결과를 재검토하는 삼각검증(triangulation) 과정이 미비하였다. 이러한 점을 보완하여 추후연구가 이루어진다면 본 연구 결과를 더 정교하게 뒷받침할 수 있을 것으로 보인다. 그리고 본 연구는 한 대학의 사례를 중심으로 연구를 수행하였지만 향후 여러 의과대학을 대상으로 관련 연구가 이루어진다면 연구 결과를 해석하는 데 의미 있는 기여를 할 수 있을 것이다.

References

1. Larvin M. E-learning in surgical education and training. ANZ J Surg 2009;79:133–137.
2. Ruiz JG, Mintzer MJ, Leipzig RM. The impact of e-learning in medical education. Acad Med 2006;81:207–212.
3. Park JH, Son JY, Yoo NJ, Kim S. A review on usage and effectiveness of e-learning in medical education. Korean J Med Educ 2010;22:91–100.
4. Kee C, Hong KP. Perspective of e-learning in medical education. Korean J Med Educ 2006;18:221–224.
5. Driscoll M. Blended learning: let's get beyond the hype. E-learning 2002;3:54–56.
6. Mantyla K. American Society for Training and Development. Blending e-learning: the power is in the mix. Alexandria, USA: American Society for Training and Development; 2001.
7. Kim MY. A study of the prescribed blended learning design model for university class application [dissertation]. Daejeon, Korea: Chungnam National University; 2006.
8. Childs S, Blenkinsopp E, Hall A, Walton G. Effective e-learning for health professionals and students: barriers and their solutions. A systematic review of the literature: findings from the HeXL project. Health Info Libr J 2005;22(Suppl 2):20–32.
9. Lau F, Bates J. A review of e-learning practices for undergraduate medical education. J Med Syst 2004;28:71–87.
10. Park JW, Jang LC, Choi JW, Lee SJ. The experience of web-based test in medical education. Korean J Med Educ 2006;18:183–192.
11. Im EJ, Lee WK, Lee YC, Choe BH, Chung SK, Lee TH, Cho H, Sohn JH, Won DI, Kong HH, Chang BH, Lee JM. Development of computer-based test (CBT) and student recognition survey on CBT. Korean J Med Educ 2008;20:145–154.
12. Beck EE. Learning management systems: the need for critical analyses. Paper presented at: the 4th Decennial Aarhus Conference; 2005 August 20-24; New York, USA.
13. Kim MR. Problem and learner analysis on cyber instruction with cyber educational platform called ‘eStudy anytime’. J Educ Inf Media 2000;6:71–93.
14. Lee HJ, Choi HS. Development of LMS templates to motivate professors' use of an e-learning system. J Educ Technol 2008;24:153–180.
15. Reeves TC, Harmon SW. Systematic evaluation procedures for interactive multimedia for education and training. In : Reisman S, ed. Multimedia computing:preparing for the 21st century Harrisburg, USA: Idea Group Pub; 1994;:472–505.
16. Chumley-Jones HS, Dobbie A, Alford CL. Web-based learning: sound educational method or hype? A review of the evaluation literature. Acad Med 2002;77(10 Suppl):S86–S93.
17. Lim K. Research on developing instructional design models for enhancing smart learning. J Korean Assoc Comput Educ 2011;14:33–45.

Article information Continued

Funding : Funding: This study has done by the financial support of the Catholic Medical Center Research Foundation made in the program year of 2011.
Funding : This study has done by the financial support of the National Research Foundation of Korea in the year of 2009.

Fig. 1.

System Design and Construction

LMS: Learning management system, CBT: Computer-based test.

Fig. 2.

Screen Example of Class Management System

Fig. 3.

Screen Example of Class Evaluation System

Fig. 4.

Screen Example of Class Attendance System

Fig. 5.

Screen Example of Test Scoring

Fig. 6.

Screen Example of Test Feedback

Fig. 7.

Screen Example of Authoring Tool System

Table 1.

Survey Results of Usability Satisfaction (n=219)

Item Satisfaction level (M)

LMS CBT
Usage 3.02 3.32
Navigation 3.06 3.34
Cognitive load 3.16 3.33
Screen design 3.15 3.30
User control 3.06 3.33
Stability 2.90 3.02
Aesthetic 3.14 3.09
Interface 3.15 3.32
General functionality 3.06 3.25
Total 3.08 3.26

M: Mean, LMS: Learning management system, CBT: Computer-based test.

Table 2.

Students Perceptions of System’s Strengths

Item Respondents (n=219) (multiple responses)

No. %
Quick and easy access to learning materials 61 27.9
Providing test feedback to students immediately 49 22.4
Organizing intuitive user interfaces of system 27 12.3
Others (e.g., various functions, user control, easy-to-use) 18 8.2

Table 3.

Students Perceptions of System’s Drawbacks

Item Respondents (n=219) (multiple responses)

No. %
System instability 66 30.1
Limited user controls 52 23.7
Low readability of screen design features 36 16.4
Compatibility with only limited devices 21 9.6
Others (e.g., low flexibility, delayed update) 14 6.4