Abstract
-
Purpose:
The purpose of this study was to determine whether the multiple mini-interview (MMI) predicts academic achievement for subjects in a medical school curriculum.
-
Methods:
Of 49 students who were admitted in 2008, 46 students finished the entire medical education curriculum within 4 years. We calculated the Pearson correlation coefficients between the total MMI score of the 46 graduates and their academic achievements in all subjects of the curriculum.
-
Results:
The correlation coefficients between total MMI score and academic achievement in Medical Interview and History Taking, Problem-Based Learning, Doctoring I, and Clinical Practice of Surgery ranged from 0.4 to 0.7, indicating that they were moderately related. The values between total MMI score and achievement in Research Overview, Technical and Procedural Skills, Clinical Performance Examinations 1 and 3, Clinical Practice of Laboratory Medicine and Psychiatry, Neurology, and Orthopedics ranged from 0.2 to 0.4, which meant that they were weakly related.
-
Conclusion:
MMI score can predict medical student’ academic achievement in subjects in the medical humanities and clinical practice.
-
Key Words: Multiple mini-interview, Academic achievement, Medical schools
서론
의과대학이나 의학전문대학원에 입학한 학생들은 의사국가고시를 통해서 거의 대부분이 의사가 된다. 사회에서 요구하는 능력을 갖추고 윤리적인 의사를 양성해야 하는 의무가 있는 대학으로서 해야 할 일 중의 하나가 학습으로도 변하지 않는 성향을 가진 불명예스러운 전문인이 될 가능성이 있는 학생을 선발하지 않는 것이다. 이런 점을 평가하기 위해 신입생 선발 과정에서 면접을 시행하고 있지만, 짧은 시간에 객관적이면서 다양한 면을 평가하기는 어렵다. 그래서 최근 선발면접 방법으로 multiple mini-interview (MMI)에 대한 관심이 높아지고 있다. 지금까지 몇몇 국내 연구들은 입학전형요소와 일부의 교육과정에 대한 학업성취도와의 관계를 발표하였다[
1,
2]. 이 중 인성부분에 해당하는 면접 요소는 학업성취도와의 연관성이 떨어진다고 하였고, 국외 연구에서는 임상실습 수행능력과 연관성이 높다고도 하였다[
1,
3]. 최근 서울대학교 보고에서는 MMI 점수가 높은 학생들이 의예과 과정의 학업성취도가 높다고 하였다[
4]. 그러나, 이제까지 MMI와 4년 전 교육과정 커리큘럼의 학업성취도와의 연관성을 본 연구는 없었다. 본 연구자들의 대학에서는 2008년도에 의과대학에서 의학전문대학원으로 전환하면서 학생 선발 면접방법으로 MMI를 채택하여 진행하였고, 2012년 2월에 의학전문대학원 첫 졸업생을 배출하였다. 새로 도입한 입학전형요소인 MMI의 유용성을 평가하기 위해서 MMI요소가 의학교육 전 과정의 학업성취도와 어떤 연관성이 있는지를 알아보고자 하였다.
대상 및 방법
1. 대상
새로 도입된 MMI로 선발되어 2008년 3월에 입학한 의학전문대학원 신입생은 총 49명이었다. 이들은 MMI와 의학교육입문검사 점수(medical educational eligibility test, MEET), 학사과정성적(undergraduate grade point average, uGPA), 공인영어성적에 대해서 평가를 받고 선발되었다. 이 중 2012년 2월에 4년 과정을 마치고 졸업한 46명(남자 23명, 여자 23명)을 대상으로 하였다. 중도 탈락한 3명 중 2명은 MD PhD과정으로 현재 계속 수학 중이고, 나머지 1명은 유급으로 추후에 졸업하여 분석 대상자에서 제외하였다. 분석 대상자의 입학 당시 평균 연령은 남학생은 28세, 여학생은 26.7세였고, 학부 전공은 인문학 전공자가 11% (5명), 이공계 전공자가 89% (41명)였다.
2. MMI
강원대학교 의학전문대학원에서 시행한 MMI는 직업선택 동기, 가치관과 태도, 의사소통과 대인관계의 3개 영역을 평가하였으며, 면접방은 2방 복제해서 동시에 6개의 방에서 면접이 진행되었고, 각 방마다 2명의 교수가 면접관으로 참여하였다. 면접관들은 면접 전 모의면접을 통해서 면접방법에 익숙해지고, 채점 기준을 표준화하였다. 면접방법은 2009년 의학교육학술지에 자세히 기술하였다[
5]. 이 때 시행한 학생 MMI의 신뢰도(generalizability coefficient)는 0.791였고, 분산성분으로 계산한 시험관의 일치도는 0.634였다.
4년간 학생들이 이수하는 교과목은 총 70개이다. 교과목의 구성은 교과 과정에 따라서 11개의 기초의학(basic medical sciences), 19개의 기초-임상 통합교육(integrated medicine), 29개의 임상교육(clinical medicine), 8개의 인문사회의학(medical humanities and social sciences), 3개의 임상수기의학(basic clinical procedures)으로 구성되어 있다. 학업성취도의 기준을 이수한 각 교과목의 점수 및 각 1년간의 전체 평점으로 정의하였다.
기초의학이나 기초-임상 통합교육, 임상교육, 임상수기의학은 많은 대학과 유사하게 운영되는데, 강의식 교육이 주로 이루어지며, 필기 형태의 평가를 한다. 그러나 임상교육의 경우 필기시험 외에 다양한 평가를 하도록 유도하고 있고, 3학기에 걸쳐서 임상수행훈련(clinical performance examination, CPX)으로 총괄평가를 시행하고 있다. 특히, ‘외과학실습’은 우리 대학의 임상교육의 운영 기준을 제시한 과목으로 지식 평가 외에 포트폴리오 도입, 다양한 수기에 대한 체크리스트 피드백에서 태도 측면 평가 등을 능동적으로 시행하고 있다. 인문사회의학과정은 강의식 교육과 토론이나 표준화 환자를 이용한 교육 등을 운영하고 있다. 이 중 ‘의사입문 I(Doctoring I)’은 의료 윤리 바탕 하에 갈등 상황을 판단하게 하고, 면담과 행동 방침을 결정하도록 훈련하는데 토론과 표준화 환자를 이용하는 수업으로 수업에 임하는 태도와 출석, CPX를 통해서 평가를 한다.
4. 통계분석
통계는 SPSS version 20.0K (SPSS Inc., Chicago, USA)를 이용하여 분석하였다. 입학 전형으로 이용된 모든 성적과 입학 후 학생이 획득한 전 교과목 성적과의 연관성을 분석하기 위해 Pearson의 상관계수(Pearson r)를 구하였다. 또한, 1학년부터 4학년까지 MMI 총점과는 Mantel-Haenszel test로 검정하여 경향을 분석하였다. 통계적 유의성은 p값이 0.05 이하일 때 의미가 있는 것으로 판정하였다. 분석 결과에서 상관계수가 0에서 0.2 사이에 있으면 관련 없음, 0.2에서 0.4 사이에 있으면 약한 관계, 0.4에서 0.7 사이이면 보통관계, 0.7 이상이면 강한 관계로 해석하였다.
결과
1. 입학 전형 평가 요소와 학업성취도
입학전형요소인 MEET와 4년 교육과정 학업성취도에서 의미있는 상관관계는 없었다(
Table 1). 또한, 공인영어성적과 uGPA도 각각 1개 와 3개 과목을 제외하고는 4년간의 학업성취도에서 상관관계가 없었다. 이에 반해서, MMI 총점과 4년간의 학업성취도의 상관관계는 인문사회의학과정 2개의 교과목과 ‘외과학실습’ 교과목(r=0.478, p=0.001), 신경외과 선택실습과목(r=0.478, p=0.001)에서 Pearson 상관계수 0.4~0.7의 보통 관계의 연관성을 보였고, 임상수기 교육과정에 해당하는 1개의 교과목, 임상실기시험 및 필수 임상실습교과목 5개, 통합교과목 중 ‘문제바탕학습’과 ‘연구 입문’과는 0.2~0.4의 약한 상관관계를 보였다(
Table 1). 학년별 전체 평점과 MMI 총점은 1, 2학년에서는 상관관계가 없었고, Mantel-Haenszel test에서도 각각 통계적 유의성은 없었다(p=0.178, p=0.079). 그러나 3, 4학년은 약한 상관관계를 보였고, Mantel-Haenszel test에서도 각각 통계적으로 유의하여 MMI 총점이 높을수록 학점이 높은 경향을 보였다(p=0.042, p=0.046).
2007년 시행한 MMI는 총 3개의 영역을 평가하였는데, 각 영역의 점수와 4년간의 학업성취도를 분석하였을 때 직업선택 동기 영역이나 가치관과 태도 영역보다 의사소통과 대인관계 영역 점수가 여러 교과목의 학업성취도와 0.2~0.7의 연관관계를 보였다(
Table 2).
특히 1학년부터 4학년까지 학년별 과목 총점과 의사소통 영역은 모두 통계적으로 의미 있는 상관관계를 보였다(1학년, r=0.379, p=0.007; 2학년, r=0.421, p=0.003; 3학년, r=0.437, p=0.002; 4학년, r=0.473, p=0.001).
인문사회의학과정인 ‘의사입문 I’은 MMI의 3가지 영역, 즉 직업선택 동기와 r값은 0.349 (p=0.015), 가치관과 태도와 r값은 0.320 (p=0.027), 의사소통과 대인관계와 r값은 0.447(p=0.001)로 모두 0.3~0.5의 약한 상관관계를 보였다.
필수 전공과목으로 강의식 교육이 이루어지는 교과목의 학업성취도는 직업선택 동기와 음의 상관관계를 보이는데, 이 중 ‘심장통합과목’(r=-0.297, p=0.04)이나 ‘해부병리 실습’(r=-0.437, p=0.042), ‘임상종합평가III’(r=-0.370, p=0.011)에 대해서는 통계적으로 유의한 음의 상관관계를 보였다.
고찰
본 연구에서는 입학전형요소 중 MMI가 4년간의 교육과정을 마친 학생들의 학업성취도와 어떤 연관성이 있는지 조사하여 MMI의 유용성을 보고자 하였다. 결과를 종합해 보면 MMI 총점이 인문사회의학 과정 일부 과목의 학업성취도와 보통 상관관계를 보이고 임상수기교육과 필수 임상실습과목에 대한 학업성취도와는 약한 상관관계를 보였다. MMI 평가영역 중 의사소통과 대인관계 영역이 전 교육과정 교과목의 학업성취도와 0.2~0.7까지 상관관계를 보였다. 즉, MMI가 4년간의 학업성취도 중 인문사회의학과정 일부를 간접적으로 예측할 수 있고, MMI 중 특히 의사소통과 대인관계 평가 영역이 인문사회의학과정 이외에도 4년간의 학업 성취도를 가장 많이 예측할 수 있는 인자였다.
입학전형요소로 면접은 개인의 인성적 특성이나 가치관, 진로지향에 대해서 평가하기 위해 필요한 요소이지만, 다른 입학전형요소에 비해 객관적이지 못해 측정인자로서 생각할 수 없다는 단점을 가지고 있다. McMaster대학은 기존 심층면접의 단점을 보완하여 비인지적 측면을 일관되고 객관적인 측정인자로 평가할 수 있는 방법으로 MMI를 제안하였다[
6]. 이후 여러 연구를 통해서 MMI의 타당도와 신뢰도를 발표하였고[
7,
8], 국내에서는 Roh et al. [
5]이 처음으로2007년에 시행한 MMI의 신뢰도와 일치도를 발표하였다. 이 연구에서 MMI는 다른 입학전형요소와 상관관계가 없어서 비인지적 측면을 반영하고 있다고 하였다. 또한, MMI 점수로 임상실습의 수행능력을 예측할 수 있다는 Reiter et al. [
3]의 연구 등을 통해 볼 때 입학전형시험(MEET, Medical College Admission Test [MCAT])이나 학사과정성적이 객관적으로 분석하는 인자로 사용되는 것처럼 비인지적 요소인 MMI가 입학전형요소의 하나로 비교 분석하는 데 사용될 수 있다고 하겠다.
지금까지 몇몇 국내 연구들은 입학전형요소와 기초교육과정이나 임상실습 전 교육과정의 학업성취도를 분석하여 보고하였는데, MEET와 uGPA가 기초교육과정이나 임상실습 전교육과정의 학업성취도의 예측인자임을 보고하였다[
1,
2]. 또한, 국외의 연구에서도 입학전형요소 중 우리나라의 MEET와 같은 의과대학 입학시험인 MCAT의 예측 타당도가 0.32~0.61이었고, uGPA가 입학 후 학업성취도나 추후 의사면허시험의 결과를 예측하는 데 0.26~0.40으로 보고하였다[
9].
그러나 본 연구에서는 위 연구들과 다른 결과를 보였는데, 입학전형요소 중 MEET나 uGPA와 같은 인지적 영역이 우리대학의 4년 교육과정의 학업성취도와는 상관관계가 없었다. 이런 결과의 이유는 우리 대학의 입학전형의 특성이 반영되었다고 생각된다. 즉, 의학전문대학원의 입시 과정이 ‘가’군과 ‘나’군으로 학교들을 구분하고, MEET 성적에 따라서 학생들이 학교를 선택하기 때문에 우리 대학에 들어온 학생들은 MEET 성적에 따른 점수 분포의 편차가 거의 없어서 학업성취도를 예측하지 못하는 결과가 나타났다고 보인다. 이렇듯 비슷한 학업능력이 있다고 평가될 경우 비인지적 측면이 학업성취에 영향을 미치며, 이런 특성을 잘 반영하는 인자가 MMI일 것이다. 2014년 Kim et al. [
4]이 발표한 MMI 선발학생들의 의예과 과정의 학업성취도를 평가한 연구에서 보면 학점에 따른 학업성취도나 다양한 과목 수강 수에 따른 학업성취도에서 MMI 선출군이 높았다고 한 점도 같은 맥락으로 보인다.
비인지적 요소와 학업성취도에 대한 연구들에서는 면접점수가 일부 교육과정의 학업성취도와 연관성이 없거나 역의 상관관계를 보인다고 했다[
1,
10,
11,
12]. 그러나, 본 연구에서는 MMI가 일부 과목의 학업성취도와 통계적으로 유의한 상관관계를 보였는데, 특히, 인문사회의학과목인 ‘의사입문 I’에서 통계적으로 유의한 상관관계(r=0.628, p<0.001)를 보였다. 또한, MMI의 세 가지 평가 영역과 ‘의사입문 I’ 학업성취도가 모두 통계적으로 유의하게 상관관계를 보였다(
Table 2). MMI 총점과 각 평가 영역과의 상관관계가 유의 있게 나온 과목이 인문사회의학과목인 점은 큰 의미가 있다고 생각된다. 일반적으로 면접 관련 영역이 인지적 영역인 의학관련 과목보다는 대인관계, 공감, 동정심 등의 비인지적 영역을 포함하는 다른 임상수행 성취능력을 더 잘 예측할 것으로 추측하는데, 이 부분을 객관적으로 증명하고 있다고 볼 수 있기 때문이다.
MMI의 구성 평가 영역에 따른 학업성취도의 차이를 보았을 때 가치관과 태도 영역은 의료 윤리를 처음 접하게 되는 ‘의사입문 I’에서 약한 상관관계를, 임상수기과목인 ‘과정기술’과 임상실습과목인 ‘외과학실습’에서 보통의 상관관계를 보이며, 직업선택 영역은 ‘의사입문 I’과 ‘연구입문’ 과목에서 약한 상관관계를 보였다. 이 영역들에서 교과목의 일부는 음의 상관관계를 보이고 있는데, 이런 이유는 학생들이 자발적으로 과목을 선택하는 것이 아닌 의무적으로 규정된 학점 이수를 해야 하는 과목들이기 때문이거나 이런 과목의 평가 영역이 2개의 항목과는 상관없는 부분을 평가하고 있기 때문일 것 같다. 이에 반해 의사소통과 대인관계 영역은 기초의학교육, 기초-임상통합, 임상수기교육, 임상실습, 인문사회의학교육 등 많은 과목들의 학업성취도를 예측하였고, 모든 학년별 총점과 0.3~0.4의 상관관계를 보였다(
Table 2). 이 결과를 통해서 MMI의 각각의 영역 점수는 평가하고자 하는 측면에 따라서 학업성취도를 예측해 볼 수 있으며, 의사소통 관련 영역은 학습 영역에서 요구되는 역량으로 생각해 볼 수 있다.
그러나, 학업성취도를 보는 데 학생들의 여러 가지 측면, 즉 연령이나 성별, 학위 수준 등을 함께 평가하는 것이 중요하지만, 본 연구가 단순 상관관계를 보았다는 점에서 다양한 분석을 하지 못한 한계를 보인다. 또한, 본 연구의 MMI가 3가지 평가 영역과 짧은 시간(30분/1명) 동안 시행되었기 때문에 학업성취도 상관계수가 더 낮게 측정되었을 수 있다.
그러나, 우리나라에 MMI가 최근에 도입되어 시행한 경험이 많지 않은 점에서 본 연구 결과는 앞으로 입학면접요소를 구성하는 데 도움을 줄 것으로 보인다. 또한, 한 학년의 4년 과정 학업성취도와의 연관성만을 분석하였기 때문에 향후 이후 입학생에게서도 지속적으로 이런 경향이 유지되는지 관찰할 필요가 있으며, 졸업 후 임상현장에서 의사 활동의 역량과의 어떤 관련성을 보이는지 연구해 보는 것도 필요하다고 하겠다.
Table 1.Correlations between Admissions Tools and Partial Academic Achievement in Medical Courses for 4 Years
Table 1.
|
MMI total score |
MEET |
uGPAs |
Authorized English tests |
|
BMS |
|
Biochemistry |
0.118 |
-0.115 |
0.325a)
|
0.267 |
|
Research overview |
0.372a)
|
0.038 |
-0.124 |
-0.145 |
|
Integrated medicine |
|
PBL |
0.408a)
|
0.260 |
-0.163 |
-0.118 |
|
Psychiatry |
0.047 |
-0.088 |
0.303a)
|
0.114 |
|
Endocrinology |
0.190 |
-0.082 |
0.339a)
|
0.212 |
|
Basic clinical procedure |
|
TPS |
0.340a)
|
0.197 |
-0.046 |
-0.198 |
|
Clerkship |
|
General surgery |
0.478a)
|
0.149 |
-0.047 |
0.015 |
|
Laboratory medicine |
0.306a)
|
-0.035 |
0.231 |
0.150 |
|
Psychiatry |
0.391a)
|
0.132 |
0.033 |
-0.086 |
|
Neurology |
0.392a)
|
-0.028 |
0.005 |
0.111 |
|
Orthopedics |
0.293a)
|
0.066 |
0.067 |
-0.056 |
|
Otorhinolaryngology |
0.055 |
-0.393 |
0.183 |
0.387a)
|
|
Neurosurgery |
0.745a)
|
-0.324 |
0.276 |
0.340 |
|
CPX I |
0.292a)
|
-0.073 |
-0.038 |
0.200 |
|
CPX III |
0.352a)
|
0.124 |
-0.050 |
-0.166 |
|
MHSS |
|
MIHT |
0.404a)
|
0.063 |
0.102 |
-0.008 |
|
Doctoring I |
0.628a)
|
-0.142 |
0.128 |
0.092 |
|
Year total achievement |
|
Grade 1 |
0.194b)
|
-0.024 |
0.198 |
0.117 |
|
Grade 2 |
0.256b)
|
-0.023 |
0.170 |
0.061 |
|
Grade 3 |
0.303a,c)
|
-0.055 |
0.049 |
0.129 |
|
Grade 4 |
0.297a,c)
|
0.048 |
0.053 |
-0.110 |
Table 2.Correlations between Multiple Mini-Interview Domains and Partial Academic Achievement in Medical Courses for 4 Years
Table 2.
|
Motivation to become a doctor |
Ethical decision-making |
Communication and interpersonal skills |
|
BMS |
|
Research overview |
0.331a)
|
0.278 |
0.089 |
|
Histology |
-0.088 |
0.111 |
0.304a)
|
|
Biochemistry |
-0.028 |
-0.112 |
0.305a)
|
|
Microbiology |
-0.098 |
-0.185 |
0.326a)
|
|
Pathology |
-0.131 |
0.024 |
0.295a)
|
|
Immunology |
-0.217 |
-0.024 |
0.370a)
|
|
Embryology |
-0.093 |
-0.122 |
0.392a)
|
|
Integrated medicine |
|
PBL |
0.172 |
0.162 |
0.371a)
|
|
Basic neurology |
0.019 |
-0.025 |
0.315a)
|
|
Cardiology |
-0.297a)
|
-0.135 |
0.318a)
|
|
Hemato-oncology |
-0.262 |
-0.093 |
0.321a)
|
|
Growth and development |
-0.261 |
0.002 |
0.323a)
|
|
Clinical immunology |
-0.182 |
-0.046 |
0.309a)
|
|
DI |
-0.186 |
-0.116 |
0.290a)
|
|
Endocrinology |
-0.026 |
0.023 |
0.299a)
|
|
Nephrology |
-0.039 |
-0.050 |
0.384a)
|
|
Basic clinical procedure |
|
TPS |
0.091 |
0.409a)
|
0.109 |
|
Clerkship |
|
Internal medicine |
-0.222 |
0.012 |
0.361a)
|
|
General surgery |
0.224 |
0.429a)
|
0.228 |
|
Laboratory medicine |
0.192 |
-0.103 |
0.441a)
|
|
Psychiatry |
0.209 |
0.093 |
0.394a)
|
|
Neurology |
0.179 |
-0.046 |
0.540a)
|
|
Radiology |
-0.171 |
-0.197 |
0.293a)
|
|
RM |
-0.117 |
-0.109 |
0.292a)
|
|
Pathology |
-0.437a)
|
-0.113 |
0.468a)
|
|
CPX III |
-0.004 |
0.209 |
0.390a)
|
|
CCA III |
-0.370a)
|
-0.061 |
0.359a)
|
|
MHSS |
|
Behavior science |
0.091 |
-0.095 |
0.395a)
|
|
MIHT |
0.027 |
0.116 |
0.512a)
|
|
Doctoring I |
0.349a)
|
0.320a)
|
0.447a)
|
|
Year total achievement |
|
Grade 1 |
-0.103 |
0.005 |
0.379a)
|
|
Grade 2 |
-0.119 |
0.080 |
0.421a)
|
|
Grade 3 |
-0.060 |
0.114 |
0.437a)
|
|
Grade 4 |
-0.114 |
0.108 |
0.473a)
|
REFERENCES
- 1. Park KH, Hong DH, Oh JH, Park YB, Shin DJ, Lee YD. The analysis of academic achievements of students at Gachon Medical School. Korean J Med Educ. 2006;18:289-296.
- 2. Lee SJ, Choi W, Kim SY, Choi JW. Correlation of academic achievements with cognitive admission variables and demographics at Chungbuk National University Graduate Medical School. Korean J Med Educ. 2009;21:59-66.
- 3. Reiter HI, Eva KW, Rosenfeld J, Norman GR. Multiple mini-interviews predict clerkship and licensing examination performance. Med Educ. 2007;41:378-384.
- 4. Kim DH, Hwang J, Kim EJ, Yoon HB, Shin JS, Lee S. How different are premedical freshman who enter after introducing a multiple mini-interview in a medical school? Korean J Med Educ. 2014;26:87-98.
- 5. Roh H, Lee HJ, Park SB, Yang JH, Kim DJ, Kim SH, Lee SJ, Chae G. Multiple mini-interview in selecting medical students. Korean J Med Educ. 2009;21:103-115.
- 6. Eva KW, Rosenfeld J, Reiter HI, Norman GR. An admissions OSCE: the multiple mini-interview. Med Educ. 2004;38:314-326.
- 7. Husbands A, Dowell J. Predictive validity of the Dundee multiple mini-interview. Med Educ. 2013;47:717-725.
- 8. Siu E, Reiter HI. Overview: what's worked and what hasn't as a guide towards predictive admissions tool development. Adv Health Sci Educ Theory Pract. 2009;14:759-775.
- 9. Julian ER. Validity of the Medical College Admission Test for predicting medical school performance. Acad Med. 2005;80:910-917.
- 10. Kim HW, Ko HS, Lee MS, Nam JH, Kim WD, Lee JD. The influence of admission characteristics on premedical school achievement at a medical school. Korean J Med Educ. 2002;14:257-268.
- 11. Rahbar MH, Vellani C, Sajan F, Zaidi AA, Akbarali L. Predictability of medical students' performance at the Aga Khan University from admission test scores, interview ratings and systems of education. Med Educ. 2001;35:374-380.
- 12. Basco WT Jr, Gilbert GE, Chessman AW, Blue AV. The ability of a medical school admission process to predict clinical performance and patients' satisfaction. Acad Med. 2000;75:743-747.
