Abstract
-
Purpose:
This school-level longitudinal study examined 7 years of clinical performance data to determine differences (effects) in students and annual changes within a school and between schools; examine how much their predictors (characteristics) influenced the variation in student performance; and calculate estimates of the schools’ initial status and growth.
-
Methods:
A school-level longitudinal model was tested: level 1 (between students), level 2 (annual change within a school), and level 3 (between schools). The study sample comprised students who belonged to the CPX Consortium (n=5,283 for 2005~2008 and n=4,337 for 2009~2011).
-
Results:
Despite a difference between evaluation domains, the performance outcomes were related to individual large-effect differences and small-effect school-level differences. Physical examination, clinical courtesy, and patient education were strongly influenced by the school effect, whereas patient-physician interaction was not affected much.
-
Conclusion:
Student scores are influenced by the school effect (differences), and the predictors explain the variation in differences, depending on the evaluation domain.
-
Key Words: Longitudinal studies, Multilevel analysis, Clinical performance examination, School effect, Quasi-longitudinal data
서론
우리나라는 2008년에 의사국가시험에 실기시험을 도입하도록 관련 법을 개정하고, 2010년부터 시행하였다. 이에 대학들은 실기시험 준비를 위해 자체 실기교육을 강화하고 지역별 컨소시엄에서 주관하는 시험에 주기적으로 학생들을 참여하게 하여 그들의 실기능력을 평가하고 있다. 여러 대학이 함께 시행하는 컨소시엄 형태의 시험은 주로 단일연도의 연구들이 주를 이루며, 다년도의 종단연구(longitudinal study)는 거의 보고되지 않았다. 종단연구는 학생수준의 종단자료 분석모형과 학교수준의 종단자료 분석모형으로 나눌 수 있다. 학생수준의 종단연구는 주로 패널연구 형태로 이뤄지는데 동일인에 대한 주기적인 평가를 통해 그 변화의 추이와 원인을 파악하는 것이다. 하지만 자료를 얻는 데 시간과 비용이 많이 들고, 연구 대상이 소실될 가능성도 크다. 우리나라에서도 종단연구의 중요성이 부각되면서 각종 기관에서 패널연구를 시행하고 있다. 예를 들어 교육개발원의 교육종단연구, 한국교육과정평가원의 국가수준 학업성취도평가, 한국고용정보원의 청년패널조사, 한국청소년 정책연구원의 한국청소년패널자료, 서울특별시교육연구정보원의 서울교육종단연구 등이 있다. 이러한 자료들은 연구를 위해 다양한 변인들을 개발하고 지속적으로 조사하고 있다.
학교수준의 종단연구는 비록 개별학생에 대한 변화는 볼 수 없지만 동일 대학의 동일 학년을 대상으로 일정기간 동안 반복적으로 측정이 가능하여 학교수준에서 변화와 변화의 원인을 파악할 수 있어서 책무성을 분석하기 위한 차선책으로 사용되고 있다. 이러한 방법을 유사종단설계(quasi-longitudinal design) 혹은 코호트설계(cohort design)라 한다[
1,
2,
3].
본 연구에서는 국가시험에서 실기시험 시행과 더불어 관심의 대상이 된 실기시험의 추이를 알아보기 위해 종단연구를 시도하였다. 컨소시엄에 해당하는 대학들은 대부분 유사하고, 소속 학생들을 지속적으로 평가하고 있어 학교수준의 종단연구를 시행하는 데 적절했다. 이에 본 연구에서는 학교수준의 종단연구를 통해 학생들의 실기능력 변화와 각 대학이 소속 학생들의 실기 능력에 어느 정도 영향력을 미쳤는지를 파악하고자 한다. 연구의 목적을 달성하기 위한 구체적인 연구 문제는 다음과 같다.
(1) 학생들의 임상수행능력시험 성적 차이는 학생 개인 차이, 학생이 소속한 대학의 연도별 차이, 소속한 학교 차이로부터 어느 정도 영향을 받는가?
(2) 학생들의 임상수행능력시험 성적 차이 원인은 무엇이며, 어느 정도 영향을 주는가?
(3) 학교의 임상수행능력시험 성적 평균은 연도별로 어떻게 변화하는가?
대상 및 방법
1. 연구 대상
연구 대상은 서울경기지역 CPX컨소시엄 소속 18개 대학의 2005년부터 2011년까지 7년 동안 자료 중에서 2005년부터 2008년은 3학년 5,283명을, 2009년부터 2011년까지는 4학년 4,337명을 선정하여 분석자료로 활용했다.
Table 1에서 3학년과 4학년의 컨소시엄 응시 현황과 각 평가영역별 성적 차이를 정리했다. 각 평가영역별 점수는 4학년이 3학년에 비해 모두 통계적으로 유의미하게 높았다. 이에 학년 간 차이를 무시하고 전체 자료를 분석할 경우에 4학년 응시자 수가 많은 대학의 성취가 더 높게 나타나 결과를 왜곡할 수 있으므로, 연도별로 학년을 분리하여 실시했다. 2008년 실기시험을 국가시험에 반영되도록 법이 개정된 것이 2009년을 기준으로 3학년과 4학년의 응시 현황이 역전된 원인으로 추측할 수 있다.
측정 도구는 서울경기지역 CPX컨소시엄에서 2005년부터 2011년에 시행한 임상수행능력시험이다. 컨소시엄에서는 매년 다양한 임상실기항목들을 개발하고, 각 대학에서는 컨소시엄에서 개발된 전체 실기항목 중 일부 또는 전체를 각 대학 소속 학생들에게 응시하게 한다. 각 실기항목은 질환에 따라 훈련된 표준화 환자와 학생의사와의 진료상황을 평가한다. 평가항목은 실기항목별로 차이가 있지만 대체로 병력청취, 신체진찰, 임상예절, 환자교육, 환자의사관계, 전반적 평가, 총점으로 구성되어 있다. 컨소시엄에서는 각 학생들의 100점 만점 점수를 제공했으나, 이는 해당 연도에 따라 차이가 있을 수 있으므로 연도별 비교를 위해 표준점수로 변환했다. 표준점수는 전체 점수분포를 고려하여 평균 50점, 표준편차 7점으로 변환했다.
3. 자료 분석
모든 분석은 3학년 대상으로 한 2009년 이전과 4학년 대상으로 한 2009년 이후로 구분하여 실시했다. 학교수준의 종단연구를 위해서 다층분석(multilevel analysis) 했다. 다층분석이란 자료성격상 다층구조(multilevel) 혹은 위계적(hierachical) 구조를 지니고 있는 경우에 각 층에서의 변인들 간의 상호작용 관계와 층간의 횡단적 관계를 모형화하는 데 적절한 분석이다[
4,
5]. 본 연구의 방법은 유사한 용어인 유사종단연구, 코호트설계, 학교수준 종단연구 중에서 ‘학교수준 종단연구’라 정의했다. 학생 개인 간 차이는 ‘학생효과’로(1수준), 동일학교 내 연도별 차이는 ‘학교의 연도별 효과’로(2수준), 다른 대학 간 차이는 ‘학교 간 효과’로(3수준) 정리하고, ‘학교의 연도별 효과’와 ‘학교 간 효과’를 합쳐서 ‘학교효과’로 정의하고 측정했다.
다층분석은 독립변수 사용 여부에 따라 2단계로 분석이 이뤄지는데, 독립변수가 포함되지 않았을 때는 무조건 모형(unconditional model)으로 학생의 성취를 학생수준, 학교의 연도별수준 그리고 학교 간 수준에서 분산분석이, 독립변수가 포함되었을 때는 조건 모형(conditional model)으로 학생 수준, 학교의 연도별 수준, 학교 간 수준에서 회귀분석이 동시에 시행하는 되는 것이라 할 수 있다. 여기에 학교의 연도별 효과를 측정하기 위해 연도별 변수를 추가한 평균 성장 모형(mean growth model)을 적용했다.
1) 학생 성적의 학생 간 차이, 학교의 연도별 차이, 학교 간 차이 정도 확인(무조건 모형)
무조건 모형은 학생의 임상수행능력시험 성적은 학생 개인 간 차이, 소속 대학의 연도별 차이 그리고 소속 대학 차이가 어느 정도 영향을 미치는지 분석하는 것이다. 이를 위해 적용한 수식은 다음과 같이 언어로 표현된다.
학생 성적 분산은 1수준에서 학생의 평균과 나머지로, 2수준에서 학생 평균은 소속대학의 연도별 평균과 나머지로, 3수준에서 학교의 연도별 평균은 학교별 평균과 나머지로 구분된다. 학생은 개인능력에 따라, 학생이 소속된 대학과 그 대학이 연도별로 시행한 결과에 따라 영향을 받는다는 것이 가정이다.
2) 학생 성적의 학생 간, 학교의 연도별 차이 간, 학교 간 차이의 원인 파악(조건 모형)
학생 성적 차이의 원인을 파악하기 위한 수식의 언어적 표현은 다음과 같다.
1수준: 학생 점수=학생 평균+(변화율×case 수)+(변화율×50점 이상 여부)+잔차
2수준: 학생 평균=대학의 연도별 평균+(변화율×대학의 연도별 50점 이상자 비율)+잔차
3수준: 대학의 연도별 평균=대학별 평균+(변화율×대학 유형)+(변화율×재학생 수)+(변화율×대학 평균 국시 합격률)+잔차
학생 성적 차이의 원인 파악을 위해 사용한 독립변수들을 보면, 학생차원(1차원)의 ‘실기항목의 수’는 학생들마다 시행한 실기항목의 수를, ‘50점 이상자 여부’는 학생이 해당 연도에 전체 평균 이상의 수행을 했는지 여부를 반영했다. 성적은 연도별로 평균 50점으로 변환했기 때문에 실제적으로 50점 미만이면 평균 이하자(0), 50점 이상이면 평균 이상자(1)로 구분했다.
학교의 연도별 성적 차이(2수준)를 설명하기 위해 동일 대학에서 연도별로 50점 이상자 비율을 사용했다.
학교 간 차이(3차원)를 설명하기 위해 ‘대학 유형’, ‘재학생 수’ 그리고 ‘국가시험 평균 합격률’을 사용했다. ‘대학 유형’은 의과대학(0), 의과대학과 의학전문대학원 병행 대학(1), 의학전문대학원(2)으로 구분했고, ‘재학생 수’는 국가시험 응시자 수 중 재학생 수를 기준으로 50명 이하(0), 50~100명(1), 100명 이상(2)으로 구분했다. ‘국가시험 평균 합격률’은 2009년부터 2011년까지 3년 평균합격률을 사용했다. ‘재학생 수’와 ‘국가시험 합격률’은 2009년부터 2011년까지 대학별 의사국가시험 합격률을 보건복지부가 작성하고 김선동 국회위원이 언론에 보도한 자료와 국가시험합격률 관련 기사들을 근거로 했다[
6,
7]. 독립변수의 회귀계수에 대한 용이한 해석을 위해 변수 중 ‘실기항목 수’, ‘50점 이상자 비율’, ‘국가시험 평균 합격률’은 전체 평균을 중심으로 선형변환한 전체평균중심화(grand mean centering)했다.
3) 학교수준의 평균 변화 확인(선형 평균 성장 모형)
평균 성장 모형은 평균의 초기치(intercept)와 평균의 성장률(slope)만 추정하여 변화추이를 확인하는 것으로, 선형 평균 성장 모형은 일차함수의 선형으로 변화한다는 것을 전제로 한다. 이 외에도 이차함수와 삼차함수를 전제로 변화모형을 추정하기도 하지만, 본 연구의 학교 사례 수가 적고, 이차함수 이상 분석과 결과 해석이 쉽지 않아 가장 간명한 모형인 선형 평균 성장 모형을 사용했다[
5].
학교수준에서 각 평가영역별 점수의 연도별 변화를 파악하기 위해 무조건 모형에 연도별 변수만 추가했다. 이를 위해 적용한 수식은 다음과 같이 언어로 표현된다.
무조건 모형에 연도만 추가한 것으로, 연도는 초기치와 변화율에 대한 해석을 용이하게 하기 위해 3학년은 2005년(0), 2006년(1), 2007년(2), 2008년(3)으로, 4학년은 2009년(0), 2010년(1), 2011년(2)로 척도화했다.
연구 자료의 기본적인 통계처리는 IBM SPSS Statistics 21.0 프로그램(IBM Corp., Armonk, USA)을 실시하였고, 다층분석은 HLM 7.0 프로그램을 이용하여 분석했다[
5].
결과
1. 기술통계치
연구 대상과 변수에 대한 기초통계 분석 결과는
Table 2와 같았다.
종속변수는 학생들의 임상수행능력시험의 영역별 성적이었다. 연도별 100점 만점점수를 연도별로 평균 50점, 표준편차 7점으로 전체 변환했기 때문에 전체 학생분포는 연도별 결과를 종합한 것으로 대체로 평균 50점과 표준편차 7점과 유사하다. 4학년에 비해 3학년이 점수범위가 상대적으로 컸다.
종속변수를 설명하기 위한 독립변수들을 보면, 1수준인 학생효과 중 학생이 개별적으로 수행한 ‘실기항목 수’의 평균은 7.5개였다. ‘50점 이상자 여부’는 연도별로 50%이지만, 전체 평균값이므로 평가영역별로 다양하게 분포했다. 2수준인 학교 내 연도별 효과는 각 평가영역별 ‘50점 이상자 비율’은 50%를 전후로 분포했다. 이는 대학의 연도별 50점 이상자 비율의 평균값이다. 3수준 학교 간 효과에서 국가시험의 대학별 평균 합격률은 93.67%이었다. ‘대학 유형’, ‘재학생 수’는 명명 척도로 통계해석에는 의미가 없었다.
2. 학생 성적의 개인 간, 학교의 연도별, 학교 간 차이(무조건 모형)
각 평가영역별 점수분산에 나타난 학생 간 차이, 대학의 연도별 차이, 학교 간 차이가 미치는 비율은
Fig. 1과 같았다. 학생 특성으로 인한 개인차가 성적에 가장 많이 영향을 주는 평가항목은 전체적으로 의사환자관계였다. 이를 4학년 기준으로 해석하면, 의사환자관계 성적 차이(분산)는 개인 간의 차이가 89.4%이고, 소속 학교에서 어느 연도에 시험 보았는가에 따라 9% 그리고 어느 대학에 속했는가에 따라 1.6% 달라진다고 해석할 수 있었다. 대학이 연도별로 가장 성적 차이 변화가 큰 평가항목은 3학년은 임상예절 20.6%, 4학년은 신체진찰 24.7%였다. 학교별 차이가 가장 영향을 많이 주는 것은 3학년은 환자교육 23.7%, 4학년은 임상예절 4.8%였다. 학교의 연도별 효과와 학교 간 차이는 모두 학교효과로 볼 때, 학교효과를 가장 많이 받는 항목은 3학년은 신체진찰 33.3%, 환자교육 26.7%, 임상예절 20.8%, 병력청취 18.0%, 총점 15.2%, 일반적 평가 4.7%, 환자의사관계 4.1%였다. 4학년은 신체진찰 24.8%, 임상예절 23.9%, 총점 17.2%, 병력청취 16.4%, 환자교육 11.9%, 일반적 평가 11.5%, 환자의사관계 10.6%였다.
학생들의 임상수행능력시험 점수에 있어 학생 차이, 학교의 연도별 차이, 학교 간 차이가 있음을 확인했으므로 이러한 차이의 원인을 알기 위해 사용한 독립변수들의 분석 결과는
Table 3과 같았다.
1수준 학생 간 차이에 대한 분석 결과를 보면, ‘50점 이상자 여부’에서 50점 이상 집단이 50점 이하 집단의 평균보다 10점 정도 높았다(p<0.01). 학생이 수행한 ‘실기항목 수’가 전체 평균보다 많을수록 3학년은 전반적 평가 점수(p<0.05)와 임상예절 점수(p<0.01)가 낮아졌고, 4학년은 임상예절이 낮아졌다(p<0.05). 2수준 학교 내 연도별 차이는, 환자교육을 제외한 전체 평가영역점수에서 50점 이상 비율이 높을수록 점수가 높아졌다(p<0.01). 3수준 대학별 차이를 보면, ‘평균 국가 시험 합격률’은 대부분 성적에 큰 영향을 주지 않았지만, 신체진찰과 환자의사관계의 경우 3학년은 상승하고, 4학년은 감소하는 것으로 나타났다(p<0.05, 0.01). 반면에 환자교육은 3학년은 감소했으나 4학년은 상승했다. ‘대학 유형’과 ‘재학생 수’는 통계적으로 유의한 차이를 보이지는 않았으나, 연도별 또는 학년별로 서로 다른 방향으로 증가 또는 감소하는 항목들도 있었다.
이들 독립변수가 성적 차이를 설명한 비율을 보면, 대부분 항목에서 학교 간 차이와 학교 내 연도별 차이를 거의 설명했지만, 환자교육은 독립변수의 설명력이 상대적으로 낮았다. 학생수준에서의 설명량은 전반적으로 낮았다.
4. 학생 성적에서 학교의 연도별 변화(선형 평균 성장 모형)
학교수준에서 성적의 변화 추이는
Table 4,
Fig. 2와 같다.
Table 4에서는 각 평가항목 점수들에 대한 초기치와 변화율 추정치를 3학년 2009년 이전과 4학년 2009년 이후로 나누어서 정리했고,
Fig. 2에서는 초기치와 변화율을 적용하여 선형 평균 성장곡선을 그렸다. 분석 결과 변화율은 통계적으로 유의한 차이는 없었지만, 학교의 연도별 변화가 가장 큰 것은 3학년 (A)은 신체진찰과 환자교육, 4학년 (B)은 임상예절과 환자교육이었다. 반면에 가장 변화가 없는 항목은 3, 4학년 모두 환자의사관계였다. 이는 학교차원에서 보면 교육으로 점수 향상시키기에 가장 쉬운 것은 신체진찰이나 임상예절이고, 가장 어려운 것은 환자의사관계임을 알 수 있었다.
학교효과가 가장 큰 신체진찰의 대학 내 연도별 변화를 확인하기 위해 대학의 ‘50점 이상자 비율’ 추이를 추가로 확인했다(
Fig. 3). 동일 대학이라도 연도별로 50점 이상자 비율이 매우 다양했으며(
Fig. 3A), 이 중 거의 지속적으로 50점 이상자 비율이 50%가 안 되는 대학들을 확인할 수 있었다(
Fig. 3B).
고찰
본 연구는 임상수행능력시험에서 나타나는 학생의 성취 차이를 학생효과, 학교의 연도별 효과, 학교 간 효과로 구분했으며, 학교의 연도별 효과와 학교 간 효과를 합쳐서 학교효과로 명명했다. 학교효과는 3학년의 경우 4.1%~33.3%, 4학년은 10.6%~24.8%로 3학년이 학교효과의 영향을 더 받는 것을 알 수 있었다. 학생 성적에 대한 학교효과의 영향력은 대체로 신체진찰, 임상예절, 환자교육, 병력청취, 일반적 평가, 환자의사관계 순이었다. 특히 신체진찰은 3학년 성적 차이의 30% 이상 차지했다. 이러한 결과는 동일 연도에 시행된 실기항목별 학교효과의 크기 8%~20% [
8,
9], 평가영역별 학교효과 4.1%~33.4%와 유사한 결과를 보였다[
10]. 하지만 본 연구에서는 기존 학교효과를 학교 간 효과와 학교 내의 연도별 효과로 나누어서 분석했다는 데 차이가 있다.
학교효과의 원인을 분석하기 위해 사용된 독립변수는 학교의 당해 연도 ‘50점 이상자 비율’, ‘학교 유형’, ‘재학생 수’, ‘의사국가시험 평균 합격률’이었다. 대학 유형이 성적에 주는 효과는 거의 나타나지 않았다. 선행 연구에서 의학과 학생과 의학전문대학원 학생은 학습전략을 사용하는 방법에 차이가 있으며[
11], 의학전문대학원 학생들이 의학과 학생들보다 성취도가 높았다는 연구들이 있다[
12,
13,
14]. 특히 의사면허국가시험의 실기시험 성적은 의학전문대학원 학생들이 의과대학 학생들보다 더 높았다고 보고했는데 이는 학생 개인 정보를 기반으로 분석한 것이라, 학교 유형별로 구분한 결과와는 다소 차이가 있을 수 있다[
14]. 개별 학생이 의과대학생인지, 의학전문대학원생인지를 파악하고, 대학수준에서는 이들의 대학 내 비율을 사용했다면 더 정확한 분석이 되었을 것이다.
재학생 수는 전반적으로 소속 대학 학생들의 임상수행능력시험 성취에 통계적으로는 유의미한 영향을 주지 않는 것으로 파악되었지만 3, 4학년 모두 병력청취와 신체진찰 점수는 낮아졌다. 일반적으로 학생 수가 적으면 대학차원에서 관리할 학생 수가 적어서 유리할 것으로 예측되었는데 이는 평가 항목별로 다르게 반응했다.
대학의 의사국가시험 합격률은 높아질수록 전반적으로 성적이 올라갔고, 신체진찰은 통계적으로 유의한 차이를 보였으나 3학년과 4학년의 방향은 반대였다. 의사국가시험 합격률은 3학년 성적을 4학년 보다 더 잘 설명했다. 본 연구에서 활용한 국가시험 합격률은 필기시험과 실기시험을 합한 수치라서 실기능력을 예측하기에는 한계가 있었다. 향후 연구에서는 필기와 실기시험을 분리하고, 평균 합격률이 아니라 각 연도별 합격률을 연도별 컨소시엄 성적의 독립변수로 활용한다면 컨소시엄 성적과 국가시험 합격률과의 관계를 더 정확하게 파악할 수 있을 것이다.
학생이 수행한 실기항목 수가 전체 평균 이상보다 많아질수록 성적들이 전반적으로 낮아졌으며, 특히 임상예절이 3, 4학년 모두 통계적으로 유의하게 하락했다(p<0.05). 평균보다 많은 실기항목을 치를수록 학생들이 피로해 질 것이고, 이로 인해 손소독이나 환자의 적정 노출과 같은 예절관련 사항을 소홀히 할 가능성이 높아질 것이라고 추측할 수 있다. 학생들이 수행하는 실기항목 수는 평가의 신뢰도 측면에서 연구가 많이 되었는데[
8,
15], 이러한 연구들은 대부분 총점을 종속변수로 사용하고 있다. 분석 결과 평가영역별로 다른 양상을 보이므로 적정 실기항목 수 산정 시 이를 고려할 필요가 있다.
신체진찰 평가항목은 여러 가지 측면에서 주목할 만하다. 다른 항목들에 비해 상대적으로 대학효과가 가장 많이 나타나며, 연도별 성장률은 3학년에는 높지만, 4학년에는 안정적인 경향을 보였다. 하지만 다른 대학에 비해 지속적으로 낮은 성취를 보이는 대학들도 있었다. 대학의 50점(평균) 이상자 비율을 기준으로 할 때 특정 대학들은 지속적으로 대학의 평균 이상자 비율이 대략 50%를 넘지 않았다. 물론 이 자료가 대학의 상대적 비율이므로 절대적인 평가는 어렵지만, 다년 간 지속적으로 낮은 성취를 보이는 대학들이 있으므로 향후 그 원인을 찾아볼 필요가 있다. 이는 단순히 대학 차원의 문제라고 보기보다는 전체 의료의 질 향상 차원에서 접근할 필요가 있다.
본 연구는 몇 가지 제한점을 가지고 있다. 첫째 종속변수로 사용한 점수들이 연도별 변환점수를 사용하여 실제 학생 성취 정도의 변화를 확인할 수 없다는 것이다. 본 연구의 목적이 학교효과를 파악하는 것이긴 하지만, 실제 비교 가능한 동등화된 점수였다면 더 풍부한 논의가 있었을 것이다. 둘째 해당 대학의 사례 수가 적다는 것이다. 이로 인해 여러 변수들을 다차원에서 동시에 추정하는 분석 방법 적용에 제한을 받았다. 특히 평균 성장 모형 적용 시 연차별 변화의 원인 파악을 위한 독립변수 추가와, 이차 평균 성장 모형 이상의 추정에 한계가 있어서 검증하지 못했다. 향후 전국 대학을 포함하고, 보다 다양한 대학관련 변수를 활용한다면 좀 더 풍부한 결과들을 얻을 수 있을 것이다. 셋째, 임상수행능력시험의 최근 결과가 아니라는 것이다. 넷째, 성적 차이의 원인을 파악하기 위한 독립변수가 충분하지 않았다. 컨소시엄 자료는 연구용으로 제작 및 시행된 것이 아니라 의사국가시험을 대비한 일종의 모의고사 성격을 지니고 있어서 개인과 대학에 관한 정보를 수집하지도 또는 연구자에게 제공하지도 않는다. 이에 주어진 자료에서 외부 정보를 활용해 독립변수를 활용하는 데는 한계가 있었다. 본 연구 결과 학생 차이에 대한 독립변수의 설명량이 가장 적었던 것도 이와 맥락을 같이 한다. 국가수준 단위에 시행되는 패널연구의 경우 개인과 학교에 대한 다양한 정보를 수집하고, 이를 일반 연구자에게 공개하고, 연구 결과를 각종 정책에 반영하고 있다. 의료계에서도 학생 성취에 대한 단순 비교가 아니라 종단연구를 통해 그 원인을 보다 깊이 있게 검증할 것을 제안한다.
본 연구는 여러 가지 한계에도 불구하고 학교수준의 종단연구로 지난 7년간 임상수행시험 점수에 미치는 학교 차이의 크기와, 차이의 원인들 그리고 학교의 연도별 평균 변화를 어느 정도 확인했다는 데 연구의 의의를 둘 수 있다.
ACKNOWLEDGMENTS
Data was provided from Seoul-Gyeonggi CPX Consortium for the 8th Symposium on December 8, 2011.
This work was supported by the Korea Research Foundation Grant funded by the Korean Government (NRF-2011-35C-B00300).
ACKNOWLEDGMENTS
Data was provided from Seoul-Gyeonggi CPX Consortium for the 8th Symposium on December 8, 2011.
This work was supported by the Korea Research Foundation Grant funded by the Korean Government (NRF-2011-35C-B00300).
Fig. 1.
The Unconditional Model: % of Variance Component of Score
STU: Student difference, WN SCH: Within school difference, BW SCH: Between school differences, PX: Physical examination, EDU: Patient education, CC: Clinical courtesy, HT: History taking, TOT: Total score, GE: General evaluation, PPI: Patient-physician interaction.
Fig. 2.
The Linear Mean Growth Model
(A) 3rd grade. (B) 4th grade.
CC: Clinical courtesy, PPI: Patient-physician interaction, HT: History taking, PX: Physical examination, EDU: Patient education.
Fig. 3.
The Percent Change of over 50 Score by Year (Physical Examination)
(A) All schools. (B) Low achievement schools.
Table 1.Annual Differences between 3rd and 4th Grade
Table 1.
|
Variable |
Year
|
|
2005 |
2006 |
2007 |
2008 |
2009 |
2010 |
2011 |
|
No. of schools |
3rd grade |
10 |
15 |
15 |
15 |
5 |
|
|
|
4th grade |
1 |
1 |
1 |
4 |
10 |
18 |
17 |
|
3rd & 4th |
|
2 |
2 |
|
3 |
1 |
1 |
|
Total |
11 |
18 |
18 |
19 |
18 |
18 |
18 |
|
No. of students |
3rd grade |
770 |
1,597 |
1,596 |
1,320 |
577 |
22 |
24 |
|
4th grade |
128 |
415 |
339 |
322 |
1,004 |
1,479 |
1,854 |
|
Total |
898 |
2,012 |
1,935 |
1,642 |
1,581 |
1,501 |
1,878 |
|
Grade differences |
General evaluation |
|
|
|
**
|
|
**
|
**
|
|
History taking |
|
**
|
*
|
**
|
**
|
**
|
**
|
|
Physical examination |
*
|
|
|
**
|
**
|
**
|
**
|
|
Clinical courtesy |
**
|
*
|
**
|
**
|
|
|
**
|
|
Patient education |
**
|
*
|
|
**
|
**
|
|
**
|
Table 2.Descriptive Statistics of the Clinical Performance Examination Scores
Table 2.
|
Level |
Grade name |
2005~2008 (3rd grade)
|
2009~2011 (4th grade)
|
|
No. |
Mean |
SD |
Min |
Max |
No. |
Mean |
SD |
Min |
Max |
|
1 |
SCORE |
|
|
|
|
|
|
|
|
|
|
|
TOT |
5,283 |
50 |
7 |
1.72 |
72.6 |
4,337 |
50 |
7 |
18.67 |
79.31 |
|
GE |
5,283 |
50 |
7 |
10.83 |
73 |
4,337 |
50 |
7 |
11.36 |
81.64 |
|
HT |
5,283 |
50 |
7 |
9.8 |
78.71 |
4,337 |
50 |
7 |
20.66 |
72.87 |
|
PX |
5,283 |
50 |
7 |
20.92 |
75.12 |
4,337 |
50 |
7 |
20.29 |
74.60 |
|
CC |
5,283 |
50 |
7 |
18.19 |
71.72 |
4,337 |
50 |
7 |
19.08 |
72.98 |
|
EDU |
4,890 |
50 |
7 |
20.36 |
69.12 |
4,139 |
50 |
7 |
19.43 |
66.17 |
|
PPI |
5,283 |
50 |
7 |
4.34 |
73.62 |
4,337 |
50 |
7 |
3.70 |
84.29 |
|
Above 50 |
|
|
|
|
|
|
|
|
|
|
|
TOT_50 |
5,283 |
0.51 |
0.5 |
0 |
1 |
4,337 |
0.53 |
0.50 |
0 |
1 |
|
GE_50 |
5,283 |
0.51 |
0.5 |
0 |
1 |
4,337 |
0.48 |
0.50 |
0 |
1 |
|
HT_50 |
5,283 |
0.51 |
0.5 |
0 |
1 |
4,337 |
0.51 |
0.50 |
0 |
1 |
|
PX_50 |
5,283 |
0.48 |
0.5 |
0 |
1 |
4,337 |
0.52 |
0.50 |
0 |
1 |
|
CC_50 |
5,283 |
0.52 |
0.5 |
0 |
1 |
4,337 |
0.52 |
0.50 |
0 |
1 |
|
EDU_50 |
4,890 |
0.46 |
0.5 |
0 |
1 |
4,139 |
0.51 |
0.50 |
0 |
1 |
|
PPI_50 |
5,283 |
0.53 |
0.5 |
0 |
1 |
4,337 |
0.51 |
0.50 |
0 |
1 |
|
CASE |
5,283 |
7.50 |
1.7 |
5 |
10 |
4,337 |
7.51 |
2.52 |
1 |
15 |
|
|
2 |
% of 50 |
|
|
|
|
|
|
|
|
|
|
|
TOT_50M |
60 |
0.50 |
0.22 |
0.07 |
0.96 |
52 |
0.48 |
0.21 |
0 |
1 |
|
GE_50M |
60 |
0.51 |
0.12 |
0.25 |
0.88 |
52 |
0.45 |
0.18 |
0 |
0.91 |
|
HT_50M |
60 |
0.50 |
0.21 |
0.07 |
0.91 |
52 |
0.45 |
0.21 |
0 |
1 |
|
PE_50M |
60 |
0.47 |
0.23 |
0.02 |
0.98 |
52 |
0.49 |
0.26 |
0 |
1 |
|
CC_50M |
60 |
0.54 |
0.20 |
0.16 |
0.96 |
52 |
0.51 |
0.24 |
0 |
1 |
|
EDU_50M |
60 |
0.44 |
0.19 |
0.02 |
0.85 |
52 |
0.49 |
0.20 |
0 |
0.92 |
|
PPI_50M |
60 |
0.52 |
0.12 |
0.19 |
0.86 |
52 |
0.49 |
0.20 |
0 |
1 |
|
TIME |
60 |
1.65 |
1.05 |
0 |
3 |
52 |
0.98 |
0.83 |
0 |
2 |
|
|
3 |
School type |
18 |
0.94 |
0.80 |
0 |
2 |
18 |
0.94 |
0.80 |
0 |
2 |
|
SCALE |
18 |
1.11 |
0.90 |
0 |
2 |
18 |
1.11 |
0.90 |
0 |
2 |
|
KMLE |
18 |
93.67 |
3.03 |
89.8 |
99 |
18 |
93.67 |
3.03 |
89.80 |
99 |
Table 3.The Conditional Model: Estimate Results of Predictive Variables
Table 3.
|
|
Total |
GE |
HT |
PX |
CC |
EDU |
PPI |
|
2005~2008 (3rd grade) |
|
|
|
|
|
|
|
|
Intercept |
|
44.993**
|
44.581**
|
44.978**
|
45.147**
|
44.331**
|
44.676**
|
44.264**
|
|
Level 1 |
Above 50 |
9.993**
|
10.797**
|
10.271**
|
9.992**
|
10.747**
|
10.732**
|
10.653**
|
|
Case |
-0.023 |
-0.165**
|
0.014 |
0.020 |
-0.134*
|
-0.199 |
0.033 |
|
Level 2 |
% of 50 |
6.250**
|
4.492**
|
5.892**
|
6.952**
|
3.806**
|
1.340 |
5.309**
|
|
Level 3 |
School type |
0.126 |
-0.106 |
-0.050 |
-0.012 |
0.096 |
0.279 |
-0.010 |
|
Scale |
-0.216 |
0.036 |
-0.182 |
-0.030 |
0.001 |
0.109 |
0.109 |
|
KMLE |
0.043 |
-0.001 |
0.007 |
0.064*
|
0.054 |
-0.029 |
0.048**
|
|
Explained (%) |
Student |
55.7 |
60.5 |
58.3 |
56.7 |
61.1 |
60.1 |
59.2 |
|
Within school |
95.1 |
85.3 |
94.6 |
94.1 |
83.8 |
62.8 |
92.2 |
|
Between school |
98.8 |
98.7 |
99.5 |
100.0 |
99.9 |
93.7 |
99.9 |
|
|
2009~2011 (4th grade) |
|
|
|
|
|
|
|
|
Intercept |
|
44.405**
|
44.832**
|
44.343**
|
44.797**
|
44.952**
|
45.182**
|
44.234**
|
|
Level 1 |
Above 50 |
10.254**
|
10.616**
|
10.197**
|
10.040**
|
9.665**
|
10.856**
|
10.702**
|
|
Case |
-0.055 |
-0.038 |
-0.065 |
0.245 |
-0.417*
|
-0.114 |
-0.057 |
|
Level 2 |
% of 50 |
6.574**
|
4.286**
|
6.381**
|
5.457**
|
5.348**
|
0.678 |
3.203**
|
|
Level 3 |
School type |
0.032 |
-0.153 |
0.073 |
-0.127 |
-0.113 |
-0.445a)
|
0.092 |
|
Scale |
-0.163 |
0.010 |
-0.059 |
-0.085 |
0.065 |
-0.161 |
0.077 |
|
KMLE |
0.000 |
0.038 |
0.018 |
-0.122*
|
0.044 |
0.019 |
-0.045 |
|
Explained (%) |
Student |
57.3 |
59.0 |
57.1 |
57.9 |
53.9 |
61.0 |
58.5 |
|
Within school |
96.6 |
86.1 |
98.2 |
94.4 |
86.5 |
69.6 |
87.7 |
|
Between school |
99.8 |
100.0 |
72.7 |
95.5 |
99.5 |
83.8 |
99.7 |
Table 4.The Estimate Results of Intercept and Slope
Table 4.
|
Grade |
Estimate |
Total |
GE |
HT |
PX |
CC |
EDU |
PPI |
|
3 |
Intercept |
49.528**
|
49.915**
|
49.549**
|
49.301**
|
50.175**
|
49.295**
|
49.910**
|
|
Slope |
0.207 |
0.047 |
0.187 |
0.306 |
0.001 |
0.322 |
0.026 |
|
|
4 |
Intercept |
49.106**
|
49.808**
|
49.170**
|
49.722**
|
49.147**
|
50.264**
|
49.764**
|
|
Slope |
0.131 |
-0.128 |
-0.017 |
0.029 |
0.593 |
-0.191 |
-0.043 |
REFERENCES
- 1. Shin JA. Exploring the calculation model of academic performance index based on school level longitudinal data. J Educ Eval. 2011;24:129-148.
- 2. Willms JD, Raudenbush SW. A longitudinal hierarchical linear model for estimating school effects and their stability. J Educ Meas. 1989;26:209-232.
- 3. Choi KC. Monitoring school improvement over years using a 3-level hierarchical model under a multiple-cohorts design: comparing scale score to NCE result. Asian J Educ. 2005;6:59-81.
- 4. Korean Society for Educational Evaluation. Educational evaluation thesaurus. Seoul, Korea: Hakjisa; 2004.
- 5. Raudenbush SW, Bryk AS, Cheong YF, Congdon RT Jr. HLM 6: hierarchical linear and nonlinear modeling. Lincolnwood, USA: Scientific Software International; 2004.
- 6. The Pass Rate in KMLE (2009-2011) [Internet]. Doctor’s News; 2011. [updated 2011 September 7; cited 2014 December 13]. Available from: http://www.doctorsnews.co.kr/news/articleView.html?idxno=73106
- 7. The Pass Rate in KMLE 2010 [Internet]. Medigate News; 2011. [updated 2011 January 19; cited 2014 December 13]. Available from: http://www.medigatenews.com/
- 8. Park JH. A psychometric evaluation of CPX in relation to validity and reliability [dissertation]. [Seoul, Korea]: Ewha Womans University; 2008.
- 9. Park JH, Seong T, Hong S. Effects of medical schools and standardized patients on clinical performances of medical students: a cross-classified analysis. J Educ Eval. 2011;24:175-189.
- 10. Han JJ, Lee MJ, Im HJ. Comprehension of patient-physician interaction through analysis of relationships between domains in clinical performance examination. Korean J Med Educ. 2010;22:177-184.
- 11. Shin HI, Jeon WT, Yang EB. Relationship between learning strategies and academic achievement in medical college and graduate medical school students. Korean J Med Educ. 2010;22:197-204.
- 12. Kim SH, Lee K, Hur Y, Kim JH. How medical students perform academically by admission types? Korean J Med Educ. 2013;25:201-209.
- 13. Kim JH, Jang EY, Kim D, Choi JH, Park YC. Mental health of medical school students and the effects of their strategy for enhancing self-esteem. Korean J Med Educ. 2011;23:295-304.
- 14. Shon SH. Outcome and prospect of medical skill assessment for 5 years. In: Paper presented at: National Health Personnel Licensing Examination Board Academic Symposium; 2014 May 15; Seoul, Korea.
- 15. Yim MK, Lee GM. The school effect on the reliability of clinical performance examination in medical schools. Korean J Med Educ. 2010;22:215-223.
