Abstract
-
Purpose:
The purpose of this study was to investigate the experience of examinees who took the first clinical skill examination in Korea.
-
Methods:
The data were collected by written survey, telephone, and face-to-face interviews with 46 examinees who took a clinical skills examination test at Jeju National University School of Medicine. Thirty-two questionnaires were valid for analysis.
-
Results:
Examinees' self-evaluation scores with regard to the level of difficulty of the CPX was 2.83 on average (1 for very easy, 5 for very difficult), and the score on the degree of adequate time for the CPX was 2.69 on average (1 for enough, 5 for very short). Examinees' self-evaluation scores on the level of difficulty of the OSCE was 2.37 on average (1 for very easy, 5 for very difficult), and the score on the degree of adequate time for the OSCE was 2.56 on average (1 for enough, 5 for very short).
-
Conclusion:
We hope that our study provides useful information on practical questions in the development and review of exams and will be used to develop educational content and teaching methods in medical education.
-
Key Words: Clinical competence, Educational measurement, Undergraduate medical education
서론
1952년 제 1회 의사국가시험이 실시된 이후 2009년 제 73회 의사국가시험까지 57년 동안 시험 문항의 유형 및 수준, 주관기관, 과목 및 문항수의 변화는 있었으나 평가방법은 지필고사(paper and pencil test)로 변함없이 시행되어왔다. 그러나 의료 환경의 변화에 따라 한국보건의료인국가시험원 및 의학교육학계를 중심으로 의사국가시험에서 실기시험 도입 필요성에 대한 논의가 지속적으로 이루어졌으며, 다각적인 노력의 결과로 아시아에서는 처음으로 2010년 제 74회 의사국가시험에서 임상실기시험(Clinical Skill Examination)이 실시되었다.
본 연구를 통해 저자들은 처음 임상실기시험을 치룬 수험생들의 경험 분석 및 자가 평가를 통해 의과대학 교육 과정 및 임상실기시험의 개선 방향에 대해서 살펴보고자 하였다.
대상 및 방법
1. 연구 대상
2010년 제 74회 의사국가시험의 일환으로 국내에서는 처음 시행된 임상실기시험이 종료된 후 시험에 응시한 제주대학교 의학과 4학년 학생 46명을 대상으로 면접조사 및 설문조사를 시행하였다. 배부된 설문지 중 분석이 가능하였던 설문지는 32개였다.
2. 연구 도구
진료수행시험(clinical performance examination, CPX)의 경우 자신이 수행한 6개 항목 각각의 체감 난이도와 시간 여유도를 매우 쉬움(1번)부터 매우 어려움(5번)까지 5단계의 척도로 기입하도록 하였고, 환자의사관계(patient-physician interaction, PPI) 항목은 실제 시험 시의 표준화 환자의 평가 항목과 동일한 아주 우수, 우수, 보통, 미흡의 4단계의 척도로 수험생 본인이 스스로 평가하도록 하였다.
체감 난이도가 가장 높았던 CPX 문항에 대하여 병력 청취, 신체검사, 평가, 계획, 치료, 교육의 여섯 영역으로 구분하여 가장 쉬웠던 영역을 1번으로 가장 어려웠던 영역을 6번으로 순서대로 번호를 매기도록 하였고 그 이유에 대해서 기술하도록 하였다.
객관구조화진료시험(objective structured clinical examination, OSCE)의 경우는 자신이 수행한 6개 항목 각각의 체감 난이도와 시간 여유도를 매우 쉬움(1번)부터 매우 어려움(5번)까지 5단계의 척도로 기입하도록 하였다.
의사실기시험의 경험을 종합적으로 평가하기 위해서 문항수에 대한 전반적 평가, 시험시간 및 운영체계에 대한 평가, 자기능력 평가 및 독자적인 일차 진료를 하는데 도움이 될지 등의 항목을 구성하여 전혀 그렇지 않다(1번)부터 매우 그렇다(5번)까지 5단계의 척도로 수험생 입장에서 평가하도록 설문을 구성하였다.
결과
1. 수험생의 CPX 자가 평가
1) CPX의 난이도, 시간 여유도 및 PPI 채점 항목
CPX 난이도 점수 평균은 2.83점이었으며, 평균이 4점 이상으로 어렵게 느낀 문항은 두근거림, 기침, 의식장애였다.
체감 난이도가 가장 높았던 CPX 문항에 대하여 수험생들은 병력 청취를 가장 어렵게 느꼈으며 신체검사, 평가, 계획, 교육, 치료 순으로 상대적으로 덜 어렵게 느꼈다.
CPX 시간 여유도 점수 평균은 2.69점이었으며, 평균이 4점 이상으로 시간 여유가 없었다고 느낀 문항은 두근거림, 유방통, 혈뇨, 팔다리 근육힘 약화, 손 떨림증, 피부발진이었다.
PPI 점수 평균은 2.69점이었으며, PPI 채점 항목 중에서 ‘환자와 좋은 유대관계를 형성하려고 했다’ 항목이 평균 2.85점으로 가장 높았으며, ‘효율적으로 잘 물어보았다’ 항목이 평균 2.47점으로 가장 낮았다(
Table 1).
1) OSCE 난이도, 시간 여유도
OSCE 난이도 점수 평균은 2.37점으로 CPX보다는 평균이 낮았으며, 평균이 4점 이상으로 어렵게 느낀 문항은 폐 진찰, 안전수혈술기, 정상 분만이었다.
OSCE 시간 여유도 점수 평균은 2.56점으로 CPX보다는 평균이 낮았으며, 평균이 4점 이상으로 시간 여유가 없었다고 느낀 문항은 혈액배양을 위한 채혈, 봉합술, 안전수혈술기, 농양절개배농술이었다.
3. 수험생의 임상실기시험 전반에 대한 자가 평가
1) 예시 및 실제 문항수
48개의 CPX 예시문항 및 36개의 OSCE 예시문항수에 대한 점수 평균은 각각 2.97점, 2.84점이었다.
6개의 CPX와 OSCE 실제 시험 문항수에 대한 점수 평균도 각각 2.97점, 2.84점으로 나타났다.
두 시험 모두 수험생들은 예시문항 및 시험문항이 많다고 여기지는 않는 것으로 나타났다.
2) 시험시간 및 운영체계
10분인 CPX 시간, 5분인 사이시험시간 및 OSCE 시간에 대한 점수 평균은 각각 3.72점, 2.53점, 2.88점이었다.
일 년에 한번 70일간 진행되었던 임상실기시험 운영에 대한 점수 평균은 2.19점으로 낮게 나타났으며, 긍정적인 점수인 4점 또는 5점을 준 수험생은 전혀 없었다.
3) 독자적 일차 진료에 미치는 영향
졸업 후 독자적인 일차 진료를 할 수 있겠는지에 대한 점수 평균은 5점 척도로 물어보았을 때 2.22점으로 낮게 나타났다.
필기시험, CPX, OSCE가 독자적인 일차 진료를 하는 데 얼마나 도움이 될 것 같은지에 대한 점수 평균은 5점 척도로 물어보았을 때 각각 3.87점, 4.13점, 3.90점으로 나타났다(
Table 2).
고찰
본 연구를 통해 저자들은 수험생들이 처음 경험한 임상실기시험에서 느낀 시험의 난이도와 평가 항목 간의 시간 배분의 적절성을 세부적으로 살펴보았고, 임상실기시험에 대한 수험생들의 전반적인 평가와 개선점을 개진하도록 하여 향후 임상실기시험의 운용에 필요한 정보를 제공하고자 하였다.
제74회 의사국가시험에서 제주대학교는 95.7%의 합격률을 보였고 불합격한 2명은 모두 임상실기시험에만 불합격하였다. 이번 연구는 합격자 발표 이전에 진행되었고 무기명으로 설문지를 수거하여 합격 여부에 따른 결과 차이를 분석할 수는 없었다.
CPX 시에 수험생들은 환자를 자주 대면해야 익숙해질 수 있는 병력 청취와 신체검사 항목을 다른 항목에 비해 어렵게 느끼는 것으로 나타났으며, PPI 항목에 대해서도 ‘효율적으로 잘 물어보았다’ 항목의 점수가 가장 낮았다. 임상실기시험에서 자가 평가가 시험에 대한 수험생들의 자신감을 반영하고 있음을 고려하면[
1], 학생들이 충분한 임상실습시간을 가지고 실제 환자 예진과 신체검사 등을 시행해 볼 수 있도록 하는 것이 필요하다.
일반적으로 임상실기시험에서의 수험생들의 자가 평가 점수는 교수 등 실제 평가자의 평가 점수와 상관관계가 낮게 나타나는 경향을 보이나, 자가 평가와 평가자 평가 간의 차이를 계산하여 비교하였을 경우에는 상관관계가 높아진다는 보고도 있다[
1,
2]. 이 연구는 실제 임상실기시험 점수를 모르는 상황에서 진행되었으므로 자가 평가 점수와 실제 평가 점수의 상호 관계에 대해서 분석할 수는 없었다.
OSCE 항목 중 일부 술기는 수험생들이 주어진 시간 내에 술기를 마치는 것에 어려움을 겪었다. 특히 농양절개배농술이나 봉합술의 경우는 적절한 소독과 아울러 술기의 속도뿐 아니라 술기의 정확성도 중요한데 해당 술기를 경험한 수험생들은 모든 과정을 수행하기에는 시간이 모자랐다는 의견을 주었다. OSCE 항목 중 상대적으로 시간이 많이 필요한 술기의 경우는 정해진 시간 동안 꼭 필요한 평가가 이루어질 수 있도록 적절한 소독을 술기의 하나로 독립시키고 소독 이후에 진행되는 술기를 분리해서 평가하는 등의 조정이 필요할 수도 있다.
OSCE 시험장에서 평가자와 같은 공간에 있으면서 수험생이 체크리스트에 맞는 수행을 했을 때 평가자가 클릭 소리를 내면서 점수를 매기는 것에 대해서 수험생들은 시험에 집중하는데 방해가 된다는 의견을 주었고, 다른 한편으로 수험생들은 평가자의 클릭 소리를 통해 점수를 받았을 거라고 추측했으며 이를 통해 체크리스트가 노출될 가능성이 있었다. 채점자가 시험장에 입실하는 것만으로도 수험생의 임상실기시험 수행에 영향을 줄 수도 있음을 고려하여[
3] 같이 입실해 있는 평가자가 클릭 소리를 내면서 평가를 하는 것은 향후 신중히 검토되어야 할 부분이다.
OSCE용 물품이 학교에서 실습할 때와는 다른 경우가 있어서 수험생들이 당황했던 경우가 있었다. 실제 임상에서도 시술에 필요한 기구에 대해서는 이미 알고 확인한 후에 시술을 시작하므로 가능하다면 OSCE에 사용될 물품이나 기구는 시험 전에 표준화하여 시험 전에 모든 수험생에게 미리 공개하는 것을 고려해야 할 것이다.
금번의 임상실기시험은 4학년 2학기에 70일에 걸쳐 한 번의 기회만 주어졌고 서울에서만 시험이 진행되었다. 그런데 필기시험을 얼마 남겨두지 않은 시기에 비교적 긴 기간 동안 임상실기시험이 진행되면서 시험 시기에 따른 수험생의 시험 환경의 차이가 발생할 가능성이 있었다. 실제로 이번 연구에서 임상실기시험의 시기와 기간에 대해서 긍정적으로 답변한 수험생이 한 명도 없었으며, 상당수의 수험생이 필기시험의 원활한 준비 등을 위해 임상실기시험의 시기를 4학년 1학기 이전으로 당기고 최대한 짧은 기간 동안만 시험이 치러지기를 바란다고 답변하였다.
시험의 공정성을 높이고 수험생들도 불편하지 않도록 임상실기시험을 진행하기 위해 향후 고려할 수 있는 방법에는, 첫째, 시험장 복제 등을 통해 임상실기시험도 필기시험처럼 전국적으로 한꺼번에 또는 최소한의 기간동안 보는 방법을 고려할 수 있다. 이는 시간적, 경제적 부담이 상대적으로 큰 지방 학생들의 불편도 덜어주고 시험 환경의 차이도 최소화할 수 있다. 하지만 시험장 복제가 임상실기시험의 신뢰도에 영향을 줄 수 있으므로 철저한 사전 준비가 있어야 하고 시험성적을 해석하는데도 주의가 필요하기 때문에 신중이 검토되어야 할 것이다[
4,
5,
6]. 둘째, 임상실기시험을 당락을 결정하는 시험이 아닌 자격시험 형태로 전환하여 일정 기간 동안 2번 이상 또는 상시 응시할 수 있도록 충분한 시험의 기회를 주는 방법도 고려할 수 있다. 이를 위해서는 충분한 문제은행 확보 및 관련 인프라의 구축이 필요할 것이다.
대다수의 수험생은 임상실기시험이 필기시험보다 향후 독자적인 일차 진료를 하는데 더 도움이 될 것이라는 긍정적인 반응을 보였으며, 향후에도 임상실기시험이 필요하다는 생각을 하고 있었다. 또한 의대 교육 과정에서 임상실기시험을 경험했었던 전공의 대상의 한 연구에서도 대다수의 전공의가 임상실기시험이 전공의 수련에도 큰 도움을 준다고 생각하고 있었다[
7]. 처음 도입된 임상실기시험이 빠르게 정착하여 보다 나은 기본 역량을 갖춘 의사들이 배출되기를 기대한다.
Table 1.Analysis of PPI Scoring Items: Based on Examinees’ Self-Evaluation Scores
Table 1.
|
PPI scoring items |
Mean |
SD |
No. of case |
|
1. How they ask questions efficiently |
2.47 |
0.72 |
32 |
|
2. How they listen to the words of patients |
2.78 |
0.66 |
32 |
|
3. How they try to understand patients’ situation |
2.71 |
0.66 |
32 |
|
4. How their explanation clear to help patients’ understanding |
2.61 |
0.72 |
32 |
|
5. How they try to make good relationship with patients |
2.85 |
0.61 |
32 |
|
6. Their attitude to patients is appropriate when physical examination is doing |
2.54 |
0.76 |
32 |
Table 2.Analysis of Paper and Pencil Test, CPX, and OSCE in Term of Primary Care Physician: Based on Examinees’ Self-Evaluation Scores
Table 2.
|
Item |
Degree |
|
|
|
|
|
|
1 |
2 |
3 |
4 |
5 |
No. |
Mean |
SD |
|
I have enough ability as a independent primary care physician |
3 (9.38) |
20 (62.5) |
8 (25) |
1 (3.13) |
0 |
32 |
2.22 |
0.66 |
|
The degree of the help of OSCE on primary health care |
0 |
0 |
10 (22.22) |
14 (31.11) |
7 (22.58) |
31 |
3.90 |
0.75 |
|
The degree of the help of Paper and Pencil test on primary health care |
0 |
1 (3.23) |
6 (19.35) |
20 (64.52) |
4 (12.9) |
31 |
3.87 |
0.67 |
|
The degree of the help of CPX on primary health care |
1 (3.23) |
0 |
3 (9.68) |
17 (54.84) |
10 (32.36) |
31 |
4.13 |
0.85 |
REFERENCES
- 1. Han MH, Park SG. Difference between scores assessed by examiners and examinees on objective structured clinical examination. Korean J Med Educ. 2009;21:279-285.
- 2. Park EW. Comparison of self-assessment and objective structured clinical examination (OSCE) of medical students’ clinical performance. Korean J Med Educ. 2008;20:51-60.
- 3. Bang JB. Effects of rater’s presence in OSCE station on examinee’s scores and performance. Korean J Med Educ. 2008;20:241-247.
- 4. Han JJ, Park H, Kwon I, Ryu KH, Eo E, Kim N, Jung J, Kim KH, Lee SN. The comparison of clinical performance examination scores according to the different testing time: six medical schools in Seoul·Gyeonggi CPX Consortium 2005. Korean J Med Educ. 2007;19:31-38.
- 5. Park J, Ko J, Kim S, Yoo H. Faculty observer and standardized patient accuracy in recording examinees’ behaviors using checklists in the clinical performance examination. Korean J Med Educ. 2009;21:287-297.
- 6. Ko J, Yoon TY, Park J. Inter-rater reliability in a clinical performance examination using multiple standardized patients for the same case. Korean J Med Educ. 2008;20:61-72.
- 7. Park JH, Kim UM, Lee WC, Lee YS. A study on the satisfaction of medical licensing examination and the present condition of skill test in medical schools. J Educ Eval Health Prof. 2004;1:77-86.
