Abstract
-
Purpose:
To explore the relationship between problem-based learning (PBL) evaluations and clinical performance.
-
Methods:
The study included 117 third-year medical students at Chonnam National University Medical School. The students' first-, second-, and third-year PBL evaluations were compared with their clinical performance examination (CPX) scores in third year. The PBL evaluations were composed of three subscales: tutors' evaluation (students' professional behavior, contribution to group process, and contribution to group content), a report, and a written examination. The CPX assessed four performance categories: history taking, physical examination, information sharing, and patient-physician interaction.
-
Results:
No significant correlation was found between the first-year PBL evaluations and CPX scores; however, the second-year PBL evaluations were significantly correlated with history taking (r=0.186, p=0.044) and patient-physician interaction (r=0.213, p=0.021) of CPX. The third-year PBL evaluations were significantly correlated with physical examination (r=0.248, p=0.007), and patient-physician interaction (r=0.283, p=0.002) of CPX. Several significant correlations between the PBL evaluations subscales and CPX scores were revealed. The PBL tutors' evaluation (r=0.343, p=0.000) and report scores (r=0.210, p=0.023) were significantly correlated with patient-physician interaction of CPX. The contribution to group process of tutors' evaluation was significantly correlated with patient-physician interaction (r=0.186, p=0.045), and the contribution to group content of tutors' evaluation was significantly correlated with physical examination (r=0.187, p=0.044).
-
Conclusion:
We found a significant association between PBL evaluations and CPX scores.
-
Key Words: Problem-based learning, Clinical competence, Qualitative evaluation
서론
정보와 지식의 변화가 빠른 현대 사회에서 의사가 가져야 할 자질은 질병에 대한 지식과 진료 및 치료기술뿐만 아니라 환자를 대면하는 데 필요한 의사로서의 태도와 의사소통능력 등이다. 따라서 한국의과대학학장협의회는 21세기 한국의학 교육계획의 의과대학 교육 목표로서 기본 의학 지식과 수기 습득, 의료현장에서의 문제해결능력 배양, 질병 예방과 건강 증진을 포함하는 전인적 치료자 양성과 의사로서의 태도를 설정하고 있다. 더욱이 의사국가시험에 실기시험이 도입됨에 따라 지식, 태도, 술기 세 영역에서의 균형 있는 임상능력을 추구하게 되었고[
1], 학생들의 임상수행능력을 향상시킬 수 있는 방안에 대한 관심이 높아지고 있다. 임상수행평가(clinical performance examination, CPX) 성적과 기존의 학교육의 주요한 평가방법 결과와의 관련성을 밝힌 연구들을 살펴보면, CPX 성적은 필기시험 성적과 약한 상관관계를 나타내거나[
2,
3] 유의한 상관관계가 없는 것으로 나타났으며[
4,
5], 임상실습 성적과도 낮은 상관관계를 보였다[
3,
5]. 이는 CPX가 기존의 평가도구와 측정하는 내용과 방법이 다르다는 것을 의미하며, CPX는 필기시험 등을 보완할 수 있는 평가방법이라고 해석되었다[
4,
6]. 즉, CPX는 실제 환자는 아니지만 가상 상황에서 기본 진료를 시행할 수 있는 능력을 보유하고 있는가를 보는 진료수행 과정에 대한 질적인 평가방법이다.
CPX가 학생이 표준화 환자와 직접 대면하여 적절한 의사소통과 필요한 정보 획득을 통해 이루어지는 문제해결 과정이라면, 문제바탕학습(problem-based learning, PBL)은 종이로 만나는 환자(paper patient)의 문제를 해결하기 위해 동료와의 의사소통 및 정보 공유를 통해 이루어지는 문제해결 과정이다. 또한 CPX와 PBL은 결과보다는 과정중심의 학습이 더 중요하기 때문에 평가에 있어서도 학습과정에 대한 평가가 중요하다. 따라서 이 연구는 의학교육에서 과정중심의 질적인 평가에 초점을 맞춘 PBL의 평가 결과와 CPX 성적 간의 관련성을 파악하고자 하였다. PBL과 임상수행능력 간의 관련성을 밝힌 연구들로는 PBL을 경험한 의과대학 졸업생들이 더 나은 의사소통과 상호작용 기술을 갖추었다고 하였고[
7], PBL을 경험한 의과대학생의 임상수행능력이 더 우수한 것으로 보고하였다[
8]. PBL을 시행하고 있는 Macmaster의 과대학 졸업생들이 PBL을 경험하지 않은 의사들보다 더 우수한 직업적 역량을 가지고 있으며[
9], PBL을 경험한 졸업생들이 불확실한 상황에의 대처와 의사소통능력, 의료 윤리적 측면 및 자기주도적인 평생학습 측면에서 더 강점을 갖고 있다고 하였다[
10].
PBL과 임상수행능력과의 관련성에 관한 연구는 주로 PBL 교육과정을 경험한 졸업생과 그렇지 않은 졸업생들의 역량을 비교한 것이며, 구체적으로 PBL 평가항목과 CPX 평가영역 간의 관련성을 분석한 연구는 거의 이루어지지 않았다. 이 연구에서 PBL 평가항목과 CPX 평가영역 간의 관련성이 밝혀지면, 의학과 1학년부터 시행하는 PBL 평가 결과와 관련성이 있는 임상수행능력의 영역을 미리 파악할 수 있고, 그 결과를 PBL 운영 시 활용하면 임상수행능력 향상에 도움이 될 것이다.
대상 및 방법
1. 연구 대상 및 자료
이 연구는 C대학교 의과대학․ 의학전문대학원에 재학 중인 의학과 3학년 117명을 대상으로 하였다. 이들의 의학과 1학년부터 3학년까지의 PBL 성적과 의학과 3학년 때 실시한 CPX 점수를 수집하였다.
2. PBL 절차와 평가 방법
PBL은 의학과 1학년부터 3학년까지 이루어지는데, 의학과 1학년과 2학년은 각각 6개 모듈에 대한, 그리고 3학년은 11개 모듈에 대한 PBL을 진행하였다. 하나의 PBL 모듈에 대해 2회의 소집단 토의와 1회의 전체토의(colloquium)를 실시한다. 첫 번째 소집단 토의에서는 PBL 사례에 대한 가설을 설정하고 증거와 추론에 근거한 해결책을 모색하면서 학습과제(learning issues)를 도출한다. 첫 번째 소집단 토의가 끝난 후 학생들은 소집단 토의에서 도출한 학습과제 해결을 위해 자기학습(self-study)을 한 다음 두 번째 소집단 토의에서 그 결과를 발표하고 내용을 공유한다. 두 번째 소집단 토의가 끝난 후 각 팀별 개념도를 제출하고 PBL 모듈을 개발한 교수와 함께 하는 전체토의에 참여한다.
PBL 평가는 튜터 평가(tutors’ evaluation), 보고서(report), 그리고 지필 평가(written examination)로 구성되었다. 튜터 평가는 튜터가 학생들의 문제이해력(contribution to group content), 참여도(contribution to group process), 그리고 태도(professional behavior)를 3점 척도로 평가한다. 문제이해력은 주어진 문제에 대한 정의, 가설 설정, 가설 검증을 위한 자료 해석 및 추론, 요약 정리 등으로, 참여도는 사회자 및 서기로서의 역할, 토론에의 적극성, 진행에 도움이 되는 발언, 의사소통 기술(자신감, 설득력 등) 등으로, 그리고 태도는 타인의 의견에 대한 경청 태도, 지각과 결석, 토의에 참여하지 않은 친구에 대한 참여 유도, 시간 관리 등으로 평가된다. 보고서는 소집단 토의 결과를 정리한 그리드(grid), 소집단 토의에서 해결하지 못한 내용을 학생들이 개별학습을 통해 각자 준비해 와서 동료들에게 발표하는 학습과제 보고서, 학습한 내용을 요약 정리하여 자유롭게 도표로 표현하여 제출하는 개념도(case map) 등으로 평가되었다. 지필 평가는 학년별로 PBL 교육과정이 마무리 된 후 학생들의 지식과 이해를 평가하기 위해 실시되었다.
3. CPX 절차와 평가영역
CPX는 의학과 3학년 핵심과목 임상실습이 끝난 학년말에 실시되었다. CPX는 표준화 환자 프로그램을 위한 전라컨소시움에서 공동으로 개발한 6개 문항(수면장애, 관절통증, 쉽게 멍이 듦, 예방접종, 객혈, 혈변)으로 진행되었으며, 시험방별 시간 배정은 상황 소개 1분, 환자대면시간 10분, 그리고 사이 시험 5분으로 하였다. CPX 점수는 병력청취(history taking), 신체진찰(physical examination), 정보공유(information sharing), 환자-의사관계(patient-physician interaction) 등의 평가 영역에 따라 표준화 환자가 채점한 결과이다. 환자-의사 관계 채점 항목은 6개 문항 모두 공통으로 적용되었으며, ‘효율적으로 잘 물어보았다.’, ‘나의 말을 잘 들어 주었다.’, ‘나의 입장을 이해하려고 노력하였다.’, ‘환자가 이해하기 쉽게 설명하였다.’, ‘나와 좋은 유대 관계를 형성하려고 했다.’ 등에 대해 4점 Likert 척도로 평가되었다.
4. 자료 분석
PBL 성적은 전체 및 학년별로, 평가항목별로 분류하였고, CPX 점수는 병력청취, 신체진찰, 정보공유, 환자-의사관계로 분류하여 상관관계분석을 시행하였다. 통계처리는 IBM SPSS Statistics version 18.0 (SPSS Inc., Chicago, USA)을 사용하였다.
결과
1. PBL 성적과 CPX 점수와의 관련성
PBL 성적과 CPX 점수 간의 상관관계는
Table 1과 같다. 전체 PBL 성적은 CPX 평가영역 중 환자-의사관계(r=0.272, p=0.003)와 유의한 양적 상관이 나타났다. 학년별로는 의학과 1학년 PBL 성적은 CPX 점수와 통계적으로 유의한 관련성이 없었다. 의학과 2학년 PBL 성적은 CPX 평가영역 중 병력청취(r=0.186, p=0.044)와 환자-의사관계(r=0.213, p=0.021)와 유의한 양적 상관이 나타났다. 그리고 의학과 3학년 PBL 성적은 신체진찰(r=0.248, p=0.007)과 환자-의사관계(r=0.283, p=0.002)와 양적 상관을 보였다.
PBL 평가항목별 성적과 CPX 점수 간의 상관관계는
Table 2와 같다. 튜터 평가 점수는 CPX 평가영역 중 신체진찰(r=0.187, p=0.044)과 환자-의사관계(r=0.343, p=0.000)와 유의한 양적 상관을 보였다. 보고서 점수는 CPX 평가영역 중 환자-의사관계와(r=0.210, p=0.023), 지필시험 점수는 신체진찰과 양적 상관을 보였다(r=0.214, p=0.021).
튜터 평가의 하위 척도별 점수와 CPX 점수 간의 상관관계는
Table 3과 같다. 튜터가 평가한 참여도 점수는 CPX 평가 영역 중 환자-의사관계와 양적 상관이 나타났고(r=0.186, p=0.045), 문제이해력 점수는 신체진찰과 양적 상관을 보였다(r=0.187, p=0.044).
고찰
이 연구는 의학교육에서 과정 중심의 질적인 평가에 초점을 맞춘 PBL의 평가 결과와 CPX 성적 간의 관련성을 파악하고자 하였다.
학년별 PBL 성적과 CPX 점수 간의 상관관계를 살펴보면 학생들의 1학년 PBL 성적과 CPX 점수 사이에 유의한 상관이 없었다. 그러나 2학년과 3학년 PBL 성적과 CPX 점수 간에 유의한 상관이 나타났는데, 병력청취나 신체진찰과 같은 진단적 접근과 환자-의사관계와 유의한 관련성을 보였다. 임상적 문제를 해결하기 위해서는 기초의학과 임상의학의 통합된 지식 활용과 문제해결능력이 필요하다[
11]. 아직 1학년의 교육과정은 주로 기초의학으로 구성되어 있음을 고려해 볼 때 1학년 PBL 성적은 CPX 점수와 관련이 없었던 것으로 추정된다. 학년이 올라감에 따라 PBL 경험이 축적되면서 학생들은 동료와의 상호작용을 통해 문제에 대한 정확한 이해와 적합한 진단적 접근에 따른 문제해결능력과 의사소통능력이 향상되었다고 추론할 수 있고 이는 기존 연구 결과와 일치한다[
7,
9,
10].
PBL 평가항목별 성적과 CPX 점수 간의 관련성을 살펴보면, 튜터 평가와 보고서 점수는 환자-의사관계와 양적 상관을 보였다. 즉, 학생들의 문제이해력, 참여도, 태도 등에 대한 튜터 평가와 학생들이 제출한 학습과제 보고서 및 개념도에 대한 평가에서 우수한 학생들이 CPX 평가영역 중 환자-의사관계 점수도 높게 나타났다. 이는 PBL 학습과정에 적극적으로 참여한 학생들이 그렇지 않은 학생들보다 의사소통능력이 더 개발되고, CPX에서 요구하는 환자-의사관계에도 영향을 주었다고 해석할 수 있다.
PBL 튜터 평가와 CPX 점수 간의 관련성에서는 학생들의 참여도와 환자-의사관계 간에, 그리고 문제이해력과 신체진찰 간에 양의 상관을 보였다. PBL 토의과정을 통해 학생들은 동료와의 대인관계를 향상시키고 자신의 생각에 대한 반대 의견에 귀담아들을 수 있으며 건설적인 비평을 제시하여 상대를 설득할 수 있는 기술을 연마하게 된다[
12]. 그러므로 PBL 과정에서 적극적인 참여와 문제해결을 위한 의견 제시 및 동료와의 소통 기술을 보인 학생들은 CPX에서도 좋은 환자-의사관계를 보인 것으로 생각된다. 또한 CPX에서 신체진찰은 어떤 진찰을 수행했는가와 함께 어떻게 수행했는지 진찰 술기의 능숙함을 평가하는 시험으로, 튜터 평가의 문제이해력과 상관을 보였다. PBL 토의과정에서 문제를 정확히 파악하고 난 이후 가설을 세워 방법을 제시할 수 있는지에 대한 튜터 평가의 문제이해력과 환자가 호소하는 증상의 원인 규명을 위해 표준화 환자와의 대면을 통해 습득한 정보를 근거로 수행되는 CPX의 신체진찰이 유의한 상관을 보였다는 점에서 그 의의가 있다.
이 연구의 제한점은 일개 의과대학 학생만을 대상으로 하여 대표성에 문제가 있을 가능성이 있다는 점이다. 그리고 PBL 성적과 CPX 성적과의 단순 상관관계만을 파악했으며, 학년별 전체 성적이 고려되지 않아 PBL 성적과 CPX 성적과 직접적인 관련성을 단정지을 수 없다는 점이다. 그러나 이 연구는 의학과 3학년의 CPX 성적으로부터 의학과 1학년부터 3학년까지의 PBL 평가 결과를 후향적으로 수집하여 관련 있는 요소들을 분석했다는 데에 의의가 있다. 또한 이 연구결과 는 PBL 교육과정 설계와 실행, 평가에 임상수행능력을 향상시킬 수 있는 방안을 연계시킬 수 있는 가능성을 제공하고 있다. 먼저 PBL 모듈 설계 시 임상수행능력을 고양할 수 있는 주제를 선택하여, PBL 모듈을 통해서 학생들이 꼭 알아야 할 흔한 임상 상황과 마주하게 하며, 문제 해결을 위해 이미 알고 있는 지식을 활용하고 알게 된 지식을 기억하는 데 도움이 되도록 해야 한다[
13]. 또한 PBL 토의 과정에 역할극 등을 도입하여 학생들이 병력청취, 신체진찰, 환자와의 정보공유, 의사소통능력을 기를 수 있도록 해야 한다. 그리고 튜터 평가와 CPX의 환자-의사관계와의 관련성에 주목할 필요가 있다. CPX의 환자-의사관계는 단시일 내에 획득하기 어려운 내용이기 때문에 의학과 1학년부터 시행하는 PBL을 통해 튜터가 그 결과를 피드백한다면 임상수행능력 향상에 도움이 될 것이다.
ACKNOWLEDGMENTS
This work was supported by a grant of the Chonnam National University in 2013 (number: 2013-2652).
ACKNOWLEDGMENTS
This work was supported by a grant of the Chonnam National University in 2013 (number: 2013-2652).
Table 1.Correlations between Problem-Based Learning and Clinical Performance Examination Category Scores
Table 1.
|
PBL scores |
CPX category scores
|
|
History taking |
Physical examination |
Information sharing |
Patient-physician interactions |
|
1st year |
0.139 |
-0.009 |
-0.047 |
0.160 |
|
2nd year |
0.186*
|
0.168 |
-0.009 |
0.213*
|
|
3rd year |
0.050 |
0.248**
|
0.066 |
0.283**
|
|
Total |
0.152 |
0.159 |
0.002 |
0.272**
|
Table 2.Correlations between Problem-Based Learning Subscale and Clinical Performance Examination Category Scores
Table 2.
|
PBL subscale scores |
CPX category scores
|
|
History taking |
Physical examination |
Information sharing |
Patient-physician interactions |
|
Tutors’ evaluation |
0.116 |
0.187*
|
-0.031 |
0.343**
|
|
Report |
0.054 |
-0.060 |
0.033 |
0.210*
|
|
Written examination |
0.129 |
0.214*
|
0.070 |
0.157 |
Table 3.Correlations between Problem-Based Learning Tutors' Evaluation Subscale and Clinical Performance Examination Category Scores
Table 3.
|
PBL tutors’ evaluation subscale scores |
CPX category scores
|
|
History taking |
Physical examination |
Information sharing |
Patient-physician interactions |
|
Contribution to group content |
0.051 |
0.187*
|
0.020 |
0.061 |
|
Contribution to group process |
0.175 |
0.172 |
-0.048 |
0.186*
|
|
Professional behavior |
0.076 |
0.151 |
-0.059 |
0.167 |
REFERENCES
- 1. Park H. Clinical skills assessment in Korean Medical Licensing Examination. Korean J Med Educ. 2008;20:309-312.
- 2. Kim JJ, Lee KJ, Choi KY, Lee DW. Analysis of the evaluation for clinical performance examination using standardized patients in one medical school. Korean J Med Educ. 2004;16:51-61.
- 3. Koh SB, Park HJ. The correlation between the scores of written examination, the clinical clerkship examination, the clinical skill assessment, and the graduation examination of the medical students. Korean J Med Educ. 2009;21:347-352.
- 4. Hur Y, Kim S, Park SW. The correlation between CPX and written examination scores in medical students. Korean J Med Educ. 2007;19:335-341.
- 5. Choi EJ, Sunwoo S. Correlations of clinical assessment tools with written examinations. Korean J Med Educ. 2009;21:43-52.
- 6. Park WB, Lee SA, Kim EA, Kim YS, Kim SW, Shin JS, Lee YS. Correlation of CPX scores with the scores of the clinical clerkship assessments and written examinations. Korean J Med Educ. 2005;17:297-303.
- 7. Norman GR, Wenghofer E, Klass D. Predicting doctor performance outcomes of curriculum interventions: problem-based learning and continuing competence. Med Educ. 2008;42:794-799.
- 8. Santos-Gomez L, Kalishman S, Rezler A, Skipper B, Mennin SP. Residency performance of graduates from a problem-based and a conventional curriculum. Med Educ. 1990;24:366-375.
- 9. Neville AJ. Problem-based learning and medical education forty years on: a review of its effects on knowledge and clinical performance. Med Princ Pract. 2009;18:1-9.
- 10. Koh GC, Khoo HE, Wong ML, Koh D. The effects of problem-based learning during medical school on physician competency: a systematic review. CMAJ. 2008;178:34-41.
- 11. Barrows HS, Tamblyn RM. Problem-based learning: an approach to medical education. New York, USA: Springer; 1980.
- 12. Neufeld VR, Barrows HS. The "McMaster Philosophy": an approach to medical education. J Med Educ. 1974;49:1040-1050.
- 13. Mandin H, Jones A, Woloschuk W, Harasym P. Helping students learn to think like experts when solving clinical problems. Acad Med. 1997;72:173-179.
