Abstract
-
Purpose:
This study analyzed the perceptions of medical students and faculty regarding disclosure of test items on the Korean medical licensing examination.
-
Methods:
I conducted a survey of medical students from medical colleges and professional medical schools nationwide. Responses were analyzed from 718 participants as well as 69 faculty members who participated in creating the medical licensing examination item sets. Data were analyzed using descriptive statistics and the chi-square test.
-
Results:
It is important to maintain test quality and to keep the test items unavailable to the public. There are also concerns among students that disclosure of test items would prompt increasing difficulty of test items (48.3%). Further, few students found it desirable to disclose test items regardless of any considerations (28.5%). The professors, who had experience in designing the test items, also expressed their opposition to test item disclosure (60.9%).
-
Conclusion:
It is desirable not to disclose the test items of the Korean medical licensing examination to the public on the condition that students are provided with a sufficient amount of information regarding the examination. This is so that the exam can appropriately identify candidates with the required qualifications.
-
Key Words: Item disclosure, Medical licensing examination, Perception
서론
한국보건의료인국가시험원은 2012년도 제76회, 2013년도 제77회 및 2014년도 제78회 의사면허국가시험 필기 출제문제를 공개하고, 2015년도 제79회 이후에도 계속 공개할 것인가에 대해서는 출제문제 공개 경험을 바탕으로 재논의하기로 하였다. 의사면허국가시험 출제문제 공개 정책은 많은 사회적 쟁점과 연결되어 있다. 예를 들어, 2011년 출제문제 공개 결정 배경에는 의사면허국가시험의 투명성 제고뿐만 아니라 학생에 의한 출제문제 복원 및 유출이라는 문제와도 무관하지 않았다. 출제문제 공개는 문제은행 유지와 관리, 시험문항의 난이도, 합격선 설정, 시험 출제방식의 변화 및 시험 관련 비용에 직․ 간접적으로 영향을 미친다. 국가면허시험 또는 자격시험의 출제문제 공개와 관련한 다양한 연구들이 1970년대 이후 지금까지도 계속되고 있다. 특히 TOEFL, Scholastic Aptitude Test 등의 시험에 있어서 출제문제 공개와 문항 난이도, 문항 재활용, 합격선 설정 그리고 응시자 수행능력 변화와의 관계를 탐구한 연구가 있었다. 이러한 연구 결과로 다양한 의견이 도출되었다. 어떤 연구는 출제문제 공개가 학생의 시험 수행 능력에 큰 영향을 미친다고 주장하는 반면[
1,
2,
3], 다른 연구는 출제문제 공개가 미치는 영향이 크지 않다는 결론을 도출하였다[
4,
5,
6].
출제문제 공개는 수험자가 정답을 확인하고 그 점수가 올바로 채점되었는지를 스스로 확인하고, 다양한 전문가들이 시험문항의 편향성을 점검할 수 있는 장점이 있지만 여러 가지 문제점이 수반된다. 가장 흔히 지적되는 문제는 출제문제를 공개했을 때 나타날 수 있는 시험의 타당도와 신뢰도 저하이다[
1,
7]. 또한, 출제문제가 공개되면 시험의 형태 및 특성이 달라질 수 있기 때문에 연도별 시험을 동등한 선에서 비교 분석하기 어렵게 된다[
3]. 출제문제가 공개되는 경우에는 공개된 문항을 재활용하는 데에 제약이 따르게 되고 매회 문항을 새로 만들기 위한 상당한 재정적 및 시간적 비용을 감수해야 한다[
2,
8]. 이러한 제약과 한계 때문에 국가면허시험 또는 자격시험의 출제문제 공개 정책은 미국, 캐나다 및 유럽 국가들 사이에 현실화되지 못하였다. 그럼에도, 출제문제 공개를 지지하는 견해는 수험생이 시험 문항, 정답 및 관련 데이터를 볼 수 있는 권리가 있음을 강조한다[
9]. 즉, 자격시험의 출제문제는 공개적으로 점검하고 검토하여야 할 대상이라는 것이다. 이들은 출제문제 공개가 시험의 타당성에 큰 영향을 미치지 않으며[
5,
6], 시험 담당 기관이 앞으로 시험 문제를 어떻게 관리하느냐에 따라서 시험의 안정성이 충분히 유지될 수 있다고 말한다[
4].
의과대학과 의학전문대학원 학생들은 의사면허국가시험 출제문제 공개 관련 정책에 크게 영향을 받는 집단이다. 2011년도에 3년 동안 한시적으로 의사면허국가시험 출제문제 공개 정책을 결정한 것도 학생들에 의한 출제문제 복원이 중요한 이유였다. 출판사에서 의사면허국가시험 문제집을 발간하여 학생들을 대상으로 판매한 것도 학생 집단이 의사면허국가시험 출제문제 공개 관련 정책에 중요한 이해관계자 중의 하나임을 말해 준다. 이런 맥락에서 의과대학과 의학전문대학원 학생들이 의사면허국가시험 필기 출제문제 공개에 대해 어떤 인식을 하고 있는지를 분석하는 것은 출제문제 공개 관련 정책을 결정하는 데 있어 중요한 정보를 제공한다. 본 연구는 의과대학과 의학전문대학원 학생들이 의사면허국가시험 출제문제 공개 또는 비공개 정책을 통해 얻을 수 있는 장점을 어떻게 인식하고 있는지 분석하고, 어떤 조건이 형성되었을 때 비공개가 가능한지 탐색하였다. 아울러, 학생들이 의사면허국가시험 준비를 어떻게 하는지 알아보고, 의사면허국가시험 출제 교수는 문제 공개에 대해 어떤 인식을 하고 있는지 분석하였다.
대상 및 방법
본 연구는 전국 의과대학과 의학전문대학원에 재학 중인 3학년과 4학년 재학생을 대상으로 하였다. 2014년 5월 12일부터 5월 30일까지 구글 설문조사 시스템을 이용하여 온라인 조사를 시행하였으며, 총 738명(입학정원 기준 3, 4학년 재학생 약 6,116명의 12.1%)이 응답하였다. 이들 중 미응답 문항이 있는 경우를 제외하고 718명의 자료가 분석에 포함되었다. 응답자 분포는 실제 모집단 분포와 큰 차이가 없었는데, 의과대학 314명(43.7%, 모집단 44.8%), 의학전문대학원 404명(56.3%, 모집단 55.2%), 여자 258명(35.9%, 모집단 39.6%), 남자 460명(64.1%, 모집단 60.4%), 수도권 204명(28.4%, 모집단 32.2%), 비수도권 514명(71.6%, 모집단 67.8%)이었다. 응답자 스스로 인식한 자신의 학업성취 수준은 상위 229명(31.9%), 중간 382명(53.2%), 하위 107명(14.9%)이었다. 의사면허국가시험 출제문제 공개에 대한 학생 인식을 조사하기 위하여 선행 연구[
7,
10,
11] 결과를 바탕으로 연구자가 개발한 도구를 사용하였으며, 전문가 3인(의과대학 교육측정평가 전공 교수 1인, 한국교육과정평가원 교육측정평가 전공 박사 1인, 의과대학 의료법 윤리 전공 교수 1인)의 자문을 통해 조사 문항의 내용 타당도를 확보하였다. 아울러 의과대학과 의학전문대학원 학생 4명(의과대학의학전문대학원학생협회 임원)에게 모의 설문조사를 실시하여 문항의 이해 정도, 응답 범주의 배타성과 포괄성을 확인하여 수정하였다. 설문조사지는 총 14문항으로 구성되었으며, 응답자의 개인 정보와 관련된 5개 문항(소속대학, 학년, 성별, 학업성취수준, 희망진로), 의사면허국가시험 출제문제 공개 정책 관련 8개 문항(공개 정책에 대한 인지, 공개 장점, 비공개 장점, 비공개 조건, 시험 난이도, 공개 문항 활용, 시험 준비 시기, 국가시험 학습자료) 및 출제문제 공개 및 비공개 정책 의견을 자유롭게 기술하는 주관식 1개 문항으로 구성되었다. 출제문제 공개 정책 관련 8개 문항은 범주형 문항으로 학생들의 인식과 가장 가까운 보기를 선택하도록 하였다. 자료 분석은 조사 문항별로 빈도분석을 실시하고, 대학 유형, 성별, 대학 소재지 및 학업성취도 수준별로 chi-square 검증을 하였다.
의사면허국가시험 출제문제 공개에 대한 교수들의 인식을 알아보기 위하여 2009년~2013년에 의사면허국가시험 출제문항개발 위원으로 참여한 103명을 대상으로 2013년 9월에 설문조사를 시행하였다. 이 설문조사는 한국보건의료인국가시험원이 주관하였으며, 해당 기관의 동의를 얻어 설문조사에 응답한 69명의 자료(응답률 66.9%)를 분석에 포함하였다. 설문조사 도구는 응답자의 개인 정보 관련 4문항, 의사면허국가시험 출제 문제 공개 관련 인식 6문항, 출제문제 공개가 의과대학 학습 및 출제에 미치는 영향 5문항, 출제참여 의지 및 자유 의견 기술 각 1문항으로 구성되었다. 분석에 포함된 응답자는 40대 31명, 50대 35명, 60대 3명이었으며, 의사면허국가시험 출제 문항개발 경험이 2회 이상인 응답자는 59명, 이 중 35명은 4회 이상 경험이 있었다. 출제문제 공개가 의과대학 학습 및 출제 참여에 미치는 영향은 5점 Likert scale (1: 전혀 아니다, 2: 아니다, 3: 보통이다, 4: 그렇다, 5: 매우 그렇다)로 구성되었으며, 나머지 문항은 범주형 문항으로 구성되었다. 자료 분석은 조사 문항별로 빈도분석 및 기술통계량을 산출하였다. 학생 및 교수의 인식 조사 결과를 분석하기 위한 통계프로그램은 SAS version 9.12 (SAS Institute Inc., Cary, USA)를 이용하였으며, 유의수준은 0.05와 0.01 두 수준에서 검증하였다.
결과
1. 출제문제 공개 및 비공개 정책의 장점
의사면허국가시험 출제문제 공개가 갖는 장점은 이의신청을 통해 문항의 타당성과 정답 시비를 바로 잡을 기회가 있다(34.8%)는 의견과 국가시험의 경향을 파악하는 데 도움이 된다(31.0%)는 의견이 많았다(
Table 1). 기출문제를 모의고사로 활용하여 자신의 국가고시 준비상태를 파악하거나, 시험 종료와 함께 자신의 예상점수를 알 수 있다는 의견은 20% 이하의 반응을 보였다. 출제문제 공개 장점에 대한 의견은 집단 간 차이가 없었다.
의사면허국가시험 출제문제 비공개가 갖는 장점은 국가시험의 기능에 부합하는 문항의 질 관리를 위해서는 출제문제 비공개가 더 적절하다(33.4%)는 의견과 타당하고 신뢰로운 문항 개발을 위해서 출제문제 비공개를 통한 문제은행 유지가 더 중요하다(33.4%)는 의견이 많았다(
Table 1). 출제문제가 공개되는 경우 적정한 난이도를 유지하기 어렵다(27.8%)는 의견도 그 다음으로 많았다. 출제문제 비공개의 장점에 대한 인식은 성별, 대학 소재지 및 학업성취도 인식 수준에 따라 차이가 있었다. 국가시험의 기능에 부합하는 문항의 질 관리를 위해서는 출제문제 비공개가 더 적절하다는 의견 비율은 여학생이 높았으며(여학생 43.6% vs. 남학생 27.6%), 남학생은 출제 문항이 공개되는 경우 적정한 난이도를 유지하기 어렵다(여학생 19.9% vs. 남학생 32.3%)는 문항에 많이 반응하였다. 남학생과 여학생 모두 국가시험 출제 경향 및 샘플 문제집이 공개되기 때문에 실제 출제문제를 공개할 이유가 없다는 의견은 적었다(여학생 7.9% vs. 남학생 4.0%). 비공개를 통한 문항의 질 관리가 자격 검정이라는 국가시험의 기능에 더 부합한다는 의견은 비수도권 학생들이 많았으며(수도권 25.3% vs. 비수도권 36.8%), 다른 항목에서는 수도권과 비수도권 학생들의 반응에 큰 차이가 없었다. 학업성취도 수준에 따라서는 국가시험 출제 경향 및 샘플 문제집이 공개되기 때문에 실제 출제문항을 공개할 이유가 없다는 문항에 하위권 학생이 상대적으로 높은 반응을 보였으며(상위 3.3%, 중위 4.9% vs. 하위 12.0%), 상위권과 중위권 학생들은 출제문항이 공개되는 경우 적정한 난이도를 유지하기 어렵다는 문항에 많은 반응을 하였다(상위 31.6% vs. 중위 27.7% vs. 하위 20.0%).
학생들은 출제문제가 지속적으로 공개되는 경우 현재 수준의 난이도를 유지하기 위해서 문항개발 비용이 많이 소요되거나(34.5%), 출제문제 공개를 지속할수록 시험문항의 난이도는 올라갈 것으로 생각하였다(33.0%) (
Table 2). 이러한 응답 경향은 대학 유형, 대학 소재지에 따라 차이가 없었으나, 성별과 학업성취도 인식 수준별로는 차이가 있었다. 여학생보다 남학생들이 출제문제를 공개할수록 시험문항의 난이도가 올라갈 것으로 생각하였으며(여학생 27.2% vs. 남학생 36.2%), 상위권 학생들은 출제문제 공개에 따라 어느 정도 시험의 난이도가 올라갈 것이나 크게 문제되지 않을 것이라는 문항에 많이 응답한 반면, 중위권 학생들의 응답 비율은 낮았다(상위권 21.8%, 중위권 10.6% vs. 하위권 18.1%). 또한 출제문항 공개와 시험의 난이도는 관련이 없을 것이라는 의견은 중위권과 하위권에서 많았다(상위권 12.7%, 중위권 19.4% vs. 하위권 19.1%).
학생들은 일정한 조건이 충족되는 경우에는 의사면허국가시험 출제문제가 공개되지 않을 수 있다고 생각하였다(
Table 3). 학생들이 가장 많이 응답한 비공개 조건은 의사면허국가시험 출제문항 예제집이 공개되어 학생이 국가시험의 문항 유형을 파악할 수 있는 경우(30.8%), 의사면허국가시험의 출제 방향, 범위 및 내용에 관한 구체적 정보가 공개되는 경우(24.2%), 의사면허국가시험과 같은 형태의 모의고사가 있는 경우(16.5%) 등이었다. 어떤 경우에도 출제문항의 공개가 바람직하다(28.5%)는 의견은 전체 응답자의 30% 이하였다. 이러한 응답 경향은 대학 유형, 대학 소재지, 성별 및 학업성취도 인식 수준에 따라서 차이가 없었다.
학생들은 공개된 출제문제를 통해 의사면허국가시험이 어떤 형태로 출제되는지 파악하고(55.2%), 기출문제를 중심으로 관련 내용을 공부하는 데 사용한다고 응답하였다(33.9%)(
Table 4). 기출문제는 국가고시를 준비하는 데 큰 도움이 되지 않아 참고만 한다는 의견은 매우 낮았다. 출제문제 활용에 대한 인식은 대학 유형에 따라 차이가 있었는데, 의학전문대학원 학생들은 기출문제를 통해 국가시험이 어떤 형태로 출제되는지 파악한다는 문항에 많이 응답한 반면(의과대학 49.4% vs. 의학전문대학원 59.8%), 의과대학 학생들은 기출문제를 중심으로 관련 내용을 공부 한다는 응답이 많았다(의과대학 39.8% vs. 의학전문대학원 29.3%).
의사면허국가시험 중 필기시험을 4학년 1학기부터 준비한다고 응답한 학생이 가장 많았으며(53.4%), 4학년 2학기부터 준비한다는 학생들도 상당부문 있었다(31.4%) (
Table 4). 대학 소재지에 따라 의사면허국가시험 준비 시기의 차이가 있었는데, 3학년 때부터 국가시험을 준비한다고 응답한 비수도권 학생들이 많았고(수도권 8.4% vs. 비수도권 17.9%), 4학년 2학기 때부터 준비한다는 학생들은 수도권 비율이 높았다(수도권 37.1% vs. 비수도권 29.1%).
의사면허국가시험 준비 시 사용하는 학습자료에 대한 질문에서는 많은 학생이 국가고시 기출 문제집을 중심으로 공부한다(66.8%)는 의견이었으며, 국가고시 관련 선배들의 필기 노트와 문제집을 중심으로 공부한다(18.3%)는 의견도 많았다(
Table 4). 의과대학 학습 목표를 기초로 하여 교과서 중심으로 공부한다는 의견은 적었다. 의사면허국가시험 준비 관련 학습자료에 대한 인식은 대학 소재지에 따라서 차이가 있었다. 수도권 학생들은 국가고시 기출 문제집을 중심으로 공부한다는 응답 비율이 높았으며(수도권 76.7% vs. 비수도권 62.9%), 비수도권 학생들은 국가고시 관련 선배들의 필기 노트와 문제집을 중심으로 공부한다는 의견이 많았다(수도권 12.9% vs. 비수도권 20.4%). 대학 종합시험과 컨소시엄의 임상종합평가 문제를 중심으로 공부한다는 의견은 비수도권 학생들이 많았다(수도권 3.5% vs. 비수도권 8.5%).
교수들은 의사면허국가시험 출제문제 공개에 동의하지 않는다(60.9%)는 의견이 많았으며, 지속적인 출제 문제 공개도 가능하지 않다고 응답하였다(76.8%) (
Table 5). 출제문제 공개에 동의하지 않는 이유에 대해서는 기출문제 복원과 공유의 문제해결에 불충분하다는 의견이 가장 많았으며, 의과대학 교육에 미치는 부정적 영향, 도입 당시 이해당사자의 의견 수렴 미흡 등의 의견이 있었다. 반면, 출제문제 공개에 동의한다고 응답한 경우에는 시험 시행과정의 투명성 및 신뢰성 제고에 대한 의견이 가장 많았으며, 응시자의 알 권리 충족 등의 의견을 제시하였다. 출제문제의 지속적인 공개가 가능하지 않은 이유로는 새로운 문항 개발의 어려움에 대한 의견이 많았으며, 공개에 따른 문항의 질 저하, 난이도 조절 어려움 등의 의견이 있었다. 지속적인 공개가 가능하다고 응답한 경우에는 문제은행 보유문항 확대, 새로운 문항유형 개발 및 일정한 난이도 유지가 가능하기 때문이라고 응답하였다.
교수들은 의사면허국가시험 출제문제 공개가 의과대학 교육, 학생들의 수업태도, 의료인의 직무능력 향상에 도움이 된다는 긍정적인 응답은 낮았으며, 출제문제 공개가 국가시험 출제작업 참여 결정에 영향을 미치며, 국가시험 출제작업 참여 시 피로도를 가중시킨다고 생각하였다(
Table 6).
고찰
본 연구는 의사면허국가시험 필기 출제문제 공개 정책에 대한 학생과 교수의 인식을 분석하였다. 출제문제 공개 정책을 결정할 당시 여러 가지 사회적 쟁점이 있었지만, 시험의 중요한 이해관계자인 학생의 공개 요구 및 알 권리 충족이 핵심 논리였다. 따라서, 학생들은 의사면허국가시험 출제문제 공개를 지속적으로 요구할 것으로 예상되었다. 본 연구에서는 이러한 예상과는 다른 결과가 도출되었다.
학생들은 의사면허국가시험 출제문제 공개가 이의신청을 통해 문항의 타당성과 정답 시비를 바로잡을 수 있고, 국가시험의 출제 경향을 파악할 수 있는 장점이 있다고 생각을 하였다. 그럼에도, 의사면허국가시험이 최소한의 자격을 갖춘 사람을 판별하여 자격을 부여하는 시험이 되어야 하고, 이를 위해서는 출제문제의 질 관리, 출제문제 비공개를 통한 문제은행 유지가 중요하다고 생각하였다. 출제문제의 공개가 갖는 장점을 강조하는 입장은 의사면허국가시험을 공정성(fairness)의 관점에서 바라본다. 공정성은 민주사회에서 정보의 접근성 보장에 기초를 두고, 응시자들이 원하는 경우 시험관련 모든 정보를 대중에게 공개해야 한다는 것이다[
12]. 반면, 출제문제 비공개가 갖는 장점을 강조하는 입장은 시험을 논리성(logic)의 관점에서 바라본다[
13]. 논리성은 국가시험이 최소한의 자격을 갖춘 응시자를 선별하는 것이 중요하기 때문에 측정학적 입장에서 시험의 타당도와 신뢰도를 강조하는 것이다[
2,
14]. 두 가지 논점 모두 간과해서는 안 될 중요한 논제를 다루고 있으므로 어느 한 쪽만을 반박할 수는 없다.
학생들이 출제문제 공개와 관련하여 가장 우려하는 사항은 시험의 난이도 상승이다. 많은 학생이 출제문제 공개로 난이도 상승을 우려하거나 난이도 유지를 위해 많은 비용이 소요될 것이라고 보았다. 학생들의 이러한 인식은 출제문제 공개가 합격률 증가를 가져온다는 Gilmer [
3]의 연구, 출제문제 공개는 응시자들이 시험 문항을 제대로 이해하지 않고도 공개된 문항의 정답을 상기하게 함으로써 미래의 시험에 큰 영향을 미친다는 Hale et al. [
1]의 연구 결과와는 상반되는 결과이다. 일반적으로 출제문제 공개는 시험의 난이도 하락으로 합격률 상승이 예상됨에도 학생들은 출제문제가 지속적으로 공개되는 경우에는 전체적인 합격률 유지를 위해서 시험의 난이도 수준 조절을 예상하였다. 즉, 출제문제 공개로 문제은행을 유지할 수 없게 될 때에는 난이도를 안정적으로 확보하기 어렵고, 기출 문제와의 중복을 우려하여 시험이 어렵게 출제될 가능성이 있다는 것이다. 미국의과대학협회는 지속적인 출제문항 공개는 문항의 재활용 불가로 난이도 편향이 나타날 수 있음을 지적하였으며[
8], Park et al. [
10]은 의사면허국가시험 출제문제가 의과대학 학습목표에 없는 경우가 17% 이상임을 지적하였는데, 이러한 현상이 출제문제의 난이도 상승을 인지하게 하는 요인이 될 수 있다고 보고하였다.
본 연구의 흥미로운 결과는 일정한 조건이 충족되는 경우에는 의사면허국가시험 출제문제의 비공개가 바람직하다는 의견이 학생들로부터 제시되었다는 점이다. 예를 들어, 어떤 경우에도 출제문제가 공개되는 것이 바람직하다는 의견은 전체 응답자의 30% 미만이었다. 출제문제 비공개에 동의하는 경우에도 출제문제 복원을 염두에 둔 것인지 알 수는 없지만, 구체적인 시험 정보 제공, 의사면허국가시험 샘플 문항 공개 및 모의시험 등이 제공되는 경우에는 출제문제 복원의 필요성이 크지 않을 것으로 보인다. 따라서 학생들이 제시한 출제문제 비공개의 조건은 심도 있게 검토될 필요가 있다. Yang et al. [
15]은 출제문제를 비공개 하는 경우에는 응시자에게 의사면허국가시험의 출제 경향, 범위, 출제문제의 유형 등에 대한 충분한 정보가 제공되어야 한다고 주장하였다. 동일한 맥락에서 미국 의사시험기관은 의사면허시험(United States Medical Licensure Examination)에 관한 구체적인 정보를 담고 있는 자료집을 매년 발간하고, 모의시험을 제공하고 있다[
16].
학생들이 의사면허국가시험 준비를 위해 출제문제를 어떻게 활용하는지, 어떤 학습자료를 사용하는지를 분석한 결과에서는 일정한 기준이 충족되는 경우에 출제문제 비공개가 가능하다는 견해와는 다른 의견이 도출되었다. 예를 들어, 기출문제는 국가고시를 준비하는 데 도움이 되지 않아 참고만 하려고 한다는 비율이 매우 낮았으며, 기출문제를 중심으로 국가고시 준비를 하겠다는 의견이 66.8%나 되었다. 이러한 결과는 학생들이 공개된 출제문제를 중요한 학습자료로 활용할 계획임을 의미한다. 즉, 학생들은 이상적으로는 출제문제 비공개를 통해 국가시험의 안정적 운영이 필요하다는 점에 공감하지만, 현실적으로는 공개된 출제문제를 활용하여 국가시험을 준비할 수밖에 없다고 인식하는 것으로 보인다. 따라서, 의사면허국가시험 출제문제가 비공개 될 때에는 충분한 수준의 시험 관련 정보가 제공되는 것이 중요하다고 할 수 있다.
한편, 의사면허국가시험 출제 문항 개발에 참여한 경험이 있는 교수들은 출제문제 공개에 부정적인 의견을 밝히고 있는데, 새로운 문항 개발의 어려움, 출제문제 공개에 따른 문제의 질적 수준 저하, 난이도 조절 어려움 등 시험의 측정학적 기능을 더 중요하게 지적하였다. 즉, 우리나라와 같이 합격선이 60점으로 고정된 경우에는 출제문제 공개로 문제의 질적 수준이 저하되고, 난이도 조절이 실패할 경우에는 합격과 불합격의 경계선에 있는 응시자를 판별할 수 없게 된다. 이러한 결과는 자연스럽게 의사면허국가시험의 타당도와 신뢰도 문제로 연결될 가능성이 있다[
14]. 미국심리학회, 교육학회 및 교육측정학회에서 발간한 “교육 및 심리 측정 시험 기준”에 따르면, 각종 자격시험은 합격자와 불합격자를 가늠할 수 있는 신뢰로운 시험으로 설계되어야 한다는 점을 강조하였다[
11]. 또한, 교수들은 출제문제 공개는 학생들에게 학습목표를 중심으로 교과서를 공부하기보다는 시험문제 중심의 학습을 조장할 수 있다는 점을 지적하였다. 학생 인식조사 결과에서도 국가시험 준비를 위해 교과서 중심으로 학습을 한다는 학생이 매우 낮았다는 점에서 교수들의 이러한 지적은 의미있다고 할 수 있다.
의사면허국가시험 출제문제 공개에 대한 학생과 교수의 인식 조사 결과를 종합해 보면, 의사면허국가시험이 최소한의 자질을 갖춘 응시자를 판별하는 자격 검증 기능에 충실하도록 문제은행을 유지하고, 출제문항 비공개 정책을 유지하는 것이 바람직하다. 이와 동시에 의사면허국가시험의 중요한 이해관계자인 학생들에게 충분한 정보를 제공하기 위하여 매년 시험 가이드라인을 제작하여 배포하고, 의사면허국가시험 문제은행에서 퇴출되는 문항, 이미 출제된 문제 중 일부를 선정하여 의사면허국가시험 문제 표본집을 제작하며, 한국의과대학의학전문대학원협회가 주관하는 기본의학 종합평가를 의사면허국가시험의 모의고사로 활용할 수 있도록 기회를 확대할 필요가 있다.
ACKNOWLEDGMENTS
This study was supported by a research grant of National Health Personnel Licensing Examination Board for 2014 (RE3-1406-01).
ACKNOWLEDGMENTS
This study was supported by a research grant of National Health Personnel Licensing Examination Board for 2014 (RE3-1406-01).
Table 1.Students’ Perceptions on Test Item Disclosure and Nondisclosure in the Korean Medical Licensing Examination
Table 1.
|
Options |
No. (%) |
χ2
|
|
Disclosure |
An examinee can calculate his/her scores upon completion of the medical licensing examination. |
103 (14.6) |
Type=3.422 |
|
Location=2.175 |
|
An examinee can have the opportunity to verify question validity and correct possible errors on the exam by filing an objection. |
246 (34.8) |
Gender=2.059 |
|
Achievement=2.681 |
|
Disclosure is helpful for the examinee to identify medical licensing examination trends. |
219 (31.0) |
|
|
An examinee can check his/her preparedness by taking a mock test consisting of test items from previous medical licensing examinations. |
139 (19.6) |
|
|
Total |
707 (100.0) |
|
|
|
Nondisclosure |
Maintaining the quality of test items through nondisclosure policies is more important than the examinee's right to know. |
221 (33.4) |
Type=2.559 |
|
Location=9.135*
|
|
There is no need to make the actual items of medical licensing examinations available to the public because the trends and sample tests, which are similar to the actual test, are available. |
36 (5.4) |
Gender=26.968**
|
|
Achievement=14.586*
|
|
The item bank should be maintained in order to develop valid and reliable medical licensing examinations. |
221 (33.4) |
|
|
It is hard to maintain a proper level of difficulty when the test items are made public. |
184 (27.8) |
|
|
Total |
662 (100.0) |
|
Table 2.Influence of Test Item Disclosure on Level of Difficulty
Table 2.
|
Options |
No. (%) |
χ2
|
|
The level of difficulty is expected to rise to some extent, but it will not cause serious problems. |
109 (15.3) |
Type=1.574 |
|
Location=4.510 |
|
The current level of difficulty would be maintained, but the cost of designing items would rise considerably. |
245 (34.5) |
Gender=8.483*
|
|
Achievement=18.809**
|
|
The longer disclosure policies continue, the higher the level of difficulty will become. |
234 (33.0) |
|
|
There would be no correlation between the two. |
122 (17.2) |
|
|
Total |
710 (100.0) |
|
Table 3.Necessary Conditions to Achieve Test Item Nondisclosure
Table 3.
|
Options |
No. (%) |
χ2
|
|
KMLE sample tests are available so that students can study the types of test items. |
219 (30.8) |
Type=3.648 |
|
Specific information on the direction, scope, and contents of the KMLE should be made public. |
172 (24.2) |
Location=2.159 |
|
Mock item sets, designed in the same format as the KMLE, should be available. |
117 (16.5) |
Gender=4.167 |
|
It is desirable to disclose KMLE test items no matter what. |
202 (28.5) |
Achievement=3.648 |
|
Total |
710 (100.0) |
|
Table 4.Students’ Preparation for the Korean Medical Licensing Examination
Table 4.
|
Options |
No. (%) |
χ2
|
|
Usage of disclosed test item |
To figure out the types of questions. |
396 (55.2) |
Type=9.364*
|
|
To use the actual KMLE test sets to measure my level of preparedness. |
72 (10.1) |
Location=0.898 |
|
To use the actual test sets as a reference to determine parts on which I should focus while studying. |
243 (33.9) |
Gender=4.745 |
|
Achievement=6.335 |
|
Actual test sets are not helpful in preparing for the exam. |
6 (0.8) |
|
|
Total |
717 (100.0) |
|
|
|
Phase to begin KMLE preparation |
From junior year. |
108 (15.2) |
Type=1.529 |
|
From first semester of senior year. |
380 (53.4) |
Location=1 1.567**
|
|
From second semester of senior year. |
223 (31.4) |
Gender=1.039 |
|
Total |
711 (100.0) |
Achievement=1.728 |
|
|
Study materials |
Studying based on textbooks. |
56 (7.9) |
Type=1.025 |
|
Studying based on notebooks and workbooks written and used by seniors. |
130 (18.3) |
Location=14.107**
|
|
Studying based on test items from comprehensive examinations handled by college or consortium. |
50 (7.0) |
Gender=5.440 |
|
Achievement=6.038 |
|
Studying based on the compilation of actual KMLE sets. |
475 (66.8) |
|
|
Total |
711 (100.0) |
|
Table 5.Faculty’s Perceptions on Test Item Disclosure in the Korean Medical Licensing Examination
Table 5.
Disclosure
|
Rationale |
No. (%) |
|
Options |
No. (%) |
|
Agree |
27 (39.1) |
Prevent replication and sharing test items by students |
1 (3.8) |
|
|
Improve transparency and credibility in exams |
19 (73.1) |
|
|
Applicant's right to know |
6 (23.1) |
|
|
Other |
1 (3.8) |
|
|
Total |
27 (100.0) |
|
Do not agree |
42 (60.9) |
Insufficient solution for replication and sharing test items |
23 (54.8) |
|
|
Negative effect on medical education |
11 (26.2) |
|
|
Insufficient gathering of stakeholders' opinions |
4 (9.5) |
|
|
Other |
4 (9.5) |
|
Total |
69 (100.0) |
Total |
42 (100.0) |
|
Continuous disclosure
|
Rationale
|
No. (%)
|
|
Options
|
No. (%)
|
|
|
Possible |
16 (23.2) |
Keeping item difficulty stable |
2 (12.5) |
|
|
Viability of item bank expansion |
9 (56.3) |
|
|
Feasibility of new test item generation |
4 (25.0) |
|
|
Other |
1 (6.3) |
|
|
Total |
16 (100.0) |
|
Impossible |
53 (76.8) |
Too much hassle developing new test items |
26 (50.0) |
|
|
Possibility of failure in item difficulty control |
12 (23.1) |
|
|
Drop in quality of test items |
13 (25.0) |
|
|
Other |
1 (1.9) |
|
Total |
69 (100.0) |
Total |
52 (100.0) |
Table 6.Faculty’s Perception on Influence of Test Item Disclosure on Medical Education and Willingness to Participate in Item Development
Table 6.
|
Options |
Likert scalea) (Mean±SD) |
|
Test item disclosure has a positive effect on teaching and learning. |
2.7±1.3 |
|
Test item disclosure has a positive effect on students' attitudes in class. |
2.5±1.0 |
|
Test item disclosure improves competencies of medical professionals. |
2.5±0.9 |
|
Test item disclosure affects decisions regarding participation in the designing of actual Korean medical licensing examination item sets. |
3.6±1.1 |
|
Test item disclosure increases test designers' level of fatigue. |
4.2±0.9 |
REFERENCES
- 1. Hale GA, Angelis PJ, Thibodeau LA. Effects of item disclosure on TOEFL performance. Princeton, USA: Education Testing Service; 1980.
- 2. Bower DR. Test disclosure and bias issues: the New York experience. Fed Bull. 1987;74:197-202.
- 3. Gilmer JS. The effects of test disclosure on equated scores and pass rates. Appl Psychol Meas. 1989;13:245-255.
- 4. Stricker LJ. Test disclosure and retest performance on the SAT. Appl Psychol Meas. 1984;8:81-87.
- 5. Powers DE, Fowles ME. Effects of preexamination disclosure of essay topics. Appl Meas Educ. 1998;11:139-157.
- 6. Wood TJ. The effect of reused questions on repeat examinees. Adv Health Sci Educ Theory Pract. 2009;14:465-473.
- 7. Green BF. Issues in testing: coaching, disclosure, and ethnic bias. San Francisco, USA: Jossey-Bass; 1981.
- 8. Espinoza LG. The LSAT: narratives and bias. J Gend Law. 1993;1:121-164.
- 9. Greer D. Legal issues in truth-in-testing legislation. Rev High Ed. 1984;7:321-356.
- 10. Park JW, Yoon KY, Jeong HJ, Kim WG, Hwang HY. Discrepancy between the 2007 Korean medical licensing examination and the 2006 learning objectives for medical students. Korean J Med Educ. 2008;20:85-90.
- 11. American Educational Research Association; American Psychological Association; National Council for Measurement in Education; Joint Committee on Standards for Educational and Psychological Testing. Standards for educational and psychological testing. Washington, DC, USA: American Educational Research Association; 2014.
- 12. California Department of Consumer Affairs. What a licensing board member needs to know about testing. Sacramento, USA: California Department of Consumer Affairs; 1983.
- 13. Educational Testing Service. ETS standards for quality and fairness. Princeton, USA: Educational Testing Service; 2002.
- 14. Bersoff DN. Testing and the law. Am Psychol. 1981;36:1047-1056.
- 15. Yang EB, Park YS, Lee MA, Lee IH. Study on validity of item disclosure for medical licensing examination in Korea. Seoul, Korea: National Health Personnel Licensing Examination Board; 2014.
- 16. Federation of State Medical Boards; National Board of Medical Examiners. 2015 Bulletin of information. Philadelphia, USA: Federation of State Medical Boards; 2014.
