신뢰도에 대해서 알아보기

신뢰도 및 타당도

 

직업심리검사의 중요한 두 가지 기준은 신뢰도와 타당도이다. 신뢰도는 검사가 측정하고자 하는 것을 얼마나 일관성 있게 측정하는지를 나타내는 지표이다. 신뢰도는 어떻게 측정하느냐의 문제와 관련이 있다. 타당도는 검사가 측정하고자 하는 것을 얼마나 정확하게 측정하는지를 나타내는 지표이다. 타당도는 무엇을 측정하느냐의 문제와 관련이 있다. 신뢰도 추정방법 : 심리검사의 신뢰도를 추정하는 방법은  검사-재검사 신뢰도,동형 검사 신뢰도, 반분 신뢰도, 문항 내적 합치도가 있다. 검사-재검사 신뢰도는 동일한 검사를 동일한 사람에게 일정한 시간 간격을 두고 두 번 실시하여 두 점수 간의 상관계수를 구하는 방법이다. 안정성 계수를 사용하며, 안정성 계수가 높으면 신뢰도가 높고, 안정성 계수가 낮으면 신뢰도가 낮다. 

동형 검사 신뢰도는 두 개의 동형 검사를 동일한 사람에게 실시하여 두 점수 간의 상관관계수를 구하는 방법이다. 동형 검사를 제작하기가 어렵고 제작 전문가라도 두 개의 동형 검사를 제작하는 것은 쉽지 않다. 그러므로 실제 연구에서는 거의 사용되지 않는다. 동형 검사를 개발하는데 시간과 비용이 많이 소요된다. 반분 신뢰도는 전체 문항수를 반으로 나누어 실시해 두 점수 간의 상관계수를 구하는 방법이다. 내적 합치도 계수를 사용하며, 내적 합치도 계수가 높으면 신뢰도가 높고, 내적 합치도 계수가 낮으면 신뢰도가 낮다. 문항 내적 합치도는 문항 하나하나를 독립되니 검사로 보고 각 점수를 비교해 상관계수를 구한다. 검사-재검사 신뢰도에 영향을 미치는 요인은 이월효과, 반응 민감성 효과, 측정 속성의 변화, 응답자 속성의 변화, 개인적 요인의 변화, 환경적 요인의 변화가 있다. 이월효과: 첫 번째 검사에서 기억효과와 연습 효과가 두 번째 검사에 작용할 수 있다. 반응 민감성 효과 :  첫 번째 검사와 두 번째 검사 간의 시간 간격이 길고 짧음에 따라.. 신뢰도 계수의 크기가 달라질 수 있다. 즉 두 번째 검사를 실시할 때에 새로운 학습효과 성숙 효과가 나타날 수 있다. 측정 속성의 변화 : 두 번째 검사를 실시할 때에 피검사들이 특성 자체가 변화되었을 수도 있다. 즉 치검사자들의 연령, 측정하려는 특성의 본질 등의 변화가 나타날 수 있다. 응답자 속성의 변화 :  두 검사 시기에 피검사자들로 하여금 동일한 검사 동기와 검사태도를 갖도록 하기가 어렵다. 일부 비협조적인 피검사자들은 두 번째 검사에 불성실하게 응답하거나 응답을 거부할 수도 있다. 개인적 요인의 변화 : 두 검사 시기에 피검사자들의 신체적 정신적 상태가 모두 같다고 볼 수 없다. 환경적 요인의 변화 :  두 검사 시기의 물리적 환경에 따라서 검사 결과가 달라질 수 있는데, 이때 물리적 환경이란 온도, 습도, 날씨, 소음, 불쾌지수 등을 말한다. 동일한 유형의 유사한 심리검사에서 결과가 서로 다르게 나타나는 원인은 문항의 난이도와 이해, 반응 민감성 효과, 시행절차의 차이, 측정 속성의 변화, 응답자 속성의 변화, 개인적 요인의 변화, 환경적 요인의 변화가 있다. 

 

신뢰도

 

반분 신뢰도를 추정하기 위해서 사용하는 방법에 대해 알아보자. 전후 반분 법 : 한 검사를 문항 순서에 따라 전반부와 후반부로 나누는 방법이다. 비교적 문항 수가 적거나 문항의 곤란도가 골고루 배열되어 있는 경우에 적합한 방법이다. 기우 반분 법 : 한 검사를 문항의 번호에 따라 홀수 짝수로 나누는 방법이다. 검사 문항수가 비교적 많은 편이며, 곤란도에 따라서 문항이 배열되어 있는 검사에 적합항 방법이다. 짝진 임의 배치법 : 한 검사를 문항의 난이도와 문항의 총점 간의 상관계수를 토대로 나누는 방법이다.. 산출된 통계치는 촤표상의 산포도로 작성되며, 거시랑 가까이 위치한 두 문항끼리 짝을 지은 후 그중 한 문장을 임의로 선택하는 방식으로 검사를 양분한다. 난수 표법 :  한 검사를 난수표에 의해 두 부분을 나누는 방법이다. 통계조사방법의 하나로 사용되는 임의 주추 법에 해당하면 문항수를 임의로 해 반으로 나누어 신뢰도를 반영하는 방법이다. 측정오차를 줄이기 위한 방법: 측정의 신뢰도를 높이기 위해 측정오차를 줄이기 위한 방법에 대해 알아보자. -검사의 실시와 채점 과정을 표준화한다.-신뢰도가 검증된 표준화된 측정도구를 이용한다.-신뢰도에 나쁜 영향을 주는 문화를 제거한다.-문항수를 늘린다.-검사환경 등 균일한 검사 조건을 유지하며 오차 변량을 줄인다.-측정자와 태도가 측정방식의 일관성을 유지한다. 신뢰도 계수에 영향을 미치는 요인 1. 개인차 :  개인차가 존재하기 때문에 신뢰도가 존재한다. 만일 수검자의 개인차가 전혀 없을 경우는 수검자의 검사 점수가 모두 동일하게 나타나 신뢰도 계수는 0이 된다. 반면 개인차가 클 경우 검사 점수가 매우 낮은 점수에서부터 상당히 높은 점수까지 널리 분포하게 되어 신뢰도 계수는 더욱 높게 나타난다. 즉 개인차가 클수록 신뢰도가 높게 나타날 가능성이 크다. 2. 문항수 : 검사의 문항이 여러 개라는 것은 결국 하나의 특성을 여러 번 측정한다는 것을 의미한다. 따라서 검사의 문항수가 많을수록 신뢰도가 높에 나타날 가능성이 크다. 3. 문항에 대한 반응수 : 문항에 대한 반응수가 많을수록 신뢰도가 높게 나타날 가능성이 크다. 4. 문항의 난이도 : 문항들의 평균 난이도가 50%에 가까울수록 신뢰도가 높게 나타날 가능성이 크다. 5 검사유형 : 검사유형에 따라서 신뢰도의 크기가 달라질 가능성이 높다. 이때 검사유형은 속도 검사, 역량검사를 말한다. 6. 신뢰도 추정방법 :  어떤 종류의 신뢰도를 측정했는지에 따라 신뢰도 개수의 크기가 달라진다. 예를 들어 검사-재검 사법을 사용했는지, 동형 검사법을 사용했는지에 따라 신뢰도 계수가 달라진다. 즉 신뢰도 계산방법에 따라 신뢰도의 크기가 달라질 가능성이 크다. 지필검사에서 평정이 요구되는 관찰 혹은 면접 시 채점자나 평정자로 인해 발생하는 오차의 유형이 몇 가지 있다. 1. 후광효과로 인한 효과 :  한 가지 우수한 특성에 대한 평가자의 인상이 다른 특성의 평가에까지 긍정적 영향을 미치는 것을 의미한다. 2. 관대화의 오류 : 평가자가 타인을 평가할 때 박하게 평가하지 않고, 후하게 평가하는 것을 의미한다. 3. 중앙집중 경향의 오류 : 평가자가 매우 좊거나 매우 낮은 점수는 피하고 중간 수준의 점수를 많이 주는 것을 의미한다. 4. 논리적 오류 : 평가자가 두 특성 간에 어떤 관계가 있다고 생각하는 데서 오는 오류를 말한다.