사회복지조사론 / 신뢰도와 타당도 / 사회복지사 2급 / 필수과목

(1) 신뢰도

- 개념: 측정들의 일관성을 의미하는 것으로, 어떤 현상을 얼마나 정확하고 일관성 있게 값을 산출해내는가 와 관련 있는 개념이다. 즉, 동일한 척도를 동일한 대상에게 적용하여 측정값을 얻었을 때, 얼마나 일관되게 나오는 가를 의미한다.
신뢰도가 높다는 것은 비슷한 환경 속 비슷한 대상으로 조사를 실시하였을 때 비슷한 결과를 산출할 수 있으며, 예측가능성이 높다는 것을 말한다.

반응형

- 확인 방법

구분	내용	예시
검사-재검사법	-같은 측정도구를 사용하여 동일한 집단에게 시간 간격을 두고 2번 이상 반복 시행하여 결과를 비교하는 방법으로, 두 측정값 사이의 상관관계가 높을수록 신뢰도가 높음 -동일한 척도를 두 번 이상 사용하기에 자신이 응답한 것을 기억하여 응답하려는 경향(검사효과)이 생길 수 있으므로 최소 2주의 간격을 두고 측정	-알콜 중독자를 대상으로 프로그램을 시행하기 이전에 간격을 두고 2번 측정, 결과가 비슷하다면 신뢰도가 높은 측정
대안법	-원래의 측정도구와 유사한 측정도구를 개발하여 측정한 후, 그 결과의 상관관계를 비교하는 방법 -검사-재검사법보다 검사효과가 나타날 가능성은 적으나 유사한 측정도구를 개발하는 것 자체에 어려움이 있음	-자아존중감을 측정하는 문항을 새롭게 개발했을 때, 기존의 익히 알려진 측정도구로 계산한 것과 값이 유사하다면 신뢰도가 높은 측정
조사자 간 신뢰도	-둘 이상의 조사자가 동일한 내용을 측정할 경우, 그 결과가 동일, 유사하거나 상관관계가 높다면 신뢰도가 확보되었다 판단하는 방법	-재활 프로그램의 평가에서 평가자가 의료진, 실무자, 사회복지사 각 1인으로 구성되었고 이들이 부여한 점수가 비슷하다면 조사자간 신뢰도가 확보되었다고 볼 수 있음
반분법	-척도의 항목을 반으로 나누어 각각 계산한 후, 구분된 두 척도 사이 값의 상관관계를 분석하는 방법 -반으로 나누는 방법은 여러 가지가 존재하기 때문에 어떤 방법으로 분할하느냐에 따라 상관계수가 달라질 수 있음	-20문항을 짝수, 홀수로 나누어 10문항씩 각각 채점한 후 두 부분 점수의 상관관계를 보고 신뢰도를 판단
내적일관성 신뢰도 (크론바흐 알파)	-한 측정 내에서 가능한 모든 반분법 신뢰도를 모두 평균내어 신뢰도를 측정하는 방법으로, 반분법의 장점을 그대로 유지하면서 분할 하는 방식에 따라 신뢰도 계수가 달라지는 반분법의 결정적 단점까지 극복하는 방법 -계수가 1에 가까울 수록 신뢰도가 높은 것으로 해석하며, 한 척도를 구성하는 문항 수가 많아져도 신뢰도가 증가	-크론바흐 알파가 가장 보편적이고 강력한 방법, SPSS 등 통계프로그램에 의해서 계산 -"α=.70"은 보통, "α=.90"은 신뢰도가 매우 높음을 보여줌

- 신뢰도를 높이는 방법

• 응답자가 의도를 정확하게 이해할 수 있도록 측정 항목의 모호성을 줄이고 구체화할 것
• 신뢰도를 높이기 위해 측정 항목을 늘리고 항목의 선택범위를 넓힐 것
• 신뢰도가 확보된 측정 도구를 활용하되, 기존의 측정 도구를 무조건 신뢰하지는 말 것

반응형

(2) 타당도

- 개념: 측정하고자 하는 바를 정확히 측정해내는 것과 관련 있는 개념으로 현상을 얼마나 정확하게 값을 산출해내는 가를 나타낸다. 신뢰도가 측정의 일관성과 연관된 개념이라면, 타당도는 측정의 정확성과 관련이 있다.

 

- 종류

구분	내용	비고
액면타당도	-개념을 측정하는 지표들이 겉으로 보기에(표면적) 그 개념을 적절히 측정하고 있는 가에 초점을 두고 전문가가 척도의 타당성을 검토하는 방법 -조사자나 전문가의 주관적 판단에 의존하기 때문에 가장 낮은 수준의 타당도 검증 방법	-타당도 확보의 적절한 방법은 아니나 다른 타당도를 활용할 방법이 없을 경우 활용할 수 있음
내용타당도	-측정도구가 측정하고자 하는 내용을 전 영역에 걸쳐 골고루 담고 있다고 판단된다면 내용타당도가 있는 것으로 봄 -가장 일반적인 방법으로 개발 중인 척도 문항에 대해서 관련 분야 전문가그룹의 판단을 구하고 결과를 계량화하기도 함	-가장 많이 활용되는 타당도 방법으로, 연구자는 내용타당도 지수에 기초하여 척도 문항을 유지, 삭제, 수정 등을 결정
기준타당도	-타당도를 검증하고자 하는 측정도구와 이미 타당도를 확보하고 있는 기준도구를 같은 대상에 적용하여 값을 비교하는 것으로, 평가대상인 척도가 하나 이상의 외부기준과 경험적으로 관련되어 있는 정도를 보고 상관관계가 높을 때 새로 개발된 측정도구의 기준타당도가 높다고 판단 -동시타당도: 평가대상 측정도구와 기준이 되는 측정도구를 동일 대상에 적용하여 상관관계 분석 -예측타당도: 현재의 상태로부터 미래의 차이를 예측해내는 정도를 진단하는 것으로, 예로 수능점수가 높을 수록 대학 학업능력이 높게 나타날 경우 예측타당도가 높다고 진단	-척도 개발이 인정받을 수 있는 타당도 방법이나 조사자가 동시타당도와 예측타당도를 함께 진단하기에는 많은 여력이 소모되기에 활용이 쉽지 않음
개념구성 타당도	-가장 높은 수준의 타당도 검증방법으로 이론을 토대로 측정 도구의 타당도를 판단하는 방법 -수렴타당도: 이론적으로 동일한 개념을 측정하는 서로 다른 측정 도구들의 값 사이에 상관관계가 높은 정도를 말하는데, 예로 우울증 척도와 PTSD척도가 다른 척도이지만 높은 상관관계를 보이므로 두 척도는 수렴타당도가 있다고 판단 -판별타당도: 이론적으로 상관없는 척도와 연관성이 없다고 판단될 때 판별타당도가 있다고 보는 것으로 예를 들면, PTSD척도와 행복 척도는 결과값에 상관관계가 없어야 판별타당도가 있다고 판단	-척도가 기대되는 방향이나 노선에 따라 개념구성 타당도의 정도가 결정됨

 

반응형

(3) 신뢰도와 타당도의 관계

신뢰도가 높다고 하여 타당도가 높은 것 아니지만 신뢰도가 높아야만 타당도가 높다.
신뢰도는 타당도가 성립되기 위한 필요조건이기에 타당도가 있다면 일반적으로 어느 정도는 신뢰도가 있는 것으로 볼 수 있다.
신뢰도와 타당도를 체중계를 예로 들어 비교해본다면, 체중계로 몸무게를 잴 때마다 무게가 다르게 나오는 것은 체중계의 신뢰도(일관성)도 낮고 타당도(정확성)도 낮은 것이다. 이를 무작위 오류라고 한다.
하지만 몸무게가 50Kg인 사람이 체중계에 올라갈 때 55Kg로 계속 나타난다면, 체중계의 신뢰도(일관성)는 높지만 타당도(정확성)는 낮은 것이라 할 수 있다. 이를 체계적 오류라고 한다.
반면에 몸무게가 50Kg인 사람이 체중계에 올라갈 때마다 50Kg이 나온다면, 이는 체중계의 신뢰도(일관성)도 높고 타당도(정확성)도 높다고 할 수 있다.