06. 신뢰도와 타당도

prologue. 신뢰도와 타당도

 

사회복지조사론을 공부하다 보면 피하려 해도 피할 수 없는 녀석이 이 두 녀석이 아닐까 싶다.

겨우 중간고사나 기말고사를 겪고 잊을 때 쯤이면, 사회복지사 1급 시험에 빠지지 않고 등장하는 개념이기도 하고, 겨우 1급 시험을 끝내고 사회복지 현장에서 조사연구사업이나 프로그램에 대한 만족도 조사를 하려고 하면 또 다시 스멀스멀 나타나는 이 두 녀석. 이번 포스팅에서는 사회복지조사에서 외면하려 해도 외면할 수 없는 신뢰도와 타당도에 대해 살펴보고자 한다.

 

 

page 1. 신뢰도(Reliability)

 

신뢰도는 측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는 정도를 말한다. 한 가지 측정도구를 동일한 응답자들에게 반복해서 적용했을 때, 그 결과가 일관되게 나타나는 정도를 측정도구의 신뢰도라고 한다.

즉, 신뢰도는 측정도구의 안전도와 정확도의 측면에서 측정값의 일관성을 나타낸 것으로, 신뢰도가 높으면 비록 연구자나 측정시간 및 환경에 차이가 있더라도 동일한 결과값을 나타내며, 신뢰도가 낮으면 측정할 때마다 다른 결과값을 나타내는 것이라 볼 수 있다.

 

 

 

page 2. 타당도(Vailidity)

 

타당도는 측정하고자 하는 개념을 얼마나 정확하게 측정하는가를 나타낸 것으로, 측정도구가 측정하고자 하는 개념을 제대로 측정하고 있는지를 평가하는 것이라 정의할 수 있다.

즉, 연구자가 조작적 정의와 지표, 척도 등을 사용하여 측정하고자 하는 개념을 제대로 측정했다면, 조작적 정의와 지표, 척도의 타당도는 높다고 할 수 있다. 하지만 연구자가 사용한 조작적 정의와 지표, 척도, 지표가 측정하고자 하는 개념을 제대로 측정하지 못한다면, 타당도는 낮다고 할 수 있다.

 

 

 

page 3. 신뢰도와 타당도의 관계

[신뢰도와 타당도의 관계]

 

신뢰도가 높다는 것은 어떤 현상을 일관성 있게 측정할 수 있느냐의 관점이다. 즉, 어떤 현상이 연구자가 측정하고자 하는 현상이 아닌데도 일관성이 높게 나타나면, 그것은 신뢰도만 높을 뿐, 조사자가 연구하고자 하는 점을 측정하기 위한 타당성이 높다고 할 수는 없다.

즉, 신뢰도가 높다고 해서 반드시 타당도가 높은 것은 아니다.

 

또한 조사도구의 내용이 조사하고자 하는 현상을 잘 파악하고, 그 결과가 일관되어야 하기 때문에, 타당도를 높이기 위해서는 신뢰도 또한 높아야 한다. 즉, 신뢰도는 타당도를 높이기 위한 필요조건이라 할 수 있다.

 

*결론

 1. 신뢰성이 없는 측정도구는 타당성이 있을 수도 있다.

 2. 신뢰성이 있는 측정도구는 반드시 타당성이 있다고 볼 수는 없다

    (타당성이 있을수도, 없을수도 있다)

 3. 즉, 신뢰도는 타당도를 높이기 위한 필요조건은 되지만, 충분조건은 아니다.

 

신뢰도와 타당도의 관계 1. 타당도가 높으면 신뢰도는 항상 높다 2. 타당도가 낮다고 해서 신뢰도가 반드시 낮은 것은 아니다 3. 신뢰도가 높다고 해서 타당도가 반드시 높은 것은 아니다 4. 신뢰도가 낮으면 항상 타당도가 낮다 5. 타당도와 신뢰도는 비대칭적 관계이다.

 

 

page 4. 신뢰도 측정방법

신뢰도 측정방법

 

신뢰도의 측정방법에는 크게 다음과 같이 4가지가 있다.

신뢰도의 측정방법에는

1. 재조사법(검사-재검사법) 2. 복수양식법(대안법) 3. 반분법 4. 내적일관성 분석(크론바흐 알파)

가 있다. 각각의 측정방법에 대한 장,단점은 아래와 같다.

 

1. 검사-재검사법(재조사법)

1. 장점 -적용이 간편함 -측정도를 직접 비교할 수 있음

2. 단점 -검사요인 : 동일한 측정이 반복됨에 따라, 처음 측정이 재측정의 결과에 영향을 미침 -성숙요인 : 조사간격이 길어질 때, 조사대상의 특성이 변화하여 결과에 영향을 미침 -역사요인 : 조사기간 중 사건이 발생하여 결과에 영향을 미침

 

2. 복수양식법(대안법)

1. 장점 -검사-재검사법의 외생변수의 영향을 최소화 할 수 있음 -조사의 시간차이가 없어 검사요인의 영향을 통제할 수 있음 -신뢰도 계수 추정이 쉬운 편임

2. 단점 -두 개의 동등한 측정도구 개발이 어려움 -신뢰도가 낮게 나타날 경우, 측정도구의 신뢰성 문제인지, 동등화의 문제인지 설명이 어려움 -동일한 조사환경, 조사동기 및 태도를 만들기 어려움 -두 측정도구의 상관관계가 높을 경우, 검사요인의 영향을 배제하기 어려움

 

3. 반분법

1. 장점 -한 번의 검사로 신뢰도를 측정할 수 있음 -조사간격의 문제, 동형검사 제작 문제의 영향을 받지 않음 -측정도구의 내적 일관성을 측정할 수 있음 -동등하지 않은 문항을 발견하여 배제할 수 있음

2. 단점 -측정문항이 적으면 사용하기 어려움 -특정항목의 신뢰도를 정확히 파악하기 어려움 -반분된 각각의 측정항목을 동등하게 만들기 어려움

 

 

page 5. 타당도 측정방법

 

 

타당도 측정방법에는 내용 타당도, 기준타당도, 개념타당도로 크게 나눌 수 있다.

 

여기에서 기준 타당도는 시간의 개념에 따라 동시적 타당도와 예측적 타당도로,

             개념 타당도는 계량적 방법을 통한 검정에 따라 이해, 수렴, 판별 타당도로 나뉜다.

 

기준 타당도의 구분

개념 타당도의 구분

 

조사연구사업에서 뗄래야 뗄 수 없는 신뢰도와 타당도. 이 두 녀석을 살펴보려다 보니 자연스레 포스팅 역시 길어졌다.

 

오늘의 결론, 신뢰도는 조사의 일관성, 타당도는 측정하고자 하는 대로 조사가 진행되었는가

 

이 점을 잘 알고 열심히 공부할 수 있었으면 한다.

(특히, 이 부분은 사회복지사 1급 시험에 무조건 1~2문제는 필수적으로 나오는 부분이니 세부적으로 살펴볼수록 좋다)

 

모두모두 화이팅!!!