[임상진료지침의 질평가]
[임상진료지침의 질평가 도구]
1. AGREE-II
2. IOM instrument - Provisional instrument for assessing clinical practice guidelines
3. MERGE instrument - Method for evaluating research and guideline evidence
4. Cluzeau instrument - Cluzeau's appraisal instrument for clinical guidelines
5. Shneyfelt instrument - Chaneyfelt's methodologic appraisal instrument
@ K-AGREE II 데이타 입력 form - 이 파일을 출력해서 평가하면 편하다.
[1. AGREE 도구 개발의 초기 역사]
AGREE (Appraisal of Guidelines Research and Evaluation) 도구는 국제적으로 가장 널리 활용되고 있는 임상진료지침 평가도구이면서 동시에 새로운 임상진료지침을 개발하는 길잡이로 쓰이고 있다.
6개 영역, 23개 항목으로 구성된 최초의 AGREE는 AGREE Collaboration이라는 단체가 EU의 연구비 지원(EU BIOMED2 Programme, BMH4-98-3669)을 받아 2001년 9월 처음 개발하였으며 그에 대한 논문은 Qual Saf Health Care. 2003 Feb;12(1):18-23에 발표되었다. 2004년 AGREE Collaboration의 활동이 종료되면서 AGREE Research Trust (ART)라는 독립적인 단체가 만들어졌다. 현재 AGREE관련 모든 저작권은 ART가 가지고 있다. AGREE 도구는 www.agreetrust.org에서 내려받을 수 있다.
ART 홈페이지 (accessed: 2010-11-14)
[2. AGREE II]
AGREE 도구를 더욱 발전시키기 위하여 AGREE Next Steps Consortium이 결성되었다. 캐나다의 연구비 지원(Canadian Institutes of Health Research, FRN77822)을 받아 오랜 작업끝에 2009년 3월 AGREE II가 개발되었고 그에 대한 논문은 Can Med Assoc J에 part 1: performance, usefulness and areas for improvement과 part 2: assessment of validity of items and tools to support로 나누어 발표되었다.
AGREE II는 그 목적을 다음과 같이 밝히고 있다.
1. to assess the quality of guidelines
2. to provide a methodological strategy for the development of guidelines
3. to inform what information and how information ought to be reported in guidelines
AGREE II를 인용하는 방법은 다음과 같다. "AGREE Next Steps Consortium (2009). The AGREE II Instrument [Electronic version]. Retrived
[3. AGREE II의 배점 척도]
최소 2명 이상의 평가자가 참여하여 각 항목을 7점 척도로 평가한다.
1) 1점 (전혀 동의안함, strongly disagree): 항목별로 AGREE II 평가 도구와 관련된 정보가 전혀 없거나 또는 그 개념이 매우 부족하게 보고되고 있는 경우에는 1점이 주어지게 된다.
2) 2점부터 6점: AGREE II 도구 항목별로 제시된 모든 기준이나 고려사항들을 충족하지 못하는 경우에 2점부터 6점 사이의 점수를 부여할 수 있다. 진료지침 내용의 질과 완성도에 따라서 점수를 매기게 된다. 평가 기준에 더 부합되는 진료지침일수록 그리고 제시하고 있는 고려사항들을 충족하는 경우 일수록 높은 점수를 부여한다. 각 항목별 ‘평가 방법’ 설명서에는 항목별 평가 기준과 특별히 고려해야하는 사항들이 자세히 제시되어 있다.
3) 7점 (매우 동의함, strongly agree): 보고서의 질이 매우 우수하면서, 사용자 매뉴얼에 명백하게 제시되어 있는 모든 기준과 고려사항들을 충족하는 경우에는 7점이 주어지게 된다.
@1, 3, 5, 7점을 anchor point로 하여 구체적인 점수배점기준을 작성하고 있다. 평가자는 구체적인 배점기준에 따라 1,3,5,7점을 선정한 후 +1점 혹은 -1점 정도의 변화를 줄 수 있다. 즉, 기준에 따라 5점 정도로 평가된 상황에서 내용이 좋으면 6점, 내용이 나쁘면 4점을 줄 수 있다는 의미이다. 예를 들어 "1번 진료지침의 전반적인 목적이 구체적으로 서술되어 있다"에서 7점을 주는 기준은 "진료지침의 목적에 들어가야 할 모든 요소들(대상, 보건상의 목적, 예상되는 편익 또는 결과)이 서술된 경우"이다.
@ 보다 자세한 AGREE II 사용방법은 여기를 참고하기 바란다. 진료지침의 질을 평가하는 점수는 AGREE II 도구의 6개 영역별로 산출된다. 이들 6개 영역별 점수는 서로 독립적이며 단일 질 지표 점수로 통합해서는 안 된다.
@ 적용하기 어려운 평가항목에 대하여: 경우에 따라서 어떤 AGREE II 평가 항목들은, 검토 중에 있는 특정 분야의 진료지침에 적용이 안 되는 항목일 수도 있다. 예를 들어, 진료지침이 좁은 범위를 다루고 있는 경우에, 임상 상황의 관리를 위한 대안 또는 선택 사항의 전체 범위가 제공되어 있지 않을 수도 있다 (항목 16 참조). AGREE II 배점 척도는 ‘해당사항 없음 또는 적용 불가’에 대한 판정 표식을 포함하고 있지 않다. 이러한 상황을 처리하기 위해서 평가자는 해당 항목을 건너뛰거나, 1점을 부여하고 (정보 없음) 1점을 부여한데 대한 상황을 제시하는 등의 여러 가지 전략을 사용할 수 있다. 선택된 전략에 상관없이 사전에 의사결정이 이루어져야 하고, 분명한 방법으로 서술되어야만 한다. 만일 해당 항목에 대한 평가를 건너 뛴 경우에는 해당 영역의 점수를 산출할 때 적절한 보정이 이루어져야 한다. 원칙적으로, 평가 과정에서 일부 항목들을 제외하는 것을 권장하지는 않고 있다.
몇 명이 평가할 것인가? "4명이 독립적으로 평가하여 outlier 1명 제외한 후 3명이 3점 이상 차이가 나면 협의하여 결정하는 것이 좋다."
[4. 한국형 임상진료지침 평가도구 K-AGREE II]
대한의학회 임상진료지침 전문위원회는 2010년 11월 AGREE II 한글판을 발표하였다 (link2). 이에 대한 상세한 자료는 임상진료지침 정보지원센터 홈페이지에서 AGREE II에 대한 전반적인 소개, AGREE II 사용 방법 1, AGREE II 사용방법 2 부분을 참고하기 바란다.
임상진료지침 정보지원센터 홈페이지 (accessed: 2010-11-14)
[5. K-AGREE II의 6 영역 및 전반적인 평가 항목]
@ 사용방법은 여기를 참고하기 바란다. 진료지침의 질을 평가하는 점수는 AGREE II 도구의 6개 영역별로 산출된다. 이들 6개 영역별 점수는 서로 독립적이며 단일 질 지표 점수로 통합해서는 안 된다.
영역별 점수를 통합하지는 않지만 "개발의 엄격성" 부분이 가장 중요한 것으로 간주된다."
@ 방법 1 (약간 global하게 평가하는 방법): K-AGREE II 데이타 입력 form - 이 파일을 출력해서 평가하면 편하다.
@ 방법 2 (문항의 how to rate 부분의 criteria를 하나씩 Yes, No로 평가한 후 문항에 대한 점수를 정하는 방법)
[평가 영역 1. 범위와 목적 (scope and purpose)]
1. 진료지침의 전반적인 목적이 구체적으로 서술되어 있다.
2. 진료지침에서 다루고자하는 건강관련 질문들이 구체적으로 서술되어 있다
3. 진료지침을 적용할 인구집단 (환자, 일반인 등)이 구체적으로 서술되어 있다.
[평가 영역 2. 이해당사자의 참여 (stakeholder involvement)]
4. 진료지침 개발 그룹은 모든 관련 전문가 집단을 포함하고 있다.
5. 진료지침을 적용할 인구집단 (환자, 일반인 등)의 관점과 선호도를 고려했고, 그 내용을 포함하고 있다.
6. 진료지침을 주로 활용할 사용자 집단이 분명하게 규정되어 있다.
[평가 영역 3. 개발의 엄격성 (regour of development)]
7. 근거의 검색에 체계적인 방법이 사용되었다.
8. 근거 선택의 기준이 분명하게 서술되어 있다.
9. 근거 자료의 강도와 한계가 분명하게 서술되어 있다.
10. 권고안 도출 방법이 분명하게 서술되어 있다.
11. 건강상의 편익, 부작용, 위험 요인이 권고안 도출시 고려되었다.
12. 권고안과 이를 뒷받침하는 근거를 명확하게 연결 지을 수 있다.
13. 진료지침은 출판 전에 외부 전문가들에 의한 검토 과정이 있었다.
14. 진료지침의 갱신 절차가 제시되어 있다.
[평가 영역 4. 표현의 명확성 (clarity of presentation)]
15. 권고안은 구체적이며 모호하지 않다.
16. 임상 상태나 건강 이슈를 관리하기 위한 다양한 대안이 분명하게 표현되어 있다.
17. 주요 권고안은 쉽게 확인할 수 있다.
[평가 영역 5. 적용성 (appilicability)]
18. 진료지침은 이를 실행하는데 있어 장애요인과 촉진요인을 서술하고 있다.
19. 진료지침은 권고안이 의료현장에서 실제 사용될 수 있도록 도와주는 조언과 도구를 제시하고 있다.
20. 권고안 적용시 필요로 할 수 있는 잠재적인 자원의 영향과 의미가 고려되어야 한다.
21. 진료지침은 수행 정도에 대한 감독 및 평가 기준을 제시하고 있다.
[평가 영역 6. 편집의 독립성 (editorial independence)]
22. 재정후원단체의 의견이 진료지침의 내용에 영향을 주지 않았다.
23. 진료지침 개발에 참여한 구성원들의 이해관계가 기록되어 있고 그 내용이 언급되어 있다.
[전반적인 평가 (overall assessment)]
- 진료지침의 전반적인 질 평가
- 진료지침 사용의 추천 여부: 사용을 추천함. 사용을 추천함 (수정이 필요). 사용을 추천 안함
[Home]