품질보증체계 관련

EUROSTAT 출장 결과 보고

2013. 1.

	통 계 청 품질관리과

1.		출장 개요

ㅇ 출장 목적 : 통계 품질보증체계 운영의 선진사례를 파악하고 향후 품질관리 업무 개선에 반영

ㅇ 방문 기관 : Eurostat(룩셈부르크)

ㅇ 출장자 : 품질관리과 권오현사무관, 윤은경주무관

ㅇ 출장 기간 : 2012. 12. 9(일) ~ 12. 14(금)

ㅇ 주요 일정

날짜	업무수행내용	담당자
12.9(일)	◦출국(인천→파리→룩셈부르크)
12.10(월)~12(수)	◦Eurostat 방문 및 사례수집 - Eurostat 품질보증 메커니즘 - 품질보증체계(QAF) - 새로운 품질진단 방법 등	Mrs Marie Bohata(과장), Ms Zsuzsanna Kovacs(실무자), Mr Luis del Barrio(실무자)
12.13(목)~14(금)	◦귀국(룩셈부르크→파리→인천)

2.		품질보증체계 관련 동향

ㅇ 최근 UN 통계위원회에서 꾸준히 의제로 다루어질 만큼 품질보증체계에 대한 국제적 관심이 증가함

- 제41차 UN 통계위원회 개최 결과 품질보증체계 연구를 위한 전문가그룹 설립, 제43차 위원회에서 국가통계 품질보증체계에 관한 사무총장 보고가 이루어짐

* 품질보증체계(QAF; Quality Assurance Framework) : 품질관리활동의 상위개념으로 다양한 품질관리활동 간의 관계, 통계 작성체계 관리, 통계생산 지원 인프라 등을 포함하는 포괄적인 체계임

ㅇ 통계 선진국들은 품질보증체계를 구축하거나, 이미 구축한 체계를 강화하려는 움직임을 보이고 있음

* 유럽연합의 QAF(Quality Assurance Framework), 유엔의 NQAF(National Quality Assurance Framework), 캐나다의 StatCan(Statistics CanaData Quality Assurance Framework) 등이 대표적임

⇒ 우리 청에서도 품질보증체계의 대표적 사례인 Eurostat의 QAF에 대하여 검토하고, 최근의 품질진단 동향을 파악하고자 함

3.		Eurostat의 품질 보증 메커니즘

품질 진단(quality assessment) 실시

ㅇ (품질진단 현황) 현재 130종의 통계를 대상으로 실시한 1차 품질진단(‘08.~’12.)이 90%정도 완료됨

- 진단에 대한 평가 보고서가 승인된 상태이며, 새로운 진단방법들에 대한 초안을 그리고 있음

ㅇ (품질진단 절차) 다음과 같은 과정에 의하여 진행됨

ㅇ (품질진단 방법) Eurostat에서는 4가지 진단 방법을 사용함

① Self-Assessment는 통계생산 단위(부서)에서 정해진 체크리스트에 따라 직접 진단을 수행함

② Supported Self-Assessment는 ①과 동일하나, 품질관리 단위에서 개선과제 및 진단결과 도출을 도와줌

③ Peer Review는 ②와 동일하게 진행되나, 1명 이상의 내·외부 전문가 동료(peer)가 각 단계에 참여함

④ Rolling Review는 계약을 맺은 외부 전문가에 의해 수행되는 가장 종합적이고 심도 있는 진단으로, 통계 이용자와 파트너들의 의견까지 반영됨

- 위 4가지 진단 방법 중 어느 방법을 사용하는지는 각 통계들의 특성(주기, 법적 근거, 산출물 등)에 따라 유연하며,

- 동일한 체크리스트를 사용한다는 점, 진단을 통해 3가지 결과물을 도출한다는 점은 동일함

ㅇ (품질진단 결과물) 진단결과 요약 보고서, 6가지 품질 차원별 다이어그램, 공유할만한 우수사례를 도출함

- 결과 보고서는 각 통계의 장·단점, 품질 향상을 위한 개선의견을 제시함

< 진단결과 요약 보고서 예시 >

	강점	약점	품질향상을 위한 권고의견
			개선과제	담당부서	추진일정	상태
확인 사항	⋮	⋮	⋮	⋮	⋮	⋮

- 품질 차원별 다이어그램은 우리청과 동일함

- 우수사례는 Eurostat 인트라넷의 ‘사이버뉴스’ 등에 올려서 기관 내·외부에 알리고 공유함

ㅇ (특이사항) 그밖에도 진단 시 다음과 같은 점을 고려함

- 통계품질(output quality)은 생산과정의 품질(process quality)이 좌우한다고 보고 과정의 품질을 높이는 데 초점을 맞춤

- 생산 단위(부서)의 업무부담을 최소화하며, 기존의 자료(품질보고서 등)를 활용하고, 다른 수평적 활동들과 통합하는 방식으로 품질진단이 이루어짐

- 진단 2년 후에는 그간의 경과를 살피고(follow-up meeting 실시), 개선과제 이행여부를 지속적으로 모니터링 함

품질 조정 그룹(co-ordination group) 운영

ㅇ (구성) Eurostat의 각 부서장들로 조직된 상위급의 수평적 조정 그룹을 운영함

ㅇ (역할) 통계품질과 관련된 대조적인 이슈들(cross-cutting issues)을 조정하고 심도 있는 자문을 제공하며, 이니셔티브를 홍보하고 전달하는 등의 역할을 수행함

오류 보고 체계

ㅇ (현황) Eurostat에서는 오류가 발생했을 때 이를 보고하는 내부 처리절차가 마련되어 있음

- 일부 오류는 자동으로 발견되며, 오류 자체보다는 오류를 통한 학습을 강조하여 오류 공개를 활성화하는 분위기를 조성함

* CoP의 6번째 원칙 : 공표된 통계자료에서 오류가 발견되면 이를 수정하고 널리 알려야 함

품질 지원 부서

ㅇ 통계 품질을 담당하는 부서(B1)를 두고 있으며, 모든 품질 관련 이슈와 의문점들은 B1에서 처리함

ㅇ 또한 B1에서는 정기적으로 품질 보고서와 같은 특정 이슈에 대하여 조언하는 기능을 수행함

* 연락처는 estat-quality@ec.europa.eu임

워크숍, 교육, 웹사이트 운영

ㅇ (워크숍 및 교육) 기구 내부에서 직원들을 대상으로 정기적인  교육 프로그램을 운영함

- 그밖에도 품질 이슈에 대하여 점심시간을 이용한 짧은 발표를  실시한다거나, 특별한 품질 관련 이벤트(예시 : Quality day)를 개최하는 등 다양한 방법으로 접근함

ㅇ (웹사이트) 품질과 관련하여 내부망(Cybernews), 외부망(Europa server)을 운영하고 있으며, 품질 관련 정보와 참고 문헌, 관련 사이트 등을 제공함

품질 이슈에 대한 국제적 협력 지원

ㅇ (담당 부서) 통계 관련 국제적 협력을 담당하는 부서가 있으며, 품질부서(B1)에서는 정기적으로 관련 이슈에 대하여 참여함

- 예를 들어 UN의 NQAF(National Quality Assurance Framework), 그리스에서 열린 보증에 관한 워크숍, OECD 이니셔티브 등과 같은 이슈를 다룸

- 통계 품질 관련하여 2년마다 열리는 Q-conference에도 참여함

* 우리 청에서도 참가하고 있으며, 다음 컨퍼런스는 ‘14년 6월에 2~3일 간 오스트리아에서 열릴 계획임

4.		ESS의 품질에 대한 접근 -CoP와 QAF

유럽의 주요 통계품질 관련 이니셔티브

ㅇ Leandership Group on Quality 1999 - 2001

ㅇ The European Conference on Quality 2001 - 12 -

ㅇ European Statistics Code of Practice(CoP) 2005

- 통계작성기관의 환경, 통계절차, 산출물에 대한 15개 원칙별 평가 기준을 정의함

ㅇ New European Statistical Law 2009

ㅇ Sponsorship on Quality 2009 - 2011

- Code of Practice(CoP) 개정

- 품질보증체계(QAF) 개선

- 품질보고에 대한 권고안 제정

ㅇ Communication 211

유럽통계 실무규약(The European Statistics Code of Practice)

ㅇ (의의 및 목적) 고품질의 통계를 생산하기 위해 지켜야 할 15개의 원칙들로, 통계작성 기반 및 작성 과정, 결과물을 모두 포괄하는 일종의 표준 지침임

- 2001 품질선언(2001 Quality Declaration)에 기반하고 있으며, ESS*가 자기 규제적 관점에서 규약의 이행을 담당함

* ESS(European Statistical System) : 유럽연합과 전 세계 통계 이용자들에게 고품질의 독립된 통계를 제공하기 위해 설립됨

- 이 규약은 Eutostat와 EU국가들의 통계청에 적용되며, 통계 개발, 생산, 공표 등 모든 범위를 포괄하는 표준을 정립하기 위한 것임

ㅇ (내용) 15개의 원칙 아래에는 각각 3~9개의 지표들이 있음

	통계작성 기반
원칙 1	전문적인 독립성
2	자료수집에 대한 위임
3	자원의 적절성
4	품질에 대한 책무
5	비밀 보호
6	공평성과 객관성
	작성 과정
7	올바른 방법
8	적합한 통계 절차
9	응답자 부담 감소
10	비용 효과성
	통계 산출물
11	관련성
12	정확성, 신뢰성
13	시의성, 정시성
14	일관성, 비교성
15	접근성, 명확성

ㅇ (CoP의 적용) CoP의 적용 사례는 다음과 같음

- 국가별 자체 평가(2005)

- 외부 peer reviews(2007-2008)

- 개선 이행에 대하여 매년 모니터링 및 보고(Eutostat and ESGAB)

- 2차 peer review(2013 예정)

ㅇ (최근의 변경내용) 큰 틀에서는 변화가 없으나 2011년 개정으로 약간의 변경사항이 있음

- 품질관리, 전문적인 독립성(professional independence), 행정자료에 대한 지침이 보완됨

- Statistical Law와 ECB Statistical Quality Framework에 따른 조정이 있었으며, 문구가 수정되고 9개 지표가 추가됨

품질보증체계(QAF)

ㅇ (의의) 품질보증체계(QAF)는 CoP의 실행을 지원하기 위하여 ESSC Task Force "Sponsorship on Quality"에 의해 개발됨

- QAF에는 CoP의 각 원칙과 지표들을 실행하기 위해 필요한 방법들이 기술되어 있으며, CoP 원칙 중 4, 7~15번 원칙에 초점을 둠

ㅇ (QAF의 내용) QAF에는 원칙(1단계)과 지표(2단계)의 하부 단계(3단계)에 이를 달성하기 위한 방법이나 도구(what methods and tools can be used)가 제시되어 있음

- CoP는 원칙과 지표로 이루어져 있다면, QAF는 원칙(1단계), 지표(2단계), 적용 방법(3단계), 특정과정의 품질보증(4단계)으로 구성되어 있음

* 4단계(Level 4) : 특정한 절차의 품질 보증으로, 특정 과정(절차)의 요구에 적용함(예시: 자격증)

	< 단계별 예시 >
[1단계] : 원칙 8 ▪ 자료 수집부터 검증까지 실행되는 적합한 통계절차는 통계의 품질을 뒷받침한다. [2단계] : 지표 8.6 ▪ 개정 시에는 제대로 구축된 투명한 절차와 표준에 따라야 한다. [3단계] : 적용 방법 ▪ 공표된 통계의 개정에 대한 가이드라인을 마련해 놓아야 하며, 이를 적용하고 이용자들에게 알려야 한다. ▪ 개정에 대한 설명이 필요하며, 이용자가 이에 접근할 수 있어야 한다.

ㅇ (기타사항) CoP의 적용을 위하여 ESS QAF에 실무적인 가이드라인을 곧 제공할 예정임

- 특정 과정 중심(process-specific)의 품질관리 접근법은 앞으로 한 단계 더 나아간 품질 보증으로 고려될 수 있음

5.		기타 논의사항

Eurostat의 품질진단 방법의 변화

ㅇ (변화의 배경) 유럽 재정위기와 감축 기조 등으로 인해 품질진단 방법에도 변화가 일어나고 있음

ㅇ (변화의 방향) 통합적 진단 및 관리를 통해 효율성을 높이고 표준화하는 방향으로 진행됨

- 기존의 체크리스트에 의한 방식, 통계 생산과정을 개별 단계로 나누어 장기간 검토하던 방식을 지양하고,

- 내부 전문가 그룹(통계생산 부서 + 기타 부서)을 만들어 의견을 모으고 토론, 분석을 거쳐 결론을 내리는 방식을 선호함

- 특히 장기 개선과제뿐만 아니라 단기의 성과(quick wins)도 중시하며, 방법론에 있어서 집합적인 동의를 이끌어내려 함

ㅇ (새로운 방법) 2가지 진단방법으로 구분함

- 심도있는 진단(In-depth assessment)은 4~5개의 통계*를 하나의 클러스터(cluster)로 묶어 클러스터 단위로 접근하며, 표준화된 방식의 진단을 통해 우수사례와 개선과제를 도출함

* Statistical production process를 ‘절차’가 아닌 ‘통계’로 해석하였으며, Eurostat에 100여개의 process가 있음

(1단계)		(2단계)		(3단계)		(4단계)
진단할 클러스터를 선택	⇒	관련 팀이 모여 진단 회의	⇒	핵심 진단	⇒	모니터링
미리 정해진 클러스터 리스트 가운데 선택		식스 시그마 방법 등을 활용해 문제영역을 진단		기존의 품질보고서를 참고, CoP(OAF)에 따라 진단하여 개선과제, 우수사례 등을 도출		담당 부서에서 개선과제를 이행하고, 연간보고서 작성

- 가벼운 진단(Light assessment)은 가장 중요한 절차에 대해서만 미리 정해진 품질 지표에 따라 진단하고 1년마다 모니터링 함

ㅇ (향후 계획) ‘13년도에 방법론을 완성하여 시범운영(2개의 깊이 있는 진단과 소수의 가벼운 진단 대상)할 예정이며, ‘17년도까지 Eurostat 전체에 보급할 계획

자체진단 체크리스트(DESAP) 변경사항

ㅇ 현행 자체통계품질진단의 토대가 된 Eurostat의 DESAP은 ‘07년 버전 이후 내용에는 변화가 없는 것으로 나타남

- 리투아니아 통계청에서 온라인 버전(DESAP-E)을 개발하였으며, 스페인 통계청에서 DESAP을 자체진단 도구로 활용하고 있다는 점 정도가 변화된 상황임

- 각 나라의 통계 시스템과 여건은 매우 다양하기 때문에 각자의 상황에 맞게 사용할 수 있는 모듈 접근법이 더 강조되는 추세임