2011 국제조사방법론 심포지엄(IMS)

국외출장 결과보고서

2011. 12.

Ⅰ		출장 및 심포지엄 개요

출장 개요

□ 출장목적

- 행정자료 활용과 관련된 최신 정보와 자료를 수집하고, 관련 분야의 정보 확보 및 인적 네트워크를 구축

- 2010년 기준 경제총조사 자료처리, 향후 경제총조사의 조사방법 및 조사표 설계 등에 참고자료로 활용

- 조사품질 및 관리 등 현장조사 정확성 제고를 위해 업무와 관련된 지식을 습득

- 통계 품질 향상을 위한 최신 연구 결과를 습득하고, 국가통계의 통계 품질 확보와 관련한 최신 이슈와 시사점을 파악

□ 출장자

- 행정자료관리과, 경제총조사과, 품질관리과, 조사기획과

심포지엄 개요

□ 명칭

- 2011 국제조사방법론 심포지엄(International Methodology Symposium)

□ 목적

- 국제조사방법론 심포지엄은 캐나다 통계청 주관으로 매년 개최되어 각 국 통계청 실무자 및 대학교 교수진이 모여 조사방법론에 관한 세계연구동향, 최신 통계기법 등을 발표하고 연구 결과 교류

□ 일시 및 장소

- 2011. 11. 1. ~ 11. 4. (4일간)

- 캐나다 오타와 컨벤션 센터

□ 주요 내용

- 이번 심포지엄은 ‘조사방법과 도구의 표준화를 위한 전략’이라는 주제로 워크숍 1일과 3일 간의 심포지엄으로 이루어짐

․ 워크숍은 자료 연계 방법(Record Linkage Methods), 통계적 노출 제어(Statistical Disclosure Control), 소지역 추정의 최신 개발에 대한 3개의 과정으로 구성

․ 심포지엄은 표본설계와 추정, 선택적 에디팅, 비밀보호, 인터넷 설문의 설계 방법, 이상점과 임퓨테이션, 자료수집 이후 과정의 표준화 문제, 공표와 데이터 접근 등 자료 수집에서 공표까지 통계처리 전반에 걸쳐 표준화 방법과 표준화가 미치는 영향에 대한 다양한 내용을 발표 및 논의

Ⅱ		워크숍의 주요 내용

◇ 캐나다 통계청에서 사업체, 가구 등의 자료 연계에서 자주 사용되고 있는 확률적 자료 연계 프로그램인 G-Link에 대해 자료 연계의 일반론, 구체적인 적용 예시를 포함한 방법론에 대한 내용 발표

다양한 자료 연계의 형태(Different Types of Linkage)

□ 자료 연계의 형태

- 통계적 연계 : 결합분포로부터 추론을 통한 ‘유사한’ 단위의 연계

- 정확한 연계 : 하나 또는 여러 개의 파일로부터의 단위 자료 연계

예시) 직접적인 자료 연계, 계층적인 자료 연계

- 애매한 연계 : 구조적 또는 비구조적 텍스트, 전문가 시스템, 기계 학습(Machine learning), 신경망(neural networks)에 기반

- 확률적 자료 연계 : 자료들이 같은 개체를 나타낼 가능성을 추정하여 연계

□ 유형별 자료 연계의 내용

- 통계적 연계(Statistical Exact Matching)

․ 두 파일의 다른 단위들을 연계(동일한 모집단)

예시) 파일 A의 변수 X, Y, - 파일 B의 변수 X, Z일 때 결과물은 변수들의 결합 분포로부터 추정 (Y, Z ︳X)

․ 사용 방법 : Monte Carlo Methods, Gibbs Sampling, Imputation

․ 시장조사에서 자주 이용되며, 통계기관(Statistical agency)에서는 아주 가끔 이용됨

․ 오류 : 결합분포가 부적절하게 명시된 경우

- 정확한 연계(Exact Matching)

․ 가정 : 두 개의 파일에 같은 단위가 있는 경우 하나 또는 여러 개의 변수를 키로 이용하여 일치시킴

․ 직접 일치(direct matching) : 자료 내의 키를 이용하는 단순한 연계

․ 통계기관 또는 분석가들에 의하여 자주 이용

․ 오류 : 독립적인 두 개의 자료 사이의 잘못된 자료 연계 또는 독립적인 자료들을 함께 연계하는 것의 실패

- 애매한 연계(Fuzzy Linkage)

․ 통계학, 컴퓨터공학 또는 작전연구(Operational Research)의 발전을 기반으로 함

예시) String matching, 관계 그래프 및 문화적 정보의 이용 등

- 계층적 정확한 연계 (Hierarchical Exact Matching)

․ 다른 매칭 기준을 복합적으로 통과시키는 방법으로서, 가장 엄격한 방법으로부터 시작하여 덜 엄격한 방법으로 순차적으로 적용

․ 가장 엄격한 기준은 다음의 사항을 고려하여 결정

‥ Power : 참 값인 짝을 찾는 능력

‥ Specificity : 잘못된 짝인 경우 거부하는 능력

․ 복합적인 연계에 대한 검토

‥ 현 단계와 이전 단계 사이의 연결 품질 비교

‥ 잘못된 연결을 찾아내거나 피하는 것은 매우 중요하며, 잘못된 일치가 나오는 확률이 높은 과정(5% 이상)은 사용하지 않아야 함

- 정확한 연계 : 확률적 방법(Exact Matching : Probabilistic)

․ 방법 : 가능성 있는 짝의 집합을 설정하고, 각각의 가능성 있는 짝에 대한 점수를 계산하여 짝의 상태를 결정

‥ L : 확실한 연결(연계된 짝)

‥ P : 가능성 있는 연결(가능한 짝)

‥ N : 거부되는 연결(연결되지 않는 짝)

․ 최적의 연계 규칙 : 연계된 짝과 연결되지 않은 짝의 고정된 오류 수준에 대한 연계 가능성을 최소화하는 것

․ 고려사항 : 연계의 목적, 정확성이 필요한 수준, 기술적인 지원 수준, 변수 및 데이터 이용 가능성, 시간․비용의 제약 등

확률적 자료 연계 및 G-Link

□ 확률적 연계

- 고유한 식별자(예 : 이름과 생일 등)를 이용하지 않고, 자료들이 같은 개체를 나타낼 가능성을 추정하여 연계하는 방법

- 개인의 고유성이 명확히 드러나지 않는 인적 자료가 있을 때 유용

․ 현실에서는 매치되는 짝(M; Matching pairs)과 매치되지 않는 짝(U; Unmatched pairs)이 존재

․ 이론적인 목표는 모든 짝들의 집합을 연결되는 짝(L; Linked pairs)과 연결되지 않는 짝(N; Unlinked pairs)으로 구분하는 것임

	M	U
L	True links	False positive
N	False negatives	True Non-links

∴ 실제로는 모든 짝들의 집합을 연결된 짝(L; Linked), 연결 가능한 짝(P; Possibly linked), 연결되지 않는 짝(N; Unlinked)으로 구분

□ G-Link 적용 전 사전작업

- 연계 변수의 결정

․ 자료 연계 작업의 효율성은 다음 기준을 만족시키는 비교를 위한 항목 선택의 적절성에 달려있음

․ 기준 : 영구성(지속성), 이용가능성, 보편성, 식별성, 경제성, 정확성, 단순성, 유일성

․ 이상적인 영구 식별 번호 예 : 사회보험번호(SIN), 건강보험번호(HCN), 운전면허번호(DLN) 등 ⇒ 보통 이용가능하지 않거나, 양쪽 모두에 존재하지 않거나, 이용이 금지되어 있음

- 사전 작업

․ 100% 정확한 파일은 없으므로 원자료에 대한 데이터 확인, 분석 작업과 표준화작업을 실시

‥ 필요 이상의 여백, @#$* 등의 특수 문자를 제거하는 등 사용가능한 문자 집합을 제한하고, 문자열의 표준화를 실시

ⅰ) 불필요한 표시를 제거(예 : Jr, Sr, Ms, Dr. 등)

ⅱ) 같은 의미는 대표적인 표시로 전환(예 : Est, East, E. → E)

ⅲ) 표시를 여러 개의 열로 분할(예 : 복합적인 이름 등)

‥ 자료 연계에 필요한 필드만 유지하며 정확성 제고를 위한 필드 확인(불가능한 수치, 유효한 날짜, code 집합, 범위 등)

․ G-Link를 이용하기 전, 사용자는 부가적으로 각 자료를 함께 고유하게 식별하는 RECID 또는 DUPFLAG를 추가 가능

□ G-Link의 단계(Steps for G-Link Linkage)

Search(탐색)

1a. 가능성 있는 짝을 식별

ⅰ) 선택된 기준은 SQL로 작성하고, 속도와 선택도는 마음속으로 설정

ⅱ) 가능성 있는 짝은 모든 타당한 참 값의 짝을 포함하여야 함

1b. 가능성 있는 짝에 규칙 적용

ⅰ) 규칙은 각각의 짝에 적용되며, 하나 또는 그 이상의 입력 필드에 사용

ⅱ) 규칙은 각각의 짝에 대한 결과를 생성 : 결측, 일치, 불일치

ⅲ) 규칙은 결과에 따라 각각의 짝에 ‘Odds Ratios’를 지정

ⅳ) 규칙 및 결과는 최초 짝의 생성 후에 사용자에 의해 설정

ⅴ) G-Link에는 문자, 숫자, 날짜 등과 관련된 많은 규칙들이 내장

1c. 임계값에 근거하여 짝을 분류

ⅰ) [eqn: T_{ L} = T _{ lambda }] (Lower Threshold), [eqn: T_{ H}=T _{ mu}] (Higher Threshold)

ⅱ) 상태의 지정

Weight(a,b) < [eqn: T _{ lambda}]           → 상태 R (거부)

[eqn: T _{ lambda}] <= Weight(a,b) < [eqn: T_{mu}]      → 상태 P (가능)

Weight(a,b) >= [eqn: T_{mu}]          → 상태 D (명확)

Decide(결정)

2. 선택적으로 빈도 가중치 적용

ⅰ) 사용자가 연계된 짝의 집합을 보유하고 있을 경우는 연계 빈도 가중치를 계산

ⅱ) 사용자가 비 연계된 짝의 집합(임의 표본에서)을 보유하고 있을 경우에는 비 연계 빈도 가중치를 계산

ⅲ) 사용자는 빈도 가중치를 수동으로 입력할 수 있으며, 다른 프로젝트에서 빈도 가중치를 가져올 수도 있음

3. 선택적으로 결과 가중치 정제

ⅰ) 비연계 빈도 가중치는 결과 가중치 내 비연계된 부분으로 대체 가능

ⅱ) 연계 빈도 가중치는 결과 가중치 내 연계된 부분으로 대체 가능

ⅲ) 연계 또는 비연계된 부분의 빈도 가중치 전부는 결과 가중치 전부로 대체 가능

4. 짝의 재설정

ⅰ) R; Rejected Pairs, P; Possible Pairs, D; Definite Pairs를 구별하기 위한 임계값의 재적용

ⅱ) 사용자는 결과 가중치의 변화, 빈도 가중치의 적용 또는 제거, 임계값(상한 또는 하한)의 변경이 있는 경우 짝에 대한 재설정을 반드시 수행해야 함

Group(그룹화)

5. 짝들을 가능한 함께 그룹화

ⅰ) 약한 그룹; Definite, Possible pair로부터 연결된 자료

ⅱ) 강한 그룹; 약한 그룹 내에서, Definite pair만으로 연결된 자료

6. 갈등 해결

ⅰ) 모든 definite 연계 과정을 반복

ⅱ) definite 연계가 남아있는 것을 강하게 확인

※ 두 파일 연계에만 해당되고, 파일 간 1:1, n:1, 1:n 관계에서 시행

Ⅲ		심포지엄의 주요 내용

Session 4A : 선택적 에디팅(Selective Editing)

◇ 스웨덴 통계청에서 사용하고 있는 선택적 에디팅에 대해 오류의 형태, 에디팅 작업 순서, 선택적 에디팅의 목적 및 구체적인 사례 등을 통해 발표

◇ 호주 통계청에서 실시하고 있는 유의한 에디팅의 정의, SigEE의 기능, 에디팅의 유형 등에 관한 내용 발표

스웨덴 통계청의 선택적 자료 에디팅 및 실행

□ 오류의 생성 및 형태

- 미가공 자료(raw data) 속 오류는 보통 무응답과 측정 오류이며, 통계 생산 과정은 오류 발생 위험을 가지고 있는 여러 활동들의 복합체

- 오류 형태는 확실한 오류/치명적인 오류, 항목 무응답, 유효하지 않은 값, 자료 구조 또는 모형 오류, 전체가 부분들의 합과 다른 경우, 모순 등

□  의심 가는 자료 값들

- 편차 오류(Deviation errors) : 통계 결과에 큰 영향을 주지 못할 때가 많음(낮은 적중률, 자료의 많은 수정은 큰 영향을 주지 못함)

- 정의 오류 : 찾기 어렵지만 여러 번의 조사 결과를 종합하여 에디팅,  FGI 실시, FAQ와 응답자 재접촉을 통한 통계 사용, 항목 무응답의 높은 비중, 그래픽 에디팅 등을 통해 찾을 수 있음

□ 에디팅 작업 순서 및 선택적 자료 에디팅

- 작업 순서

① 응답자 에디팅 ⇒ ② 자료 등록 전 수동 에디팅 ⇒ ③ 자료 등록 에디팅 ⇒ ④ 생산 에디팅/마이크로 에디팅(전통적 에디팅 vs. 선택적 에디팅) ⇒ ⑤ 일관성 분석 ⇒ ⑥ 결과 에디팅/매크로 에디팅 ⇒ ⑦ 평가 및 발표

- 선택적 자료 에디팅

․ 목적 : 결과 통계 품질 저하가 크지 않은 범위에서 통계 기관과 응답자의 비용을 줄여 주는 것

․ 전통적 에디팅과 비교 : 전통적 에디팅은 이전 조사들의 자료에 의한 허용 한계 찾기인 반면에 선택적 자료 에디팅은 우선  순위의 변수 및 자료의 점수에 대한 함수를 구축

ⅰ) 최소한 하나 이상의 전통적인 에디팅을 통하여 자료에 대하여 통계적으로 가능한 영향을 표시

ⅱ) 에디팅을 통하여 의심되는 변수 값에 대하여 통계적으로 예상되는 영향의 합을 표시

□ 스웨덴 통계청의 사례 : SELEKT 1.1

- 선택적 에디팅을 위한 IT-tool인 SELEKT 1.1을 개발해왔고, SELEKT 1.1은 사용자의 방법론에 대한 이해가 필요함

- 선택적 에디팅 구현 - 단기 고용 조사

․ 분기별 기업 조사, 여러 부문의 고용자 수

․ 필요한 변수들을 포함한 자료 생성

․ 전통적 방법의 수정, 조사, 시험 변수, 범위 등을 결정

․ 전통적 에디팅의 적중률을 선택적 에디팅의 의심률로 쓸 수 있음

․ 역치 설정, SELEKT로 테스트

※ 참고 : Norberg, A. et al.(2010); 선택적 에디팅에 대한 일반적 방법론

호주 통계청의 선택적 에디팅 방법 및 도구

□ 유의한 에디팅(significance editing) 정의

- 선택적 에디팅의 한 형태로 마이크로, 매크로 에디팅에 적용 가능

- 이상치 보정의 추정에 대한 영향에 기반을 둔 점수 이용

- 자료 항목들, 제공자, 또는 추정치에 우선순위를 매긴 점수와 순위 이용

- 기본 개념

․ 에디팅 이익 : 예상 이익, 달성 이익

․ 점수와 순위 : 점수 = 예상 이익

․ 로컬, 글로벌 점수 : 항목 점수와 순위, 제공자 점수와 순위

․ Cut-off와 목록 수정 : 사전에 정해진 Cut-off, 상호 cut-off

․ 비용/이익 그래프 :

ⅰ) 순위(또는 비용)에 대한 누적 이익 그리기

ⅱ) 이익과 비용의 상호 교환 관계를 보여주므로 상호 cut-off를 선택하는 데 사용 가능

ⅲ) GINI 지수의 특성을 나타냄

□ SigEE(Significance Editing Engine)의 연혁 및 기능

- 연혁 : SigEE는 1990년대부터 AWE에서 쓰였고, 2002년 3월에 사례 연구 시리즈를 통해 SigEE의 시험 버전 생성

- SigEE의 기본 기능

․ 경로 A, B, C, D 항목 점수, 제공자 점수(provider scores)

․ 미리 정의된 또는 상호 cut-off 방법

․ 극단적인 점수는 보정

․ 형태 기반(form-based) 및 항목 기반(item-based) 에디팅

□ SigEE의 9가지 에디팅 유형

1차 Cut-off 유형	Cut-off 방법	항목 점수 유형
제공자	Pre-specified	1. Path A
		2. Path B
		3. Path C or D
	Interactive	4. Path A, B, C or D
항목	Pre-specified	5. Path A
		6. Path B
		7. Path C or D
	Interactive	8. Path A, B, C or D
		9. Path B, C or D

Session 6A : 인터넷 설문의 설계 및 테스트의 표준화 및 가이드라인
(Standards and guidelines for the desgin and testing of Internet questionnaires)

◇ 캐나다 통계청에서 실시하고 있는 EQ 프로젝트의 개요, 기능 및 표준화 가이드라인, 전자조사 후 응답률 제고 등을 위한 무응답 후속조치에 대한 실험 설계 및 실험 결과 등에 관한 내용 발표

◇ 웹조사의 업무 효율성 제고, 예산 절감 등을 위해 개발된 소프트웨어인SigEE가 질문 설계, 시행, 모니터링 각 단계에서 수행하고 있는 기능에 대한 내용 발표

전자설문 가이드라인의 개발

□ EQ 프로젝트의 개요 및 적용 단계

- 캐나다 통계청은 다양한 조사방법으로 자료를 수집하는데, 최근 인터넷 설문이 새로운 도전과제로 떠오름에 따라 “EQ(Electronic Questionnaire) 프로젝트”를 시작

- EQ 프로젝트는 2010년 시작된 전자설문에 관한 내용으로 향후 5년간 200개 사업체 및 가구 조사에 적용 예정

- EQ의 개발 및 적용은 다음의 6단계로 이루어짐

① 초기 평가 ⇒ ② 기능 개발 ⇒ ③ e - 설문 작성 ⇒ ④ e - 설문 테스트 ⇒ ⑤ 자료 수집 ⇒ ⑥ 자료 분석

□ EQ 프로젝트의 가이드라인

- 가이드라인 공식화를 위한 EQ 표준위원회가 구성되었으며, 기존의 추진내용 및 테스트, 국제 문서에 따라 공식화된 가이드라인 작성

- 가이드라인의 최초 버전은 2011년 5월에 작성

- 전통적 질문 설계 구성인 조사내용, 질문문구 등은 포함하지 않음

- 포괄 범위 : 설계 기능(유용성, 접근성, 화면 구성 등)

․ 웹페이지에 관한 일반적인 모양과 느낌(필수 요소)

․ 일관된 색의 사용, 연락처 정보 및 소개 페이지

․ 글꼴 및 스타일, 도구 막대의 일관성

․ 탐색 키 및 버튼(기능 및 배치)

․ 답변 공간 및 질문 배치, 문자 제한

․ 음수 값, 천 단위 구분을 위한 기능 등

□ EQ 프로젝트의 향후 과제

- 현재까지 16개 사업체조사, 2개 농업조사, 2개 사회조사에서 실시되었고, 올해 연말까지는 10개 조사에 적용 예정

- 향후 사회조사에 적용하기 위한 노력과 사전테스트 및 기술의 개발, 연결 질문(bridge questionnaire) 내용과 설계, 지속적인 연구결과를 국제적으로 공유

웹조사의 개발과 모니터링 시스템 : GINO++

□ GINO++(Gathering INformation Online)의 개요

- 웹조사의 질문 설계부터 시행, 모니터링의 3단계를 포괄하는 소프트웨어로 ISTAT(Italia National Institute of Statistics)에서 개발

- 현재까지 총 4개의 버전을 거쳐 비교적 안정적이고, 여러 조사에서 활용되어 축적된 기능 및 성능의 향상, 해당 업무 관련자들의 사용 공유로 인한 업무 효율성 제고, 예산 절감 등의 강점을 가짐

□ 단계별 수행 기능

- 설계 단계(DESIGNING stage)

․ 문항설계 및 에디팅 기능 삽입

․ 조사 직전까지 문항 수정 가능(문항 수정에 필요한 레이아웃 개선 포함)

- 수집 단계(CAPTURING stage)

․ 데이터베이스에 온라인으로 직접 데이터 저장

․ 문항에 대한 값이 부분적으로 입력되었더라도 컴파일러에 나와 있는 것과 같이 확인 가능(save 혹은 send 클릭 후)

․ 엑셀 포맷으로 데이터 내보내기 가능

․ 시계열이 요구되는 경우 도표 형태로 추세 제공

- 모니터링 단계(MONITORING stage)

․ 응답자와 수퍼바이저의 수행 내용을 연속적으로 모니터링(예 : 접근 횟수, 설문 상태 등)

․ 설문의 매 단계에서 상태가 지연되는 경우 즉시 촉구(예 : 최초 사용자 등록, 임시 제출, 최종 제출)

․ 품질분석 : 오차에 관한 상세한 리포트

□ 최근 버전의 주요 기능

- 다국어 지원

- 다중설문 : 응답자에 관한 특정 사건이 발생할 때 마다 각 응답자에 대한 질문의 다각도 생성

- 주소 생성목록 또는 이메일 전송의 직접 관리 기능

- 응답자 및 설문 설계 측면의 품질 분석

전자설문의 무응답 후속조치 방법(NRFU)에 대한 실험

□ 실험의 필요성

- 캐나다의 사업체조사는 전자조사를 주요 수집방법으로 하기 위해 통계 프로그램을 재구성하고 있는 상태

- 전자조사 후 응답률 제고를 위한 NRFU(Non-Response FollowUp), 유사 타입의 조사 시 적절한 전략으로 활용하기 위한 방법을 모색하기 위한 실험 실시

□ 실험의 설계 및 결과

- 실험 설계

․ 특정 사업체조사(서비스업 및 본사)를 대상으로 1차 전자조사를 실시, 무응답은 다음 4개(T1-T4)의 방법으로 독려한 후 회수율을 비교

모형	T1 (standard)	T2 (email only)	T3 (phone attempt)	T4 (phone+email)
알림	이메일	이메일	1차 시도 : 전화 2차 시도 : 이메일	1차 시도 : 전화 2차 시도 : 이메일
알림주기	4회; 한달마다	4회; 2주마다	4회; 한달마다	4회; 2주마다
표본크기	EQ표본의 25%	EQ표본의 25%	EQ표본의 25%	EQ표본의 25%

※ 모형 간 차이점은 알림 방법과 주기

- 실험 결과

․ 모형 T1-T4 간 회수율 효과를 검정한 결과 무응답 후속조치 방법에 따라 유의한 차이(p<0.001)를 보임

․ 실험 결과를 토대로 무응답 처리방법으로 이메일 알림 사용의 영향을 파악하는 것을 목표로 하게 됨

․ 지금까지 전자조사에 사용된 무응답처리 방법은 전통적(종이조사) 방법에 기초를 두었는데, 국제적 추세와 캐나다 통계청의 실험으로 전자조사 응답자들은 전통적 방법이외 다른 처리가 필요함을 실험을 통해 증명

Session 7A : 데이터 접근에 대한 비밀보호방법과 도구
(Confidentiality methods and tools for accessing data while preserving confidentiality)

◇ 응답자 비밀보호에 대한 요청과 이용자 중심의 서비스 제공이 요구되는 상황에서 더 중요해진 마이크로데이터에 대한 접근 및 이용과 관련하여 미국 통계청의 MAS 및 호주 통계청의 CURF에 관한 내용 발표

미국 통계청의 마이크로데이터 분석 시스템

□ MAS(Microdata Analysis System)의 개요

- 미국연방법(제13조 응답자 비밀보호)에 위배되지 않게 자료 제공을 위하여 원격 제어시스템인 ‘마이크로데이터 분석시스템(MAS)’을 구축, 데이터에 접근 가능하도록 함

- MAS에서 기본적으로 필요한 개념인 ‘Universe’는 사용자의 정의로 만들어지는 일종의 모집단 영역

□ MAS의 기능

- 사용자 중심의 쉬운 인터페이스와 이용목적에 맞는 맞춤형 서비스를 제공하는데 주요 기능으로는 통계표 작성과 유의성 검증, 상관계수, 순서형 변수 범주의 조합, 결측값 처리 기능 등이 있음

- 시각적 유저 인터페이스를 제공하여 사용자로 하여금 별도의 소프트웨어 없이 MAS 공간 내에서 분석 가능한 점은 우리 청에서 제공하는 마이크로데이터 분석시스템 MDSS와 유사

통계적 목적을 위한 마이크로데이터 접근 제공

□ CURF(Confidentialised Unit Record File)의 개요

- 호주 통계청의 중요 목적 중 하나인 ‘Informed and Increased Use’와 관련하여 통계적 목적을 위한 마이크로데이터의 접근과 이용을 개선하기 위해 CURF 파일을 1985년 처음으로 연구자들에게 제공

- 2002년부터 원격 제어시스템이 구축되었으며, 현재 약 150개 이상의 이용 가능한 CURFs의 서비스를 100개 기관 이상으로부터 1,500명 이상의 사용자들이 이용

□ 비밀보호 및 정보제공 수준

⇨ 자료의 비밀보호 및 정보제공이 가장 낮은 수준은 호주 통계청 홈페이지 제공이며, 가장 높은 수준은 전문가용 CURF 및 2006 인구센서스 자료 제공

□ 마이크로데이터 제공형태

- 기본자료 : CD-ROM에 저장하여 CURFs 제공

- 원격제어 : 시스템에 있는 CURFs에 접근하여 내장된 SAS, SPSS, STATA 환경을 이용하여 분석

□ 향후 개발 내용

- 기능 : 연계 자료분석, 지리정보를 활용한 분석, 사업체조사의 마이크로데이터 서비스

- 방법론 : 로버스트 회귀분석, 가공 데이터셋 생성(자동화된 모델링 및 알고리즘 프로시저 포함)

- 시스템 : 쿼리의 자동화 모니터링 시스템, 사용자 환경과의 상호작용

Session 7B : 내용 및 수집(Content and Collection)

◇ 인터뷰 조사의 품질을 평가하기 위한 방법과 도구의 표준화와관련해서 품질 모니터링의 표준화 방법인 QUEST의 목적, 표준화 관련 이슈 등에 관한 내용 발표

◇ 예비적 자료 수집을 하나의 창구에서 가능하게 하여 자료 수집의 표준화 방법인 캐나다 통계청의 ‘Collection Front Door’에 대하여 장점, 과정 등에 관한 내용 발표

인터뷰 조사의 품질 모니터링을 위한 표준화 방법의 영향

□ QUEST(Quality Evaluation System)의 개요

- 조사자 실적 모니터링은 조사자가 조사지침을 정확하고 일치되게 수행하는지 확인하는 중요한 품질관리과정이고 상당한 노력이 필요

- 전통적인 접근은 비효율적이고 비체계적이어서 모니터들은 주관적인 순위를 사용하면서 응답자 상호작용을 찾는 데 비생산적

- QUEST는 전화조사와 현장조사의 품질 모니터링을 위한 효과적이고 방식 독립적 접근을 제공하는 CARI(Computer Audio Recorded Interview) 기술을 결합한 표준화된 프로토콜 사용

< QUEST의 체계도 >

□  QUEST의 목적

- 모니터링 프로토콜, 메트릭스, 피드백 장치의 표준화

- 조사자 실적을 평가하고 개선시키는 CARI 기술의 사용 증가

- 조사자 및 조사항목 실적을 평가하기 위한 추세 자료(trend data) 수집

- 모니터들 간 상호 신뢰도를 평가하기 위한 자료 수집

- 모니터링 작동의 효율성 증가

- 고객에 의한 인터뷰 자료에 대한 접근 개선

□ QUEST의 표준화관련 3가지 이슈

가. 대안적인 인터뷰 기술과 전문화된 인터뷰 업무에 맞게 조정 필요

- QUEST의 새로운 모니터 항목 추가 요청

․ 대화 인터뷰를 위한 읽기 기술 vs. 표준화된 인터뷰

․ 결측치 / 후속조치(follow-up) 인터뷰 자료의 재접촉 및 자료 검색

․ 자료수집 도움센터 활동들

나. 많은 프로토콜 변화의 영향

- 2011. 4월에 2개 프로토콜의 변화가 있었고 모니터 업무보고 개최

ⅰ) 인터뷰가 관찰되고 있는 세션을 위한 표본추출 간격이 15분에서 12분으로 감소

ⅱ) 추가 항목과 점수기준은 구체적인 조사자 행동의 임계치 재정의를 포함하여 QUEST 평가형식에서 실행

ⅲ) 업무보고는 이슈들을 발표할 모니터 스탭과 함께 개최

다. 모니터 변동성의 초기 평가

- 표준화된 QUEST 과정들은 모니터와 세션 간 일관성있는 평가 촉진

- 3개월간 RDD 전화조사의 2가지 관찰

․ 매월 모든 모니터들 간 에러 탐색에서 전반적인 변동성

․ 매월 모든 모니터들 간 에러 탐색에서 변동성

□ 결론

- QUEST가 품질 모니터링의 표준화를 제공하기 위해 만들어졌지만 비정기적인 자료수집 업무에도 적용을 확대

- 다수의 프로토콜을 변화시켰을 때,

․ 실적 방해물의 높은 비율은 세션들에 고려

․ 3가지 실적 방해물에 대한 에러 탐색률은 실제 모니터링 기간 중에 조금 증가

- 모니터 변동성의 초기 자료는 탐색된 전반적인 에러와 구체적인 방해물 내에서 탐색된 에러에서 모니터들 간 높은 일관성을 보임

※ 몇 가지 주의사항(Caveats)

① 2011년 4월 전과 후의 결과를 비교하는 데 있어 각 변화가 구체적으로 어떻게 결과에 영향을 주었는지를 구별할 수 없음

② 고려된 방해물 자료와 탐색된 에러는 자료수집 프로젝트만 반영하는 것이므로 다소 다른 혼합에는 결과가 다를 수 있음

③ 모니터 변동성 자료는 3개월간 하나의 대규모 조사의 결과이므로 다른 기간에는 다르게 나타날 수 있음

예비 수집 계획(Preliminary Collection Planning)

□ Collection Front Door의 개요

- 2007년 캐나다 통계청의 Collection Service의 비전은 “Collection Service를 찾는 고객을 위해 하나의 조직적인 입구가 만들어져야 한다”고 규정하고 있고, 이를 구현하는 방안 중 하나로 2009년에 ‘Collection Front Door’가 시작

□ Collection Front Door의 장점

- 모든 고객 부서(client divisions)들을 위한 원스톱 접촉점

- 수집에 더 표준화된 접근

- 수집 파트너들과 고객부서 간의 더 좋은 의사소통 및 조화

- 증가되고 집중화된 수집 지식

․ 비슷하거나  다른 수집방법들로 이루어진 과거 조사들의 결과들

․ 새로운 서비스와 기술 이용, 자원(resources)의 수용

- 고객의 요구를 맞추는 다양한 선택들

< Collection Front Door 시행 전과 후 비교 >

□ Collection Front Door의 과정

- 요청 제출, 고객과 초기 미팅

- 수집 파트너들과 연락

- 수집가능성 평가 보고서의 준비

․ 모든 수집활동의 요약, 사용된 설명서 및 전제

․ 각 파트너들의 활동들의 개요, 수집 수용 평가

․ 위험 및 추천

․ 세부적인 예비 비용

․ 조사 승인 확인 날짜 등을 포함한 중요한 마감일

- 승인(Go-ahead) 확인 및 hand-off meeting

□  Collection Front Door의 성공 조건

- 고객 부서를 위한 원스톱 접촉점

- 전문가의 수집 활동 센터, 역할과 책임

- 세부적인 보고서, 수집 파트너들과 고객 부서들과의 파트너쉽

- 회사 사업 구조(Corporate Business Architecture)

Session 8B : 질문지 설계와 조사방법 효과
(Questionnaire Design and Collection Mode Effects)

◇ 수집된 자료의 품질 개선과 관련하여 캐나다 통계청에서 구체적으로 적용되고 있는 자료 품질 조항, 표준화된 질문 항목 설계 등에 관한 내용 발표

웹 수집에서의 자료 품질 조항(Data Quality Provisions)

□ 개요

- 온라인 자료수집 방법은 상대적으로 새롭고 잠재력을 가지는 방법으로 이를 단독 혹은 혼합 조사모드 중 일부로 사용하든 방법론적 이슈, 자료품질에 관한 사항은 여전히 논의의 대상

□ 웹 수집의 오차 원인

- 대표오차(Representation Error) 원인 : 불완전한 이메일 목록,  대표성 없는 표본틀, 무응답 오차(예 : 이메일 반송, 스팸메일 차단) 등

- 측정오차(Measurement Error) 원인 : 불완전하거나 유효하지 않은 응답, 복수 답변 등

□ 웹수집 솔루션

- 일반 접속구역(public access zone)과 내부용 네트워크(confidential network)으로 구성

- 웹수집 서비스를 통한 응답자정보, 파라데이터, 조사자료 수집

- 큐잉 서비스를 통한 통합서비스 및 클라이언트에 제공

- 웹조사 자료품질 개선을 위한 노력으로 조사방법의 경험적 연구를 지속하고, 조사전문가와 정보통신기술 전문가와의 공동연구가 필요

□ 품질 개선 노력

- 지난 3 - 4년 간 온라인 데이터수집 시 발생하는 오차 발생의 구조적 원인을 파악하고 품질개선을 위한 노력

․ 측정오차 감소, 웹 접근 및 상호운용성의 문제 해결을 위한 질문 설계 및 기능의 사용

․ 클라이언트 측면의 파라데이터 수집

․ 새로운 인터넷 휴대장치에 대한 사용(스마트폰 등)

․ 사업체 통계자료의 보고 및 추출을 위한 자동시스템

캐나다 군사력 스포츠 프로그램 설명을 위한 질문 설계

□ 개요

- CF(Canadian Forces) 스포츠 프로그램은 군사들의 부대 단결력, 팀워크 향상, 개인의 리더쉽 개발을 위해 행해지는 또 다른 훈련 형태로 이는 국제적 수준의 스포츠 프로그램

- 연구목적은 프로그램 참가자 개인의 타입을 평가하기 위한 것으로,  발표 내용은 광범위한 연구 중 질문 설계 부분에 대한 내용에 해당

□ 질문 문항 및 표본추출

- 조사는 문헌연구를 기초로 국방부 및 연구원, 클라이언트와 협의 후 특정 섹션에 따라 분류되어 문항이 구성됨

․ 인구통계학적 변수 : 나이, 성별, 공식언어 등 6개 항목

․ 질문 분야

ⅰ) 1-2 : 직장생활의 목적, 프로그램의 인지도 등 6개 문항

ⅱ)  3 : 키, 몸무게, 건강상태 등 5개 문항

ⅲ)  4 : 팀응집력, 리더쉽능력

ⅳ)  5 : 정신건강상태, 개인기호(흡연, 음주 여부)

ⅴ)  6 : 스포츠, 프로그램 참여기간, 만족도

- 조사 표본은 CF 프로그램의 참가자와 비참가자가 모두 포함

․ 표본추출 시 군사인구는 과다하게 추출되지 않았고, 커뮤니티 웰니스 조사 참여자는 제외하였으며, 층화 시 성별과 계급 변수를 활용

․ 성별, 계급 등 5개 항목은 인적자원관리시스템에서 제공

□ 시사점

- CF 스포츠 프로그램의 참여와 만족도를 포함하여 영향력을 설명하는 연구가 최초임에 의의

- 현재는 조사가 완료된 상황으로, 이후 작업은 참여자와 비참여자를 통합하고 분석하여 결과를 제공

조사발전을 위한 새로운 패러다임 : 항목과 도구의 일치

□ 개요

- 다른 조사로부터 얻어진 동일 항목 자료를 비교하는데 불일치 등 어려움 발생하고, 개념 정의 및 분류의 통일성 부족으로 인한 일치된 항목의 개발 필요성 대두

□ 질문 항목의 표준화 필요성

- 어떠한 가구조사에도 활용할 수 있는 사회인구학적 변수의 표준화 질문형태를 개발

- CATI, CAPI, 종이조사에서 활용할 수 있는 18개의 표준화 질문 항목

․ 질문용어, 지침서, 에디팅, 메타데이터 등

- 적용 시기는 기존의 조사는 주요 내용에 대한 재설계 작업 시, 새로운 조사는 이미 표준화 질문형태의 개발이 포함되어 있는 상황

- 자료의 품질향상, 비용절감, 조사원 매뉴얼 및 교육의 효율성 제고

Ⅳ		시사점

조사방법과 도구의 표준화를 위한 체계적인 전략 마련

□ 심포지엄의 주제인 ‘조사방법과 도구의 표준화를 위한 전략’의 내용을 통해 통계생산 과정별 표준화 가이드라인 마련과 자료수집 및 분석을 위한 표준화된 통합시스템 구축이 매우 중요한 과제임을 인식

- 현장조사를 통한 데이터 생산이 점점 어려워지는 환경에서 전자조사 증가, 행정자료의 활용 증대 등으로 인해 조사방법 및 시스템의 표준화를 위한 가이드라인 마련 필요

행정자료 활용을 위한 효율적인 자료 연계 방법 모색

□ 전통적인 현장조사방식에서 행정자료의 활용과 새로운 조사방법으로 조사 패러다임 전환

- 조사로 얻어내기 힘든 항목을 행정자료로 대체해 조사 자료와의 결합을 통해 새로운 통계 생산

- 우리 청의 경우 행정자료 입수 초기 단계이고 다양한 부문에서 행정자료를 입수하고 있어 고품질의 통계생산을 위해 행정자료 간, 행정자료와 조사자료 간 효율적인 연계 방법 모색이 필요

전자조사의 표준화 가이드라인 작업 및 전문화된 시스템 구축

□ 우리 청의 경우 전자조사 방법을 도입한 조사가 점차 늘어나고 있는데 표준화 가이드라인 작업과 전문화된 시스템 구축은 아직 미흡한 실정으로 이에 대한 적극적인 검토가 필요

- 경제조사의 대부분은 전자설문 구축 모듈이 없고, 사회조사의 일부 모듈이 있지만 활용도가 높지 않음

□ 해외 사례 : 캐나다 통계청과 이탈리아 통계청

- 캐나다 통계청은 전자설문 설계센터를 설립하여 질문 내용의 검수 및 질문의 배치, 응답 입력방법, 시각적 효과 등에 대한 가이드라인을 마련하여 이를 근거로 선택과 결정

- 이탈리아의 통계청에서는 웹조사 데이터 수집의 효율성 및 전문성 제고를 위한 노력을 지속하고 있고, 다국어 지원으로 사용자 측면의 인터페이스 구축

웹수집 데이터의 품질관리

□ 데이터의 품질관리를 위한 지속적인 노력 필요

- 오랜 기간에 걸쳐 오차 발생의 구조적 원인을 파악하고, 응답률을 높이는데 국한되지 않는 등 품질관리에 대한 지속적인 논의가 필요

- 활발한 조사품질 개선을 위한 파라데이터 수집

- 스마트 기기를 활용한 자료수집에 대한 노력

□ 표준화된 질문 형태 개발 필요

- 사회인구학적 변수를 이용한 표준화된 질문형태를 개발하여 다른 조사로부터 얻어진 동일 항목의 조사결과에 대한 차이를 줄이려는 노력이 요구

사용자 중심의 자료제공 기관으로서의 역할

□ 세계 각국의 통계청은 존립 목적이 해당 기관에서 생산한 통계를 가급적 더 많은 사람이 활용토록 하는 것이라고 할 정도로 사용자 중심의 다양한 통계의 생산을 추구

- 사용자 중심의 자료제공을 위해 마이크로데이터의 비밀보호 기법에 대한 지속적인 개발․연구와 이용자에 대한 통합서비스 제공이 필요

- 단순 자료제공에서 벗어나 연구자 이용목적에 맞는 맞춤형 자료제공 및 전문적 통계분석 서비스를 제공하기 위한 노력이 요구