2016년 충청남도 직무성과평가

종합 결과보고

2017년  2월

(주) 웨슬리퀘스트

Ⅰ. 2016년 하반기 직무성과평가 평가결과

1. 3+3 정책과제

1) 3+3 정책과제 전반

그림 ) 3+3 정책과제 직무성과평가 항목별 총점

① 3대 혁신이 3대 행복에 비해 점수가 다소 높은 편임

과제별로는 자치혁신, 행복할 권리, 행정혁신이 평균 이상이며, 행복한 성장, 3농혁신, 행복한 환경은 평균 이하로 나타남

그림 ) 3+3 정책과제 총점 및 이행도, 지표성격평가결과 분포

지표성격은 대표성, 도전성, 충실성 항목으로 각각의 점수 합산임

② 총점과 개별항목간 상관관계는 지표성격평가가 0.41로 가장 높은 것으로 나타남. 지표성격평가 배점이 이행도 배점보다 낮은 수준임을 고려할 때, 이는 대표성, 도전성이 높은 과제 설정을 유도하여 도정성과를 견인하고자 한 본래의 취지에 부합하는 결과임.

그 외 평가항목인 달성도, 고객만족도, 정책품질평가, 부서환경평가, 정책협력활동평가 항목은 모두 결정계수의 값이 0.05 이하이거나 음의 상관관계로 나타나, 총점에 미치는 영향도는 높지 않음

2) 시계열 비교

그림 ) 2015-2016년도 3+3과제 달성율 비교

① 3+3 정책과제 중 ‘자치혁신’의 점수가 가장 높고, ‘행복한 환경’이 가장 부진함. 전년대비 3대 혁신의 개선은 이루어졌으나 이를 바탕으로 한 3대 행복의 지속적인 성과 창출은 다소 미흡한 것으로 나타남.

② 3+3 과제의 평가결과를 전년도와 비교할 때, 전반적으로 달성율이 상승하였음 (3대 혁신 : 83.03%→85.26%, 3대 행복 : 84.06%→84.33%)

-달성율 상승폭은 자치혁신이 가장 크고, 다음으로 행정혁신, 행복할 권리, 행복한 성장 순으로 나타남

-반면, 3농 혁신과 행복한 환경은 전년대비 하락함. 두 과제 모두 정책품질평가와 충실성 항목에서 전년대비 미흡한 결과를 보임

③ 3+3 과제 및 평가항목별 달성율을 전년도와 비교했을 때 정책품질평가의 달성율이 가장 큰 폭으로 하락하였고 다음으로 부서환경역량평가, 충실성 항목 순으로 하락함. 반면, 도전성, 대표성, 이행도, 고객만족도평가 순으로 달성율이 전년대비 개선됨

<표1 3대 과제 평가점수 달성율 비교(2016-2015 점수 차)>

* 전년도 비교를 위해 2016년 신설된 정책협력활동평가 항목은 제외함

3+3 과제 평가항목	행정혁신	자치혁신	3농혁신	행복한 성장	행복할 권리	행복한 환경
대표성	11.86	10.29	16.80	14.79	12.24	12.58
도전성	16.59	16.72	19.02	18.75	15.81	17.38
충실성	1.87	5.14	▼2.28	▼2.72	▼3.41	▼6.75
이행도평가	8.87	11.70	10.09	9.11	11.76	6.80
정책품질평가	▼9.88	▼2.96	▼25.56	▼13.37	▼4.75	▼17.10
고객만족도평가	2.30	3.82	0.88	1.93	▼2.20	▼0.82
부서환경역량평가	▼1.85	1.37	▼3.33	▼0.26	▼6.07	▼14.35

3) 우수/부진과제

그림 ) 3+3 정책과제의 우수/부진과제 구성비

① 상위 10% 과제 중 ‘3농혁신’과 ‘행복할 권리’의 비중이 가장 높음
하위 10% 과제 중 ‘행복한 환경’의 비중이 가장 높고, 다음으로 ’행복할 권리’가 높은 비중을 차지하고 있음

‘행복할 권리’는 상·하위 10%에 모두 포함되어 과제별 평가점수 편차가 매우 큰 특징을 보임. 반면, 총점 결과가 가장 우수한 ‘자치혁신’ 과제는 우수과제와 부진과제 양쪽 모두에서 두드러지지 않음

4) 평가요소/조직단위별 비교

① 내·외부 평가 비교 : 전반적으로 내부평가에 비해 외부평가 점수가 부진함

직무성과평가로 세부 항목인 대표성, 도전성, 충실성, 이행도(상·하반기 합산으로 총 25점), 달성도의 합산 점수를 의미

고객만족도 평가를 의미

-3+3 정책과제 중, 행복할 권리의 외부평가(고객만족도 평가)가 최저점으로 내부평가와 점수 차가 가장 크고, 내부평가 점수가 가장 낮은 3농 혁신의 내·외부평가 점수 차가 가장 작은 것으로 나타남

그림 ) 3+3 정책과제의 내·외부 평가결과 간 비교

- 행복할 권리 과제의 경우, 모든 부서의 외부평가 점수가 낮으며, 특히 소방본부의 내·외부 평가 간 달성율 차가 가장 큼

	내부평가 달성율	외부평가 달성율	내·외부평가 차이
전체평균	95.26%	79.35%	15.91%
행복할 권리 과제 평균	95.56%	76.08%	19.48%
소방본부	95.27%	74.03%	21.24%

<표2 소방본부의 내외부평가 달성율 평균과 비교>

- 내외부평가 모두 우수한 자치혁신을 제외하고, 내부평가와 외부평가는 상반된 결과를 보이고 있음. 즉, 내부 평가점수가 높은 과제의 외부 평가점수가 낮고, 내부 평가점수가 낮은 과제의 외부 평가점수가 높은 것으로 나타나고 있어, 도민의 성과체감도와 조직 내부의 평가 결과가 상반되는 것으로 나타남. 이는 평가항목이 서로 상이하게 구성된 점을 감안하더라도 평가결과가 외부 고객의 체감도와 온도차가 크다고 해석할 수 있으므로 이러한 결과의 구체적인 원인을 분석해볼 필요가 있음.

- 예상되는 원인으로 ⓵업무성과가 대외적으로 홍보가 부족한 경우, ⓶도민의 지지도가 낮은 과제인 경우 등이 있음

② 본청과 사업소 비교

가중치가 다른 2개의 평가항목을 각 조직단위로 비교하기 위해 백분율 대신 총점 기준으로 분석

본청/사업소 3+3 정책과제		직무성과평가	고객만족도
본청		52.46	5.52
	행정혁신	52.21	5.48
	자치혁신	52.45	5.66
	3농혁신	52.79	5.48
	행복한 성장	52.24	5.69
	행복할 권리	52.68	5.35
	행복한 환경	52.42	5.50
		52.54	5.61
사업소
	행정혁신	52.22	5.60
	자치혁신	해당없음	해당없음
	3농혁신	52.85	5.70
	행복한 성장	51.66	5.31
	행복할 권리	51.79	5.23
	행복한 환경	52.17	5.45

<표2 본청과 사업소간 3+3 정책과제별 평가점수 >

-본청 기준 내부평가에서는 행복할 권리가, 외부평가는 행복한 성장이 우수과제로 나타남. 사업소 기준 내외부 평가 모두 3농혁신이 우수과제에 해당함.

-부진과제는 본청/내부평가에서 행정혁신이, 사업소/내부평가에서 행복한 성장으로 나타남. 외부평가는 본청, 사업소 공통적으로 행복할 권리가 부진과제에 해당함.

2. 평가항목별 분석

1) 개별 평균

항목	평균	표준편차
대표성	4.72	0.1982
도전성	4.63	0.2959
충실성	4.49	0.5247
상반기 이행도	4.66	0.4400
하반기 이행도	19.52	0.7308
달성도	14.48	0.7993
정책품질평가	4.52	0.3432
고객만족도조사	5.62	0.5747
부서환경평가	3.04	0.2972
정책협력활동평가	2.62	0.1547

-평가항목별 표준편차를 산출한 결과, 하반기 이행도 및 달성도 편차가 가장 크고, 정책협력활동평가 편차가 가장 작은 것으로 나타남. 이는 각 항목 평균값과 비례하는 결과로 적정한 수준임.

-반면, 과제성격평가 항목인 대표성 및 도전성은 평가 배점(각 5점)에 비해 표준 편차가 크지 않아, 지표간 변별력 저하의 원인이 되었음.

2) 최대-최소차

- 하반기 이행도와 달성도의 경우 대부분의 부서가 저조한 점수를 받아 중앙값과 최소값이 일치하는 결과를 보임. 이는 최소값에 분포한 부서가 많음을 의미하므로 점수가 낮은 부서는 본 항목의 개선 노력이 우선시 됨

3. 실국 단위 평가결과 분석

상하반기 결과 활용이 다르므로 실국 단위 평가결과는 하반기 평가결과만을 대상으로 하였으며, 실국장 점수가 아닌 실국 내 실과 평가결과를 모두 합산한 결과임

1) 우수 실국

실국명	평가점수(70점)	달성률(100%)
충남도립대학교	68.40	91.20%
복지보건국	65.98	87.98%
감사위원회	65.47	87.29%
내포신도시건설본부	65.40	87.20%
소방본부	65.38	87.18%

2) 부진 실국

실국명	평가점수(70점)	달성률(100%)
자치행정국	63.24	84.32%
재난안전실	62.51	83.35%
농정국	62.05	82.74%
건설교통국	61.40	81.86%
보건환경연구원	58.91	78.55%

Ⅱ. 2016년 직무성과평가 운영 상 문제점 및 개선필요사항

1. 과제 및 지표설정

1)직무성과계약과제 작성 기준 명시

-일부 부서의 경우 유관 산하기관의 업무를 과제(혹은 성과지표)로 설정하는 경우가 있어 자기책임원칙에 부합하지 않음.
예시) 전국체전 TF, 충남체육회 간

⇨과제( 및 성과지표) 설정 범위는 해당연도, 해당부서에서 추진하는 업무임을 작성 기준에 명시

⇨유관 산하기관이 있는 부서의 경우, 경영실적 보고서를 참조하여 산하기관 업무와 중복여부를 혁신담당관실에서 검토하는 절차 추진

2)지표와 실행계획에 일상업무 비중 축소 필요

-전략과제나 현안업무가 없는 부서의 경우 일상업무들로 지표나 실행계획이 정의되는 경우가 종종 있으나, 이는 엄밀히 부서의 ‘성과’로 보기 어렵고, 단순히 업무량에 대한 평가가 되고 있음

⇨사회지표(도정지표) 개발을 확대하여 일상업무 지표를 점진적으로 대체

⇨설문조사 등을 통해 실적값이 산출되는 기존 사회지표(도정지표)와 달리, 최근 카드사 및 통신사 등에서 제공하는 데이터를 활용한 사회지표 개발이 활발히 진행 중임(서울시, 제주도, 경기도 등).
이 경우 실시간 실적값 산출이 가능하여 평가에 반영 또한 용이한 장점이 있음.

2. 평가항목

1)과제성격평가 배점 확대

-달성도 평가 시 난이도가 85점 이하인 지표에 대해 1등급 하향 평가가 가능하도록 운영하고 있으나, 하향평가 여부는 평가위원의 판단에 의해 결정되고 있을 뿐 아니라, 평가위원 일부에서 중복평가라는 의견이 있음.

⇨하향평가의 당초 취지(도전적 지표 설정 유인)를 고려할 때, 과제성격평가 배점을 확대하여 도전적 지표설정을 유도

3. 평가운영

1)과제성격평가 시기 조정

-현재 과제성격평가는 상반기 이행도 평가와 같이 6월 초 진행되고 있어 시기적으로 과제성격평가 결과의 연내 환류는 현실적으로 불가능함. 과제성격평가의 목적이 ‘평가 반영’ 이외에도 ‘대표성, 도전성 등을 갖춘 과제 설정을 유도’하기 위함인 점을 고려할 때, 부서에서 평가결과를 반영하여 과제 세부내용을 수정할 기회를 부여할 필요가 있음.

⇨이를 위해서는 과제성격평가 시기를 늦어도 3월경으로 조정할 필요가 있음. (특히, 2017년부터는 상반기 이행도 평가가 폐지되므로 반영이 용이할 것으로 판단됨)
다만, 과제가 2월 중순 확정되므로, 평가결과에 대한 환류범위는 지표의 목표치 및 세부 실행계획으로 한정하는 것이 적정함.

2)평가자별 편향 감소방안

-직원 대상 평가 공감도 조사결과, 상반기 공감도가 더 낮았던 이유 중 하나는 과제성격평가 결과에 대해 피평가부서와 평가위원간 이해의 차이로 보임. 이는 과제성격평가 세부항목별 평가기준이 있음에도, 개별 평가지표의 등급은 평가위원의 정성적 판단에 의한 것이라는 인식이 컸고, 평가의견 또한 구체적으로 제시되지 않았기 때문으로 보여짐.

⇨과제성격평가 시 평가자의 정성적 판단이 개입될 여지를 줄이기 위한 방안으로, 세부항목별 구체적 평가기준 설정하는 방안을 검토할 필요가 있음. 가령, 공약 등 도정과제 중 3개 이상 연계되어 있는 경우 대표성 S등급 부여와 같이 등급별 정량적인 기준을 제시