감사합니다~! ‘3분만에 이해하는 비영리 성과개념’에 뜨거운(?) 호응에 힘입어 2탄을 올릴 수 있어서 매우 기뻐하고 있습니다. 댓글에서 이 책의 번역본이 있느냐는 질문이 있었는데, 번역본은 없습니다. 아름다운재단 스터디를 위해 일부를 번역한 것입니다. 비영리 성과나 소셜 임팩트에 대한 복잡한 논의들이 발전되어 가고 있지만, 오히려 기본적인 내용을 차근히 배울 수 있는 교재가 없다는 사실을 확인할 수 있었습니다. 그래서 이 책을 포함하여 비영리 성과와 관련된 기본적인 내용이 담긴 책을 선정하여 기부문화총서로 발간하도록 추진할 예정입니다. 

비영리 성과측정에 사용되는 모델들 

1. The Project Logic Model

흔히 로직모델이라고 불리며, 가장 광범위하게 사용되고 있는 성과모델이라고 합니다. 어떻게 보면 아주 상식적인 순서의 설명입니다.

로직모델

 너무 뻔한가요? 중요한 것은 논리적인 관계를 보여준다는 점입니다. 사업의 기획단계에서 당연하게 전제되었던 생각을 논리적 순서로 보여줄 수 있게 함으로써 다양한 내외부 구성원들의 이해를 얻고, 사업의 성과에 대해서도 동일한 기대를 갖게 할 수 있습니다.  

로직모델은 다음의 3가지 유형이 있습니다.모델의 모양이 달라진다기보다는 설명하는 중심내용이 다른 것이라고 이해하면 됩니다.

(1) Outcome Model : 장기적 목적과 단기적 목표들 사이의 연관성을 보여줌. 장기적, 무형의, 측정하기 어려운 성과설명에 유용함

(2) Activity Model : 과정중심의 설명, 프로그램에서 나타난 다양한 행동 사이의 관계를 설명하여 ‘선행사건->결과’ 관계를 나타내기에 적함함

(3) Theory Model : 프로그램의 근본이 되는 가정(assumption)을 설명하기 위해 이론적인 구성과 연계시킴. 왜 이 프로그램이 어떤 결과를 기대하게 되는지에 대한 근거를 설명함

로직모델 

이 로직모델의 한계점은 

(1) 단순직선의 한계 : 현실에서는 많은 원인과 중간변수들이 복잡하게 영향을 주고받지만 로직모델은 단선적인 관계로만 나타냅니다. 모든 대상자가 프로그램을 받지 못했을 경우, 프로그램 이수 중 발생할 수 있는 변수들에 대해 고려하지 못한다는 한계가 있습니다.

(2) 이론적이라는 한계 : 이론적 모델의 다음 사례를 보면 설명이 필요없이 느낄 수 있습니다.

 

복잡해져서 오히려 이해가 어려워지는 것 같지요? 게다가 학생들의 참여가 증가할 것이라고 하는데 어디에서 어떻게 그런 변화가 일어나는지 설명되지 않고 있습니다. 프로그램의 이론적 설명에 집중하기 때문입니다.

그러나 전반적으로 로직모델의 가장 큰 장점은 프로그램 과정과정에 매몰되지 않고 “큰 그림”을 잘 볼 수 있게 해준다는 데에 있습니다. 

2. BSC(The Balanced Scorecard) 모델

BSC는 영리기업에서 만들어져서 이후에 비영리에서 차용한 모델입니다. 이전에 영리기업은 모든 비용과 성과를 ‘돈’으로 환산해서 보았습니다. 일견 타당한 접근이긴 하나 기업이 커지고 복잡해지면서 ‘돈’으로 모두 환산하기 어렵다는 것을 발견하게 됩니다. 동시에 ‘돈’으로 환산되지 않는 성과를 어떻게 측정할 것인가라는 고민도 함께 안게 되지요. 그 결과 카플란과 노톤이라는 뛰어난 사람들이 BSC를 개발하게 되었습니다.

BSC는 사업수행 자체만을 측정하는 것이 아니라 조직내부가 장기적 목적과 전략에 일치될 수 있도록 커뮤니케이션하는 ‘운영전략’이 될 것이라고 했습니다. 즉, 다양한 업무 수행이 조직의 장기 목적에 맞게 수행되고 평가될 수 있는지 점검하고 평가할 수 있는 툴을 제시한 것입니다. 그렇다면 ‘돈’ 이외에 어떤 것을 측정하라는 것일까요? BSC에서는 다음의 4가지를 제시하고 있습니다.

1. 고객관점 : 고객들이 우리를 어떻게 보는가?
2. 내부적 역량 관점 : 우리는 어느정도까지 능력을 갖추어야 하는가?
3. 혁신과 학습 관점 : 발전과 가치창출을 지속적으로 할 수 있는가?
4. 재무적 관점 : 소유자와 주주에게 어떻게 비춰지는가?

이러한 BSC가 다른 성과측정모델과 차별적인 부분은 보통 기업이 ‘매출 10억 -> 100억’과 같은 목표만 제시하는 것이 아니라 그렇게 가기 위해서 필요한 중간다리 수행들을 측정할 수 있게 한다는 점입니다. 이것을 발전을 만들어가는 능력이라고 볼 수 있는데 ‘내부적 능력’과 ‘혁신과 학습’이 강조되고 있습니다.

‘돈’ 뿐 아니라 다양한 측면을 함께 보고 측정가능하게 한다는 점에서 비영리가 차용하기에 좋은 점을 가지고 있지만, 성과주의라는 사고방식에 기반하고 있기 때문에 조직의 미션과 가치를 각 과정에 반영하면서 수행해가야 하는 비영리에서는 조심스럽게 접근하는 것이 필요합니다. 또한 장기비전과 내부역량에 대한 관점을 가지고 있지만 실제 업무수행 자체를 가이드하지는 못한다고 합니다. 

3. Outcome Funding Framework

이름에서 알 수 있듯이 이는 성과에 기반한 자금지원의 프레임워크입니다. 아름다운재단에서 일하는 사람으로서 가장 와닿는 부분이기도 했습니다. 원리는 앞의 글에서 나온 성과주의 사고방식의 그것과 똑같습니다. 여기에서는 자금지원을 미사여구, 책무, 헌신, 이익에 대한 약속에 근거해서 할 것이 아니라 지원을 받을 사람(단체)의 능력에 근거해서 결정해야 함. 그리고 이를 위해서는 전통적인 사업 프로포절이 아닌 target plan(정확한 계획)에 의해 선정해야 한다고 합니다. 예를 보면 바로 이해가 가능합니다.

오른쪽 목표 계획을 보시면 ‘결과’와 ‘중요단계’가 가장 다른 역할을 한다고 볼 수 있습니다. 우리가 일반적으로 프로포절을 쓸 때, 우리는 이러저러한 사업들을 진행해서 어떤 목표가 이루어 질 것이다라고 하면서 주로 우리가 할 (정해진)사업에 집중한다면 목표계획은 단계별로 성취되어야 할 중간목표에 집중합니다.

 직업교육을 통한 취업지원사업의 목표설정입니다. 관련 정보를 요청한 사람들 중 1/4이 오리엔테이션과 등록에 참여하고 그 중 75%가 주중 워크샵 5번 중 4번 참석한다는 식으로 점점 줄어들어가는 것입니다. 즉 최종적으로 취업에 성공하여 6개월간 유지하는 사람의 목표를 정하고 그 앞단계인 취직에 성공자를 그 수보다 30% 높게 하는 식으로 역산해서 가는 것입니다. 여기에서 중요한 것은 각 단계별 목표가 중심이기 때문에 이 목표를 성취해가기 위해서 각 단계에서 사업을 즉시 보완하거나 수정하는 것이 가능하다는 것입니다. 중요한 것은 정해진 사업을 해내는 것이 아니라 단계별 목표를 성취해내는 것이니까요. 

언뜻 보면 단계별로 이어지는 로직모델과 비슷해 보이지만 outcome funding/management는 직업교육을 받은 사람들 중 처음 예상한 비율의 사람들이 취업에 성공할 수 있는가라는 각 단계에 대한 질문을 지속합니다. 그렇기 때문에 기록과 평가를 위해 요구되는 것이 많고 따라서 조직에 적용하기가 쉽지 않습니다.  

4. Targeting Outcomes of Program 

이는 목표한 성과를 위한 실천적 쳬게로서 달성하고자 하는 목표의 진행상황을 추적하게 합니다. 이를 통해 프로그램이 타게팅한 조건에 얼마나 변화를 만들었는지 정도를 평가합니다. 즉. 계획, 실행, 프로그램 평가에서 각 단계별 성과에 주목합니다.  

 

그림의 왼쪽은 프로그램 개발, 오른쪽은 성과(평가측정)과정입니다. 오른쪽이 우리가 사업에 대해 생각하는 일반적인 순서라면 사업의 기획은 거꾸로 되어야 한다는 것을 보여주고 있습니다. 가운데에서 오른쪽으로 올라가는 계단을 봅시다. 즉, 사업은 자원(resource)를 투입하여 실행(activity) 가 이루어집니다. 여기에서 우리는 충분히 많은 참가자의 수(Participant)와 프로그램에 대한 좋은 반응(Reaction)을 얻어야 합니다. 이렇게 참여한 사람들의 좋은 반응으로 인해 사람들의 KASA(지식, 태도, 기술, 열정)에 변화가 생기게 되고 이것은 특정한 변화를 만들어냅니다.(취업을 한다던지, 학업성취가 높아진다던지) 이것을 practice라고 하는데 이 변화가 나아가 SEEC(사회적, 경제적, 환경적 조건)의 변화로 이어집니다. 지역사회의 경기가 좋아진다던지 범죄율이 낮아진다는 것이 그 예가 될 수 있겠습니다.

그러면 프로그램의 개발은 그것을 거꾸로 수행하면 됩니다. 지역사회의 경기를 살리기 위해서는 사람들의 취업률을 높여야 하고, 그러려면 미취업자의 취업을 위한 새로운 기술을 얻고 취업에 대한 적극성을 높여야 하는데 그러려면 이 사람들이 배웠다는 성취감과 기술을 획득할 수 있는 교육 프로그램을 만들어 시행해야 하며 그러기 위해서는 이러저러한 자원이 필요하다는 식입니다.

TOP의 가장 큰 장점은 프로그램의 개발과 평가를 같은 개념선상에서 사용할 수 있어서 쉽게 사용가능하다는 것입니다. 그리고 필요에 따라 한두단계를 생략할 수도 있습니다. 

5. Managing for Results

정부나 관련 이해관계자들이 주로 사용하는 성과 방법론으로 이해관계자들에게 중요한 결과들을 정의해주고 그 달성여부를 알리는 것에 초점을 맞춥니다. 미국 주,지방정부와 캐나다 정부에서도 이 방법을 사용한다고 합니다.

MFR의 특징은 (1) 결과에 근거한 자원의 할당 및 집행 (2) 가장 잘 된 실행 프로그램을 판별하고 그 요인에 대해 조사하고 그 영향력을 측정 (3) 책임감과 공적 신뢰를 향상시키기위해, 성과의 측정과 지표를 사용 (4) 성과를 입증하기 위해 실적의 회계를 감사하고 모니터링 함 입니다. 

6. Getting to Outcome

이 모델은 “역량강화 평가 모델”을 통해 참가자들을 지도하려는 의도로 만들어졌습니다. 지역사회 내의 참여자들과 기부자들에게 신뢰를 주기 위해서 기관의 프로그램이 어떻게 작동하는지 보여줄 수  있는 방법입니다. 

프로그램의 계획, 실행, 평가, 지속을 위해 Getting to Outcomes가 사업 관리자들이나 기획단계에 제시하는 질문은 다음과 같습니다. 꼭 이 모델을 차용하지 않더라도 참고가 될 질문들입니다.

(1) 필요/자원 : 문제가 되는 사회적 욕구, 니즈, 또 이를 위해 필요한 자원은 무엇인가?(2) 목적 : 목적, 목표, 타겟층이 누구인가?
(3) Best Practice : 과학적 이론에 기반한 프로그램 모델과 기존의 성공사례의 도입이 프로그램의 목적달성에 유용한가?
(4) 적합성(Fit) : 선택된 프로그램이 지역사회의 맥락에 ‘맞게’수행되려면 어떻게 해야 하는가?
(5) 능력 : 프로그램 수행에 어떤 능력이 요구되는가?
(6) 계획 : 이 프로그램의 구체적인 계획내용은 어떻게 구성되어 있는가?
(7) 과정평가 : 프로그램이 잘 수행되었는가? 
(8) 성과평가 : 프로그램의 효과가 잘 잘 나타났는가?
(9) 질의 개선 : 어떻게 지속적으로 프로그램의 질을 개선시킬 것인가?
(10) 지속가능성 : 프로그램이 성공적이라고 판단되었을 때 지속가능하게 만들기 위해서 무엇이 필요한가? 

7. Scales and Ladders

척도(Scale)는 각기 다른 단계의 환경조건이나 상태를 묘사하는 것입니다. 이것을 단계화(Ladder)하여 발전정도를 나타내는 모델이라고 보시면 됩니다. 이 모델은 최종목표보다는 발전과정을 추적하는 데에 적합한 모델입니다. 여기에서 척도화되는 개념은 각 프로그램의 단계가 아니라 좀 더 통합적인 상태의 변화를 말합니다. 다음의 예시는 공동체 내에서 ‘평등’에 대한 단계를 척도화하여 제시한 것입니다.

 

8. Results Mapping

이는 조직들이 중요자원을 활용하거나 사업을 표준화하는데에 유용합니다. 다른 모델과 달리 평가에만 초점을 둡니다. 사업 결과의 핵심요소, 분석, 수치에 집중합니다. 다만 그 핵심요소에 대한 판단이나 분석이 사업 실행자의 주관에 달려 있습니다. 그렇기 때문에 객관적인 평가의 도구라기 보다는 주관적인 관리도구에 가깝습니다. 

9. Result-based Accountability

이 모델의 기반에는 다음 세가지 질문이 있습니다. (1) 우리가 원하는 것이 무엇인가? (2) 어떻게 우리가 그것을 확인할 수 있는가? (3) 이를 통해서 무엇을 얻을 수 있는가?

이 질문에 대한 답으로 다음의 요소가 강조됩니다.

    • 결과 : 아이들, 어른, 가족, 공동체가 원하는 웰빙의 조건은 무엇인가?

    • 경험 : 어떻게 우리는 매일의 삶에서 이러한 결과들을 경험하는가?

    • 지표 : 우리는 어떻게 측정가능하게 이러한 상황을 확인할 수 있는가?

    • 기초선 : 현재 우리는 어떻 상태의 지표에 있고 어디를 향해 나아가야 하는가?

    • 심층 스토리 : 심층적인 원인은 무엇인가? 

    • 파트너 : 누가 더 좋은 파트너가 될 수 있는가?

    • 전략 : 무슨 일을 하는가? 그것이 더 나은 것을 가질 것이라 생각하는가?

    • 행동 계획과 예산 : 우리는 실제로 무엇을 하고자 하는가?

이는 철저하게 성과 중심의 모델로서 결과를 겨냥하여 과정을 만드는 구체적 실행계획을 원하는 조직에 적합합니다. 

비록 정리도 미진하지만 분량이 만만치 않았습니다. 1~4번 모델이 주로 참고될 수 있는 것이고 나머지는 참고로 하시되 이 툴들이 갖고 있는 공통된 관점에 익숙해지는 데에 도움이 되실 수 있기를 바랍니다. 관련된 질문이나 필요한 사항들을 제안해주시면 능력이 닿는대로 찾아서 (알고 있거나 갖고 있는 것은 아니니까요) 제공할 수 있도록 하겠습니다.