리스크가 큰 비영리 사업은 어떻게 측정해야 할까?(1)

 비영리단체가 수행하는 사업들을 보면, 어떤 경우에는 그 효과가 명확하지만 그렇지 않은 경우도 많습니다. 
가령 지역 주민 교육 프로그램은 참석 인원, 참석률 등을 따져 그 결과를 보다 분명하게 파악할 수 있지만,
해군 기지 반대 활동의 경우, 사업이 장기화될 가능성도 크고 정치적 환경 등 변수가 많아 결과를 예측하기 어렵습니다.
이런 경우, 후원자들이 자신의 기부가 어떤 변화를 만들어냈는지, 혹은 변화를 만들 수 있는지 구체적으로 알고자 할 때, 
뚜렷한 근거를 제시하기 어렵기 때문에 기부자들을 설득하는 데 한계에 부딪힐 수 있습니다.   

그렇다면 불확실하고 위험성이 높은 사업은 평가의 기준을 어떻게 잡고 성공 가능성을 어떻게 예측해야 할까요?

 

이런 고민에 대해 이론적으로 접근하는 글이 있어 이 자리에서 소개합니다.
이 글은 William &Flora Hewlett Foundation의 연구 내용을 토대로 하고 있는데
최근 
Stanford Social Innovation review에서 소개되었습니다.
본 포스팅에서는 이 글의 앞부분-
Ex-ante(프로젝트 전)-까지만 번역 발췌하여 소개합니다.(다음 편도 곧 올라갑니다.)

원문보기 -> http://www.ssireview.org/articles/entry/risky_business_2 


(Illustration by Adam McCauley)

(Illustration by Adam McCauley)


어느 날 당신은 지나가다가 한
 마을 주민들이 험하고 비탈진 빙산에서 큰 바위를 밀어올리는 걸 보게 됩니다. 그 바위가 집들을 위협하고 있었기 때문에 바위를 산꼭대기까지 밀어올려 반대편으로 굴려보내려는 것이지요. 산 주변에 안개가 자욱했지만 당신은 곳곳에 험한 계곡과 깊은 낭떨어지가 있다는 걸 압니다. 그들은 한 발씩 앞으로 나아갔지만 두 걸음 뒤로 물러나기도 했습니다. 그들은 당신에게 도와달라고 요청합니다. 당신은 그 임무가 중요하다는 건 알지만 성공 가능성은 작아 보입니다. 당신이 돕는다면 상황이 나아질지 알고 싶지만 그것조차도 예상하기 힘듭니다.

 

 이는 위험성이 높은 자선 사업을 비유한 이야기입니다. 예를 들어 어느 환경단체가 화력 대신 수력, 풍력, 태양력 사용을 일정 정도 의무화하는 ‘신재생에너지 의무 할당제’ 도입을 위한 캠페인을 벌인다면 이는 위험성이 높은 사업(risky advocacy strategy)입니다. 그러나 10대 임신을 예방하기 위한 상담 사업은 위 캠페인과 비교했을 때 상대적으로 위험성이 높지 않습니다(a relatively non-risky service delivery program). 보통 이런 경우 ‘위험’보다는 ‘불확실성’이라는 경제학 용어를 씁니다. 성공 가능성을 수치화할 수 없기 때문이죠.  

성공 가능성은 불투명하지만 사회에 꼭 필요한 어느 이슈에 관해 누군가가 도움을 주고자 할 때, 아무리 위험성이 높은 사업이라 하더라도 그 사회적 영향력과 결과에 대해서 측정하기를 원할 것입니다. 그런 의미에서 자선가(기부자)들은 다음 세 가지 측면을 주목합니다. 

Ex-ante(프로젝트 전) 의도된 결과를 도출해 낼 가능성은 어느 정도인가?

in progress(프로젝트 중) 의도된 결과를 목표로 예정된 방향으로 나아가는가? 

ex-post(프로젝트 후) 사용된 전략들이 의도된 결과를 낳았나? 자선가들의 지원이 그 결과에 기여했는가?

 이 글에서는 위의 각 단계에서 위험성이 높은 사업에 대해 적용 가능한 이론 및 모델에 대해 소개하고자 합니다. 비영리 조직들은 이 모델을 바탕으로 기부자를 설득하기 위한 이론적 틀을 마련할 수 있습니다. 

 

Ex-ante(프로젝트 전)

The Theory of Change(변화 이론)

프로젝트에 투자하기 전에 기부자는 의도된 결과가 어떻게 그리고 왜 성취 가능한지 알고 싶어합니다. 이럴 때 변화 이론을 적용해볼 수 있습니다. 이 이론은 특정한 행동은 특정한 결과를 야기할 가능성이 높다는 가정에 바탕을 두고 있기 때문에 ‘인과적’입니다(페달을 밟으면 차는 앞으로 나아간다). 그리고 세상이 실제로 작동하는 방식을 묘사한다는 점에서 ‘경험적’입니다.(누구든 페달을 누를 때마다 차가 움직이더라).     

10대 임신 예방 상담 사업의 경우 그 성공 가능성을 측정하기가 상대적으로 쉬운데, 잘 설계된 평가 방법을 통해 그 정당성을 입증할 수 있기 때문입니다. 가령 무작위대조군연구(RCTs)를 통해 10대들을 무작위로 두 그룹으로 나누고, 한 그룹에게만 상담 프로그램을 진행합니다. 이후 상담을 받은 그룹과 받지 않은 그룹의 임신률에 차이가 발생한다면 상담 프로그램의 효과(얼마나 많은 참여자가 프로그램의 결과로 피임에 성공했나? 두 그룹의 차이는 현저하게 드러났는가?)를 알 수 있습니다.

실제로 이 실험을 통해 프로그램 참여자와 비참여자의 임신율이 차이가 있음을 발견합니다. 이런 프로그램은  이득을 얻을 가능성이 확실할 뿐만 아니라 가능성이 높기 때문에 자선가의 관점에서 이러한 사업은 위험성이 높는 사업이 아닙니다. 

‘신재생에너지 의무할당제’ 활동 또한 변화 이론의 지지를 받을 수 있습니다. 변화 이론은 ‘단체의 법안 지지’ 활동을 ‘법안을 통과시키도록 정책입안자 설득’이라는 결과와 연결합니다. 더 구체적으로 변화 이론은 무엇이 정책입안자를 자극하고 어떻게 그들에게 영향을 줄 것인가에 대한 가정에 따라 어떤 활동이 효과적일지, 효과적이지 않을지를 구체화해줍니다.  

그러나 이 경우 무작위대조군연구를 통해 검증할 수 없습니다. 정치적 분야에 대한 변화이론은 수많은 사업에 대한 관찰의 결과에 기초하여 일반화된 결론을 냅니다. 이런 사업은 종종 투입(input)과 결과(output)가 모호합니다.“The Elusive Craft of Evaluating Advocacy”의 저자 Steven Teles and Mark Schmitt는 “정치적 output은 input에 접근 가능하고 추적할 수도 있지만, 때때로 그 관계가 직접적이지 않고 성과를 내는 데 수십년이 걸린다.”

  

The Logic Model(로직 모델)

로직 모델은 변화 이론에 기초를 두고 있는데, 원하는 결과를 성취하기 위해 단체가 수행해야 할 활동들을 주로 묘사합니다. 예를 들어 10대 임신 예방 사업은 표적 집단을 모으고, 상담자를 채용하여 교육하는 등 ‘상담 활동’의 세부 계획을 포함해야 합니다. 비록 변동도 생기고 다양한 변주가 가능하겠지만, 로직 모델은 핵심 레서피가 담긴 요리책과 같습니다.

반면 법안 지지활동과 같은 프로젝트는 주방장이 오랫동안 노하우를 쌓으며 축적해 온 구체적인 레서피가 없습니다. 단지 할 일과 하지 말아야 할 일, 언제 해야 하는지, 어떻게 해야 하는지에 대해서만 말할 수 있을 뿐입니다. 예를 들어 신재생에너지 의무 할당제를 달성하기 위한 전략은 정책자들의 시각이 어떠한지, 동기는 무엇인지를 파악하고 그들에게 개별적으로 접근하거나, 아니면 그들에게 다가가기 위해 선거권을 가진 주민들을 만난다거나 하는 활동들을 포함할 수 있다. 

Teles and Schmitt는 “[advocacy는] 본질적으로 정치적이다. 그리고 상황이 빠르게 변하는 건 정치의 본질이다. 그래서 전혀 안 될 것 같은 일이 갑자기 성과를 낸다거나 진행되고 있던 일이 갑자기 탄력을 잃을 수도 있다. 성공했던 어떤 일이 또 성공하리라는 법은 없다. 중요한 것은 활동가들이 특정 분쟁에 대해 알맞은 전략을 선택할 수 있는지, 예상치 못한 변화를 수용할 수 있는지에 대한 것이다. 성공적인 활동가들은 계획은 느슨한 게 좋고 변화의 과정은 수많은 방향으로 갈라질 수 있다는 걸 안다. 그들은 예정된 루트를 따르는 대신 변화된 환경에 적응한다.”

 

Predicting a Program’s Value (프로그램 가치 측정)

변화 이론과 로직 모델을 뒷받침하는 증거를 강화함으로써 우리는 특정 프로그램이나 전략에 대한 투자의 가치를 측정할 수 있습니다. 가치 측정의 방법에는 두 가지가 있습니다. 두 방법 모두 간단한 식으로 설명할 수 있습니다.

10대 임신 예방 프로젝트의 경우 benefit(혜택)은 10대 임신율의 감소입니다.

비용 효율성 분석은 한 프로젝트와 같은 결과를 목표로 하는 다른 프로젝트를 영향력 측면에서 비교하는 것입니다. 가령 어느 프로그램이 인당 100달러가 드는 데 다른 프로그램은 같은 결과를 도출하는 데 인당 75달러 밖에 들지 않는다면 전자는 덜 효율적이라고 볼 수 있습니다.

비용 편익 분석은 10대의 임신을 방지하는 것의 가치를 돈으로 환산함으로써 비용 효율성 분석보다 한 발 나아갑니다. 이것은 10대 임신 예방 프로그램의 가치를, 예를 들자면 마약 남용 방지 프로그램의 가치와 비교하는 것을 가능하게 합니다. 

비용 편익 분석을 할 수 없을 때라도 기부자는 자신의 기부가 정당할 만큼 그 프로그램이 충분히 영향력이 있는지에 대한 직관을 얻을 수 있습니다. 가령 10대 한 명의 임신을 줄이는 데 3,000달러면 적절하게 보이지만 30,000달러가 든다면 과다하게 여겨질 수 있습니다. 

위험성이 높은 사업을 평가하는 틀은 위 공식에 성공 가능성을 포함합니다. 

이 공식은 성공 가능성이 낮은 위험한 자선 사업이 만약 성공한다면 매우 높은 이익으로 정당화될 수 있다는 것을 보여줍니다. 이 공식은 정책 지지활동, 연구 개발의 초기 단계와 같은 빙산 위로 바위를 밀어올리는 사업에 적용될 수 있습니다. 그러나 이 경우 성공에 대한 가능성을 수량화하는 것은 힘듭니다. 

Hewlett 재단에서 우리는 성공에 기여하는 일반적인 요소들을 추적함으로써 오차 범위를 줄이고자 접근법을 개발해왔습니다. 위험성이 높은 사업은 기술적, 재정적으로 실행 가능한 해결책들, 정치적 기회의 가능성, 내외부 전문가의 존재 등의 요소를 포함합니다. 경험이 많은 활동가의 전문성도 물론 작용합니다. 하지만 심지어 전문가들도 예상 밖의 결과가 나올 가능성을 판단하는 데 있어 직감이 부족합니다. 따라서 자선가들은 성공적인 결과를 만들기 위해 가능한 많은 정보를 모으고 최선을 다해 결과를 측정하고, 모험을 하고, 새로운 지식이 적용 가능하도록 적응합니다. 

 

* 이어진 글은 다음 포스팅에서 다룹니다.

* 초벌 번역은 아름다운재단 기부문화연구소 박홍은 인턴이 수고해주셨습니다.  
 

1 Comment

  1. 비영리

    오오….개념이 상식적인 것 같긴한데…수식으로까지 가능하군요…
    우리가 하는 일도 이런 식의 개념화를 해볼 수 있을지…다음 글도 기대하고 있을께요..

댓글 정책보기

댓글 Comment

나눔지식 뉴스레터 구독신청

개인정보 수집 및 이용

아름다운재단은 나눔지식 뉴스레터의 발송을 위하여 아래와 같이 개인정보를 수집합니다. 귀하는 개인정보 수집 및 이용 동의에 거부할 수 있으며, 거부 시 뉴스레터를 받으실 수 없습니다.

수집 항목 수집·이용목적 보유·이용기간
성명, 이메일주소 뉴스레터의 발송 수집·이용 목적 달성 시
또는 동의 철회 시까지

개인정보 처리의 위탁

아름다운재단은 나눔지식 뉴스레터 발송을 위하여 아래와 같이 개인정보를 위탁하고 있으며, 관계 법령에 따라 위탁 계약 시 개인정보의 안전한 관리를 위해 필요 사항을 규정합니다. 위탁업무의 내용이나 수탁자를 변경하면 바로 본 개인정보 처리방침을 통해 공개하겠습니다. 개인정보 위탁처리 기관 및 위탁업무 내용은 아래와 같습니다.

수탁업체 수탁업무 내용 보유·이용기간
스티비 뉴스레터 또는 광고가 포함된 뉴스레터 발송, 서비스 이용 통계 및 분석 구독해지 시 또는 위탁계약 종료 시

광고성 정보 수신

광고성 정보 수신에 동의하실 경우 아름다운재단은 이메일, 문자 등으로 광고성 정보를 발신할 수 있습니다. 아름다운재단은 정보통신망법 제 50조 1항에서 규정한 '영리적 목적의 광고성 정보'를 보다 엄격히 해석하고 준수하기 위해 재정상 아름다운재단의 수익으로 표기될 수 있는 정보를 직접 소개할 경우 광고 표기를 붙여 발신합니다.