불확실하고 위험성이 높은 사업은 평가의 기준을 어떻게 잡고 성공 가능성을 어떻게 예측해야 할까요?

지난 달에 이어 William &Flora Hewlett Foundation이 Stanford Social Innovation review에 기고한, <Risky Business> 뒷 부분을 번역, 소개합니다.

 In Progress(프로젝트 중) 

Assessing Progress | 진행사항의 평가

로직 모델에 의해 규정된 활동들은 진행 사항을 평가하는 데 틀이 됩니다. 임신 방지 프로그램들은 의도된 결과들과 인과관계를 가지고 있기 때문에, 단체와 후원자는 모집된 카운슬러들과 10대 참여자들의 숫자, 카운슬링 세션의 수 그리고 세션의 가치에 대한 참가자의 의견 그리고 그들의 행동에 따른 효과 등의 진행 사항을 평가할 수 있습니다. 작은 프로그램에서는 10대 참여자들의 임신률에 대한 믿을만한 정보를 얻을 수 없을 지도 모릅니다. 하지만 믿을 수 있는 문서화된 연구들에 기초된 프로그램은 이러한 활동이 기대하는 결과를 가져다 줄 것이라는 자신감을 증가시켜 줍니다. 

리스크 높은 애드보커시 전략의 로직 모델은 위의 경우보다 구조적으로 훨씬 역동적이고 성공의 확률이 떨어집니다.  그들의 전략은 헌신적이지 않은 공익 위원회 멤버들 혹은 그들에게 영향을 줄 수 있는 개인이나 그룹들과의 의사소통이 필수적입니다. 하지만 그 진행 과정에서 활동가들은 신뢰할만한 정보를 충분히 갖지 못한 채 전략적인 결정을 해야만 합니다.    

리스크가 낮은 전략들 또한 외부적 사건에 의해서 측정이 빗나갈 수 있습니다– 카트리나 허리케인으로 인해 초토화된 뉴올리언즈의 많은 사회 프로그램들을 생각해보세요. 그러나 리스크 높은 전략은 더 취약할 수 있습니다-  입법조치를 취하려는 찰나, 뜻밖의 사건들이 이슈를 지연시킬 수 있습니다.

리스크가 낮은 전략들은 근본적으로 ‘단선적’입니다: 카운슬러 수가 늘고 참가자 숫자가 많아지면 10대 임신은 줄어듭니다. 그러나 리스크가 큰 사업들은 (투입과 성과가) 서로 연결되지 않습니다. 진척 사항이 없는 상태로 시간이 오래 흐를 수도 있고, 원하는 결과를 얻을 수도, 못 얻을 수도 있습니다. 그리고 원하는 결과가 나온다 하더라도 다른 요소들이 이를 좌절시키거나 뒤바꾸려고 할 수도 있습니다.     

잘 기획된 복지 서비스 프로그램은 영향력에 대해 거의 확신할 수 있습니다. 리스크가 큰 사업들은 부분적으로는 성공할 수도 있지만 어떤 것들은 전부 실패할 수도 있습니다. 예를 들어 기후 관련 단체가 오랫동안 활동을 해도, 의회가 이산화탄소 배출 최대량을 제한하는 법을 도입하는 데에 실패할 수도 있는 것입니다. 

전략의 후퇴와 중단

리스크가 높은 사업을 추진하는 동안 환경이 변한다면 그 환경이 개선될 때까지 전략적 후퇴를 가지고 오기도 합니다. 예를 들어, Hewlett재단은 캘리포니아의 공립학교의 경영과 재정에 관한 개혁을 몇 년간 실시한 후, 결국 아무런 성과를 얻을 수 없다고 결론지었는데, 이는 정부가 더 근본적인 문제들을 해결해야 한다고 발표했기 때문입니다. 하지만 노력의 과정 전부를 버리는 대신, 재단은 연구, 정책 분석, 애드보커시 활동을 하면서 기회가 주어졌을 때 바로 실행에 옮길 수 있는 단체들을 지원하는 활동을 계속했습니다.   

실패에 대해 관용적인 후원자들도 리스크가 큰 사업을 지속하면서 드는 기회비용이 잠재적인 이익보다 더 크다고 결론내릴 수도 있습니다.  예를 들어 미국의 대부분의 기후 관련 활동가들은 의회로부터 관심을 거두었습니다. 그러나 언제 포기해야 할지는 정확히 알 수 없습니다. 토마스 에디슨은 사용 가능한 전구를 발명하는데 1001번의 노력이 필요했다고 합니다. 에디슨은 이렇게 말했다고 하죠. “나는 1000번을 실패한 것 이 아니다. 나는 전구를 만들 수 없는 1000가지 방법을 성공적으로 발견한 것이다.” 하지만 에디슨이 1001번이 되기 전에 포기했다면 어떻게 되었을까요? 

 Ex-Post(프로젝트 후) 

성공과 실패를 통해 배우기

전략에 있어서 실제 영향력을 평가하는 것은 전략이 도입된 이후 일어납니다. 평가는 전략의 기획과 실행에 대한 피드백을 제공하고 투자를 계속해야 할 지에 대해서 결정할 수 있게 합니다.

따라서 전략이 실제로 영향력을 발휘했는지 그 결과 이후를 살펴봐야 합니다. 단체와 후원자들은 그들이 원하는 결과가 나온 것에 당장 기쁠 수도 있지만, 그들이 취한 전략에 의해 그 결과가 달성되었는지, 다른 경우였다면 그와 같은 결과가 나오지 않았을지 판단하는 것이 중요합니다. 

카운슬링 프로그램은 그들이 의도한 결과를 가져왔습니다. 하지만 그들의 프로그램이 아니었더라도 청소년들은 어쨌든 임신하지 않았을지에 대한 분석은 부족합니다. 변화 이론을 기초로 하는 ‘RCT’는 프로그램과 무관한 임신률은 어떠한지, 프로그램(개입)으로 얼마나 통계적으로 유의미한 효과를 가져왔는지를 보여줌으로써 영향력을 측정하게 해줍니다. 

신재생에너지 의무할당제 지지 활동에 있어서 환경단체의 영향력을 평가하는 것은 다른 문제입니다. 원하는 결과가 나오더라도 풍력 발전용 터빈 제조업체의 정치적 로비 활동과 같은 외부적 요인 때문일 수도 있습니다. 물론 여러 외부적 요인들이 10 대의 임신 여부에 영향을 미칠 수 있습니다. 그러나 RCT나 그와 비슷한 도구들은 외부 환경은 불변한다고 가정함으로써 프로그램이 결과에 어떻게 공헌하였는지 평가하도록 설계되어 있습니다.    

아주 드문 경우지만, 애드보커시 전략과 그에 따른 성과를 평가함에 있어 특정한 단체의 기여가 명확할 때도 있습니다. 예를 들어, 공익위원회의 구성원들이 신재생에너지 의무 할당제에 반대하는 경향을 보였을 때, 그 어떤 단체들도 더이상 활동을 이어나가지 않았습니다. 그래서 우리는 위원회 구성원들을 한 명씩 설득해야만 했습니다. 

그러나 외부적 요인도, 다른 활동들도 너무 많습니다.Teles와 Schmitt는“애드보커시 활동이 정책 결과에 어떤 영향을 미치는지 알기란 쉽지 않다. 특정한 단체나 전략이 차이를 만들어내는지 아는 것은 더욱 어렵다.”고 말합니다. 이러한 전형적인 리스크가 큰 사업의 경우 “공헌”은 단체의 노력이 결과에 일정한 비율을 공헌했다는 것이 아니라 그들의 노력이 결과를 성취하는 가능성을 높였다는 의미로 사용됩니다. 이것은 당신의 도움 없이도 성공할 것인지 전혀 알지 못한 채 빙산 위로 바위를 밀어 올리는 것에 동참하는 것과 같습니다. 

그러므로 애드보커시 전략의 성공(혹은 실패)는 변화 이론의 건강성을 증명하는 데 별 도움이 되지 않습니다. Kierkegaard는 “삶은 오직 거꾸로 (뒤 쪽으로) 이해될 수 밖에 없다; 그러나 앞을 향해 살아갈 수 밖에 없다.” 라고 했는데 리스크가 큰 사업은 회상으로도 이해될 수 없다는 것이 안타깝습니다. 

잠재적인 이익을 바라보고 리스크가 큰 사업에 후원한 기부자들은 그들이 성공하지 못할 경우 그 결정을 후회할 수도 있습니다. 조직의 이사회나 경영진은 직원들이 위험한 전략이 실패할지 안 할지 예상해야 한다고 생각할지도 모릅니다.  

Hewlett 재단의 스탭과 이사회는 실패로부터 배우고 성공은 축하하고 적정한 위험을 감수하는 것이 선에서의 가장 중요한 의무일 수도 있다는 것을 여러분께 끝으로 말씀드리고 싶네요. 

* 초벌 번역은 아름다운재단 기부문화연구소 박홍은 인턴이 수고해주셨습니다.