캠페인에 몇 명이 참여했는지, 콘텐츠가 몇 번 조회되었는지, 교육에 몇 명이 참석했는지는 비교적 쉽게 확인할 수 있습니다. 하지만 사람들이 어떤 문제를 새롭게 바라보게 되었는지, 사회의 인식과 대화가 달라졌는지, 그것이 제도와 정책의 변화로 이어졌는지는 하나의 숫자로 확인하기 어렵습니다. 특히 사회변화는 여러 사람과 조직의 활동이 오랜 시간 쌓여 나타나기 때문에 특정 캠페인이나 사업만으로 어떤 변화를 만들어냈다고 분명하게 말하기도 어렵습니다. 

그렇다면 숫자로 바로 드러나지 않는 변화는 어떻게 성과로 확인할 수 있을까요?

이 질문은 Stanford Social Innovation Review(SSIR)의 <How to Measure Narrative Change>의  ‘내러티브 변화(Narrative Change)’를 통해 살펴봤습니다. 내러티브 변화는 이야기를 활용해 사람들이 사회문제와 세상을 이해하는 방식을 바꾸는 활동입니다. 원문에서는 예술과 엔터테인먼트, 전략적 커뮤니케이션, 조직화를 내러티브 변화를 만들어가는 세 가지 지향으로 제시합니다. 사람들이 사회문제를 새롭게 바라보게 하고 인식과 행동의 변화를 만드는 일은 많은 공익활동이 추구하는 변화이기도 합니다. 

 

 

도달했다는 것과 변화했다는 것은 다르다

내러티브 변화의 성과를 확인하려면 무엇을 측정해야 할까요? 원문에서는 먼저 활동이 어떤 변화를 만들고자 하는지 ‘변화이론(Theory of Change)’을 통해 정리할 것을 제안합니다. 어떤 활동이 어떤 직접적인 결과를 만들고, 그것이 장기적으로 어떤 변화로 이어질 것인지 경로를 그려보는 것입니다. 변화가 일어나기 전의 상태를 보여주는 기초자료와 사회적,정치적,역사적 맥락도 함께 살펴봐야한다고 설명하고 있습니다.  이를 바탕으로 측정의 영역을 크게 네 단계로 제시합니다.

첫 번째는 메시지와 전달자(Message and Messenger)입니다. 어떤 이야기를 만들고 있는지, 누구의 목소리를 중심에 두고 있는지, 기존의 문제를 어떤 방식으로 새롭게 바라보도록 하는지를 살펴봅니다. 두 번째는 도달(Reach)입니다. 메시지가 만나고자 했던 사람들에게 실제로 전달되었는지를 확인합니다. 콘텐츠 조회나 노출, 공유, 행사 참여자 수 등이 여기에 해당합니다. 그러나 많이 전달되었다고 해서 변화가 일어났다고 볼 수는 없습니다. 그래서 세 번째로 사람(People)의 변화를 살펴봅니다. 메시지를 접한 뒤 지식과 인식, 태도, 믿음, 행동에 어떤 변화가 있었는지를 확인합니다. 마지막은 문화와 구조(Culture and Structures)입니다. 사람들에게 나타난 변화가 사회적 담론과 규범, 제도와 조직의 변화와 어떻게 연결되는지를 장기적으로 살펴봅니다.

조회 수나 참여자 수가 활동이 얼마나 널리 도달했는지를 보여준다면, 여기서 끝나는 것이 아니라 한걸음 더 나아가 그 활동을 통해 무엇이 달라졌는지를 살펴볼 필요가 있다는 이야기입니다. 

우리가 만들었다보다 어떻게 기여했는가

문화와 구조의 변화까지 살펴보면 측정은 사실 더 어려워집니다. 사회적 인식이나 규범, 정책과 제도가 변하는 데에는 하나의 캠페인이나 조직만 영향을 미치지 않기 때문입니다. 여러 조직과 활동가, 시민, 미디어가 함께 영향을 주고, 당시의 사회적 환경도 작용합니다. 변화가 나타나기까지 오랜 시간이 걸리기도 합니다. 그렇다면 특정한 사회변화를 우리 활동의 결과라고 어디까지 말할 수 있을까요?

이에 대해 원문에서 강조하는 관점 중 하나는 ‘귀속(attribution)’보다 ‘기여(contribution)’에 주목하는 것입니다. 하나의 활동이 사회변화를 직접 만들어냈다고 입증하기보다, 활동에서 나타난 결과를 다른 활동과 당시의 사회적 맥락 속에서 살펴보며 더 큰 변화에 어떤 역할을 했는지 확인하는 것입니다. 이를 위해 앞서 살펴본 메시지와 도달, 사람의 변화에 관한 데이터와 함께 미디어와 정책 문서, 사회적 담론의 변화 등을 추적할 수 있습니다. 하나의 지표로 기여도를 계산하기보다 여러 증거를 함께 살펴보면서, 우리의 활동이 더 큰 변화와 어떻게 연결되어 있는지를 확인하는 방식입니다.

측정은 계획한 결과만 확인하는 일이 아니다

기여에 집중하는 것을 포함하여,  내러티브 변화를 측정할 때 함께 고려해야 할 네 가지 원칙을 아래와 같이 제시합니다.

• 변화를 경험하는 사람과 지역사회에서 시작하기 : 무엇을 중요한 변화로 볼 것인지, 어떤 질문과 지표로 평가할 것인지 정하는 과정에 당사자와 지역사회가 참여합니다.
• 예상하지 못한 결과에도 주목하기 : 사회변화는 계획한 대로만 일어나지 않습니다. 예상하지 못했던 결과도 살펴보고, 거기서 얻은 내용을 활동을 조정하는 데 활용합니다.
• 변화의 귀속보다 기여에 집중하기 : 하나의 활동이 변화를 만들었다고 입증하기보다 여러 변화의 과정에서 자신의 활동이 어떤 역할을 했는지 살펴봅니다.
• 지속적으로 학습하기: 평가 결과를 통해 무엇을 그만할지, 무엇을 다르게 할지, 무엇을 더 할지 판단하고 다음 활동에 반영합니다.

결국 중요한 것은 처음 세운 목표와 지표에 맞춰 성과를 확인하는 데 그치지 않고, 누구를 위한 어떤 변화를 만들고자 하는지, 실제로 어떤 변화가 일어나고 있는지를 살펴보는 것입니다. 예상하지 못한 변화까지 살피고 그 과정에서 얻은 배움을 다시 활동에 반영하는 것까지가 측정의 중요한 역할임을 이 원칙을 통해서 알 수 있습니다. 

임팩트를 측정한다는 것

내러티브 변화의 측정 과정을 따라가다 보면 공익활동의 임팩트를 바라보는 몇 가지 질문이 남습니다.

우리는 무엇을 했는가와 무엇이 달라졌는가를 구분하고 있을까요? 
많은 사람들에게 도달했다는 것과 실제로 변화가 일어났다는 것은 같은 의미일까요?
처음 계획했던 성과 외에 나타난 변화도 살펴보고 있을까요? 
여러 주체가 함께 만들어낸 변화 속에서 우리 활동의 기여는 어떻게 확인할 수 있을까요? 

우리는 종종 공익활동의 임팩트는 하나의 숫자로 충분히 담아내기 어렵다고 말합니다. 활동이 사람의 변화로 이어지고, 사람의 변화가 다시 문화와 구조의 변화로 이어지기도 합니다. 여러 조직과 사람의 노력이 오랜 시간 쌓인 뒤에야 변화가 나타나는 경우도 있기 때문입니다. 그래서 임팩트를 측정할 때는 ‘우리 사업이 무엇을 만들어냈는가’를 확인하는 것만큼 ‘어떤 변화가 일어나고 있는가’. ‘우리는 그 변화에 어떻게 기여하고 있는가’를 살펴보는 일도 중요합니다. 결국 중요한 것은 숫자로 측정하느냐, 그렇게 않으냐의 문제가 아닌 숫자 너머의 변화를 어떻게 읽고 활용할 것인가 아닐까요? 측정을 통해 무엇이 달라졌는지 발견하고 그 발견을 무엇을 계속하고 바꿀지 판단하는데 활용하는 것까지의 임팩트의 역할로 본다면 우리가 무엇을 보고 어떻게 측정할 지 달라집니다.