논문리뷰: What Theory is Not (Sutton & Staw, 1995)

Summary

 Sutton & Staw는 ASQ에서의 경험을 바탕으로 본 논문을 통해 이론이 있는 논문과 없는 논문의 차이를 보여주고자 했다. 이를 위해 저자는 이론이란 무엇인가를 논하고자 하지만 이에 대한 명확한 합의가 없기때문에 강한 이론을 갖는 논문을 쓰는 것이 더욱 어렵다고 서술한다. 또한, 이론을 만드는 과정속에서 보편성, 간결성, 정확성 등 모순적인 가치들을 절충해야 하는 상황에 빠지기 때문에 논리적으로 일관성 있는 이론 자체가 도전적인 과제라고 설명한다. 따라서 저자는 한걸음 떨어져서, 합의가 되지 않은 이론 그 자체를 정의하기보다는 무엇이 이론이 아닌지를 5가지로 요소들로 설명하고자 했다.

 첫째는 참고문헌(References)의 나열이다. 논문의 저자는 본인의 이론을 이해하고 논리적으로 설명하기 위해 이론과 관련된 참고문헌의 흐름을 파악해야한다. 하지만 단순히 참고문헌을 나열하는 것이 이론을 의미하는 것은 아니다. 이론에 대한 부가적인 설명이 필요하다는 편집위원의 요청은 단순히 참고문헌을 추가하라는 것이 아닌 이론이 무엇인지에 대한 논의와 더불어 해당 이론이 왜 저자의 논거에 맞아떨어지는가를 설명하라는 것을 의미한다. 저자는 어떠한 개념과 인과적 논거가 참고문헌에서 도출되었으며, 해당 개념과 인과적 논거가 어떻게 이론의 발전 또는 검정과 연계되는지를 설명할 필요가 있다. 이는 참고문헌의 추가적 나열을 의미하는 것이 아니라 참고문헌을 통해 독자들이 이론의 발전과정을 이해하도록 하고, 저자가 이제부터 발전시킬 부분 또는 검증하고자 하는 부분을 설명하라는 것을 의미한다.

 둘째 데이터(data; 과거 조사결과의 나열)이다. Kaplan(1964)은 “데이터는 어떠한 실증적 패턴이 관찰되었는지 기술하는 반면 이론은 왜 실증적 패턴이 관찰되는지를 기술한다”라고 언급하며 이론과 데이터의 역할을 구분했다. 하지만 다수의 저자들은 과거 연구들의 실증적 결과물을 묘사하는 것을 이론적 근간을 설명하는 것으로 착각하고, 이를 바탕으로 현재 발견된 결과를 논의하려는 행태를 보인다. 또한, 조사결과와 논리적 추론을 조합하기보다는 조사결과만을 가지고 가설을 정당화하는 것이 일반적이다. 기존의 연구결과들만으로 새로운 가설을 유발할 수 없으며, 새로운 조사결과의 발표가 논리적 인과관계를 대체할 수 없음을 저자들이 깨달을 필요가 있다. 과거 조사결과들의 나열은 과거에 그랬기 때문에 현재도 유사한 패턴이 발견될 것이라는 주장에 불과할 뿐이다. 이는 질적연구에도 해당하는 것으로, 예시로 언급된 Barker(1993)에서 인용된 정보원의 말은 그 자체로 어떠한 이론이라고 할 수 없지만, 연구자의 논리적인 추론을 통해 이론적 접근을 가능하게 할 수 있다.

 셋째, 변수(variables) 또는 구성개념(constructs)의 나열이다. 이론은 변수 또는 구성개념이 어떻게 발생하는가? 또는, 서로 간에 어떻게 연결될 수 있는가? 를 설명할 수 있어야 한다. 하지만 저자들은 잘 정의된 변수 또는 구성개념의 나열만으로 이론이 만들어진다는 착각을 한다(본 논문이 조직이론을 주요 예시로 사용하고 있고, 조직이론에서 구조방정식을 주로 활용하고 있기 때문에 조직연구에서 더욱 두드러지는 행태로 판단됨). 또한, 연구자들은 변수 간의 비교검증을 통해 이론의 비교검증으로 이어가지를 못하고 종속변수에 어떠한 변수가 상대적으로 영향력이 더 큰지를 검증하는 연구에 더 유인되는 경향이 있다. 변수 간의 비교검증을 통해 특정 변수가 왜 중요한 변수가 되는지 또는 왜 중요한 변수일 것으로 예상되는지를 설명하는 논리적인 추론이 요구된다.

 넷째, 도표(diagram)이다. 도표는 독자들의 이해를 돕게하는 중요한 도구이지만, 도표가 곧 이론을 의미하는 것은 아니다. 대부분의 저자들이 도표를 제시할 뿐 왜 이러한 box(구성개념 또는 변수)가 인과관계(arrow)를 갖는지에 대한 설명을 하지 않고 있다. 가설이 어떤 조건 하에서 성립하는지 또는 안 하는지를 알아차릴 수 있다면 이는 강한 이론이라고 할 수 있다. 하지만 도표의 화살표만으로 이를 모두 설명할 수는 없다.

 다섯째, 가설(Hypothesis)의 나열이다. 가설은 이론과 데이터를 이어주는 역할을 한다. 하지만 가설은 무엇이 발생할 것으로 예상되는가에 대한 간결한 서술일 뿐 왜 발생하는지는 설명하지 못한다. 하지만 다수의 논문에서 여러 가설을 제시하고 이를 검증하는 행태를 보이는데 인과적 논의가 없는 예측은 이론이라고 할 수 없다. 이는 과거 자료를 기반으로 한 예측일 뿐 인과적 논리를 갖는다고 할 수 없기 때문이다.

 Sutton & Staws는 5가지 요소들에 이어서 강한 이론은 무엇인가를 정의하고자 했다. 이론이란 ‘왜’라는 질문에 대한 답변이라고 할 수 있다. 이론은 인과적 관계에 대한 현상을 강조하고 특정 사건의 발생에 대한 체계적인 이유가 무엇인지를 파고드는 것이라고 할 수 있다. 하지만 일부 저명한 학자들은 Sutton & Staw의 의견과 정반대의 의견을 제시하기도 했다. John Van Maanen(1989)은 10년 간 이론적 연구의 중단을 요구하였고, Kuhn(1970)을 비롯한 메타분석가들은 사회과학의 사명이 성쇠를 되풀이하는 이론적 패러다임 보다 실증적 결과물의 축적이라고 주장했다. 학술지 또한 이론에만 중점을 두거나 또는 연구설계 등 실증연구에 중점을 두는 등 이론에 대해 서로 이질적인 관점을 갖고 있다. 반면 ASQ는 이론검증과 이론 정립의 중간적 위치에서 저자들에게 창의적인 이론을 요구하는 동시에 정확하고 체계적인 질적·양적 분석을 요구하는 학술지라고 할 수 있다. 하지만 이론 정립과 이론 검증 두 가지에 모두 정통한 학자는 많지 않으며, 이러한 이유가 이론 정립과 관련된 교육이 구조방정식을 가르치는 것처럼 단계적으로 교육할 수 있는 과정이 아니기 때문이다.

 ASQ가 요구하는 강한 이론과 정확한 검증은 모순적인 측면이 있기 때문에 결과적으로 위선적인 논문이 될 수 있다. ASQ에 논문을 제출하는 저자는 편집위원과 검토자들이 눈여겨볼 수 있는 변수들을 언급하는 것을 기피하거나 이론의 주변부를 의도적으로 누락시켜 실증분석 결과와의 격차를 숨기는 행태를 보일 수 있기 때문이다. 따라서 ASQ 또한 위와 같은 어려운 조건에 대하여 재고할 필요가 있다.

 현실에서는 새로운 이론에 대한 약한 검증보다 조금은 빈약한 이론이지만 잘 완성된 실증연구를 통과시키는 것이 편집위원과 검토자의 입장에서 비교적 수월하다. 이는 특히 위와 같은 조건을 두고 있는 ASQ에 있어서 더 큰 문제일 수 있다. 따라서 Sutton & Staw는 만약 이론이 충분히 흥미롭다면 이론에 대한 검증은 완화될 필요가 있고 주장한다. 또한 연구의 연구에 대한 주요한 기여가 확증적인 데이터가 아닌 설명적인 데이터에 발생한다는 것을 인지할 필요가 있다고 지적한다. 이와 같은 권고를 통해 이론정립과 이론검증 논문 간의 불균형을 해소해나갈 수 있을 것이다.

 

Comments

 본인은 Sutton & Staw가 편집자와 검토자의 입장에서 보기 싫은 논문을 최대한 추려내어 그 특징을 보여주고 이러한 논문은 최대한 지양하길 바란다는 조언을 해주고 싶었던 것은 아니었을까 하는 생각이 들었다. 저자가 소개한 5가지 요소는 특히 처음 논문을 쓰면서 하는 흔한 실수 중 하나이다. 이론을 통해 변수 간의 인과관계를 논리적으로 설명하는 것은 뒷전이고, 관련된 참고문헌을 최대한 찾고 이를 나열하여 이론적 논의 부분을 메운다. 참고문헌을 나열함과 동시에 각 문헌에서 나온 실증결과물을 가지고 과거에 그랬기 때문에 현재도 유사한 패턴이 발생할 것이라고 가설을 세우고 검증을 하기 위해 연구설계로 넘어간다. 연구설계에서는 변수 또는 구성개념의 관계를 설정하고 도표를 통해 인과관계를 표기하지만 ‘인과관계가 있다’ 라는 서술에서 멈출 뿐 왜 인과관계가 발생하게 되는지에 대한 논거는 뒷받침하지 않는 경우가 많다. 마지막으로 분석결과 여러 가설들이 채택되었다고 하며 논문을 끝맺음한다.

 사실 지금도 논문을 쓸 때면 강한 이론을 위해 논리적 인과관계를 설명하기 보다는 어떠한 방법론을 사용해야 실증적으로 강한 논문이 될까를 고민하곤 한다. Sutton & Staw의 논문을 읽었다고 해서 바로 이와 같은 생각이 변하는 것은 아니다. 다만, 좋지 않은 논문의 5가지 요소를 회피함으로써, 강한 이론을 갖는 논문에 보다 가까워질 수 있지 않을까 라는 생각을 어렴풋이 하게 된다. 논리적 인과관계를 밝혀내고 이를 논문에 녹여내야 하는 것이 필수적이라는 것을 적어도 본 논문을 통해 알게 되었기 때문이다.

 Sutton & Staw는 5가지 요소를 설명하면서 지속적으로 논리적 인과관계를 서술해야함을 잊으면 안된다고 강조한다. 네 번째 요소인 도표(diagram)는 특히 방법론을 활용할 때 자주 등장을 하는데 이때, 인과관계(arrow)안에서 발생하는 체계적인 영향을 묘사하기 위해 black box라는 표현을 사용하기도 한다. 아무도 관측할 수 없는 black box를 설명할 수 있는 것이 이론이기 때문에 실증분석을 통해 결과가 나오더라도 논리적 인과관계에 대해 끊임없이 질문하고 이에 대해 서술하려는 노력이 필요하다.

 본 수업을 듣고자 했던 이유도 지금의 편향된 생각에서 벗어나 새로운 이론을 정립하는 학자는 되지 못하더라도 이론의 중요성을 인식하는 연구자가 되고 싶었기 때문이다. Sutton & Staw가 구조방정식을 가르치는 것이 이론정립을 가르치기보다 쉽다고 언급하였는데, 방법론은 수학이 어려울 뿐 어느 정도 완벽히 정의된 개념을 단계적으로 가르치는 일이다. 하지만 이론정립은 애초에 Sutton & Staw가 언급하듯 강한 이론에 대한 합의조차 이루어지지 않았기 때문에 강한 이론이 무엇이다고 가르칠 수도 없고 무엇이 강한 이론인지 검증하기도 어렵다. 사회과학에서의 유행조차 이론정립보다는 이론검증에 치중이 되어있기 때문에 다수의 논문이 강한 이론 또는 이론정립에 초점을 맞추기보다는 이론검증을 선호하는 경향을 띠고 있다. 이러한 불균형적인 추세가 지속되고 있는 상황에서도 연구자들은 이론의 중요성을 상기하고 논리적인 인과성을 설명하기 위해 탐구하는 노력이 지속될 필요가 있다.