Prediction Markets를 활용한 목표설정이 성과예측정확성과 과업성과에 미치는 영향 = Using prediction markets in goal setting : the impact on performance prediction accuracy and task performance

국문 초록 (Abstract)

참여적 목표설정은 종업원의 동기부여에 긍정적인 영향을 미쳐 할당적 목표설정 방식보다 더 나은 성과를 달성할 것으로 기대되었다. 그러나 참여적 목표설정으로 인해 항상 성과가 향상되지는 않았다. 참여를 통해 종업원의 동기부여가 향상되면 성과에 긍정적인 영향을 미칠 수 있었지만, 종업원이 성과평가에 대한 두려움 때문에 목표를 낮게 설정하게 될 경우 오히려 성과가 하락하였기 때문이다. 목표설정 연구들은 어떠한 환경에서 참여의 영향력이 성과를 향상시키는지 검증하기 위해 다양한 실험실과 현장 연구를 수행하였지만, 아직까지 명확한 공통의 합의는 이루어지지 않고 있다.
본 논문에서는 prediction markets(이하 PM)을 목표설정에 활용하여 기존의 참여적 목표설정의 단점인 목표수준의 하락을 방지하면서도 종업원의 동기부여와 성과를 개선하고자 하였다. PM이란 미래의 특정 사건의 발생확률을 예측하기 위해 설계되고 운영되는 시장이다. PM에서는 다수의 참여자들을 대상으로 특정 미래사건의 발생가능성에 대해 시장가치를 형성시키고 계약화하여 참여자들이 이를 거래하도록 함으로써, 시장가격이 참여자들의 의견을 나타내도록 한 일종의 주식시장인 것이다. PM의 참여자들은 PM에서 예측하고자 하는 미래사건이 실제로 발생하는 시점에 자신들이 거래한 계약과 실제 결과가 일치할 경우 계약의 조건과 가격에 따라 보상을 받게 된다. 본 연구는 이 예측도구가 기업의 미래 과업성과 수준을 예측하기 위해 설계되고 운영된다면, 시장가격이 종업원들의 성과 예측 동향을 나타내고 이를 목표설정에 활용할 수 있을 것으로 기대하였다. 그리고 이를 PM을 활용한 참여적 목표설정으로 정의하였다.
연구를 위하여 ‘PM을 활용한 목표설정’을 독립변수로 하는 연구모형과 가설이 설정되었으며 가설검증을 위해 실험실 실험이 실시되었다. 2가지 목표설정방식(PM 목표설정과 할당적 목표설정)과 2가지 목표수준(달성할 만 한 적정 목표와 어렵고 높은 목표)의 2ⅹ2 matrix 실험을 설계하여 각 집단의 성과, 동기부여, 미래성과 예측정확성을 비교하였다. 과업으로는 50개의 영어이름을 암기한 후 200개의 이름 중에서 찾아내는 테스트가 주어졌다. 실험의 과업 난이도와 보상체계를 설계하기 위해 80여 명의 대학생들을 대상으로 pre-test를 실시하였으며 이후 286명의 대학생들이 2회의 main-test에 참여하였다. 먼저 수행된 main-test에서는 PM에 참여한 집단과 목표를 일방적으로 할당 받은 집단에게 PM 목표설정 집단과 할당적 목표 집단에게 PM에서 예측된 예상집단성과 수준의 목표를 제시하였고, 두 번째 main-test에서는 동일한 실험을 다시 실시하되 높고 어려운 ‘도전적 목표(stretch goals)’를 제시하였다.
실험결과는 네 가지 측면에서 분석되었다. 첫째, PM에 참여한 피실험자들이 자기 자신의 목표설정을 위해 PM 거래에 참여해도 PM이 미래성과 수준을 정확히 예측하는지 관찰하였다. PM의 과업성과 예측정확성을 검증하기 위해 ‘예상집단성과’, ‘개인성과 예측정확성,’ ‘집단성과 예측정확성’의 3개 변수가 사용되었다. 둘째, PM 목표설정 집단과 할당적 목표 집단의 성과와 동기부여 수준을 비교하여 PM 목표설정 방식의 특성을 파악하고자 하였다. 이를 위해 PM 목표설정 집단이 설정한 목표수준(25점)을 할당적 목표 집단에 동일하게 부여하였다. 성과와 동기부여 수준을 관찰하기 위해 선행연구들로부터 ‘참여인지도, 자기효능감, 목표 수용도, 목표 몰입도, 목표 난이도, 목표 만족도, 목표 중요도, 개인목표, 개인성과’가 사용되었다. 셋째, PM 목표설정 집단과 할당적 목표 집단 각각에게 에 PM을 활용한 집단과 일방적으로 목표를 할당 받은 집단 각각에게 도전적 목표를 제시했을 때 두 집단의 성과와 동기부여 차이가 어떻게 변화하는지를 관찰하였다. 도전적 목표 수준은 pre-test 상위 30% 성과수준(34점) 이었다. 넷째, PM을 활용한 목표설정이 성과와 동기부여 변수들과 어떠한 상관관계를 갖고 있는지를 분석하여 PM을 활용한 목표설정이라는 변수의 특징을 파악하고자 하였다.
분석 결과는 다음과 같다. 첫째, PM 목표설정 집단의 개인들은 자신이 속한 집단의 미래성과를 본인의 개인목표, 자기효능감, 목표 동기부여 수준에 근거하여 예측하는 경향을 보였다. 본 실험에서는 타인과의 정보교환이 허락되지 않았으므로 미래성과를 예측하기 위해 자기 자신의 목표와 동기부여 수준을 기준으로 삼은 것이다. 둘째, PM 목표설정의 주효과는 개인의 개인목표와 개인성과에 유의적인 영향을 미치지 않는 것으로 나타났다. 다만 PM 목표설정에 참여한 집단은 할당적 목표 집단에 비해 주어진 목표(25점)를 더 어렵게 느꼈다(목표 난이도 증가). PM에 참여하여 미래성과를 신중하게 예측한 행동이 목표 난이도에 영향을 미친 것으로 해석된다. 셋째, PM 목표설정 집단과 할당적 목표 집단에게 도전적 목표를 제시하자 두 집단의 성과와 동기부여는 완전히 반대의 반응을 나타냈다. 먼저 PM을 활용하여 도출된 ‘예상집단성과(25점)’ 수준을 그대로 목표로 부과하였을 때에는 PM 목표설정 집단의 개인목표와 개인성과가 더 높았다. 그러나 실험진행자가 예측수준을 벗어나는 도전적 목표를 제시하자, PM 목표설정 집단의 개인목표와 개인성과는 급격히 할당적 목표 집단이 도전적 목표를 부여받고 개인목표와 개인성과가 급등한 것과는 정 반대의 결과였다. 이 결과는 PM을 활용한 참여적 목표설정과 ‘예상을 뛰어넘는 높은 수준의 목표’의 상호작용효과는 성과를 저하시킬 수 있다는 결과이다. 하지만 나머지 변수들에서는 PM 목표설정과 도전적 목표의 상호작용 효과는 관찰되지 않았다. 자기효능감, 목표수용도, 목표 난이도 변수들은 목표수준(25점 또는 34점)의 주효과에만 유의적으료 영향을 받는 것으로 나타났다.
이 결과는 PM을 활용한 참여적 목표설정 환경에서 참여자들이 평균적으로 예상하는 평균성과 수준의 목표가 주어진다면 할당적 목표설정 환경에서보다 더 높은 과업성과가 달성될 수 있다는 것을 보여준다. 또한 예상수준을 벗어나는 어려운 목표가 주어질 때, PM 목표설정 집단은 할당적 목표 집단에 비해 ‘목표 수용도’ 감소율이 더 컸다 PM을 활용한 참여적 목표설정 방식은, 예상을 크게 벗어나지 않는 범위에서 목표가 주어졌을 때에만 더 높은 성과와 동기부여를 나타냈다. 기존의 참여적 목표설정 연구들은 ‘일정한 수준의 목표 난이도에서는 목표설정방식에 관계 없이 성과가 동일하다’라고 하였다. 그러나 본 연구결과는 PM을 활용한 참여적 목표설정의 경우 실질적 성과개선이 가능하다는 것을 보여준다. 또한 실험환경상의 한계로 피실험자들 간의 거래를 동시다발적으로 여러 번 발생시키지 못하여 PM의 성과예측 정확성은 개선되지 않았으나, 상관관계분석 결과를 통해 PM에 참여하는 개인들의 예측행동은 개인목표, 자기효능감, 목표 동기부여 수준에 근거한다는 점 또한 알 수 있었다. 향후 PM을 활용한 목표설정 연구가 지속된다면 PM이라는 변수의 영향력을 추정하기 위해 새로운 변수들을 검토할 필요가 있다. 또한 향후 현업의 PM 적용을 위해서는 계약조건의 차이가 성과와 동기부여에 미치는 영향력을 연구할 필요가 있을 것이다.

다국어 초록 (Multilingual Abstract)

Previous research has suggested that there would be no clear consensus as to the effectiveness of participative goal setting. Although a number of in-field and laboratory experiments, comparing task performance on assigned versus participative goal setting, have been conducted evidence as to improved task performance is yet to be confirmed and the study indicates that participative goal setting alone, absent of properly motivating employees, may not lead to enhanced task performance in a real sense.
This study is to explore application potential of using prediction markets in goal setting as a decision support system. Often referred to as ‘information markets,’ ‘idea futures,’ ‘decision markets,’ ‘virtual markets,’ or ‘event futures’, prediction markets have been successfully experimented and implemented in many organizations and allow aggregating information by trading contracts on payoffs from accurately predicting specific future events. This research found that prediction markets could be used to impact future performance in the sense that managers can use prediction markets in goal-setting through its indirect communication system and persuasion function encouraging employees to predict their performance level. If this way of participation in goal-setting affects positively the performance, it would be an effective tool among field managers.
This study sets a set of hypotheses and a research model that ‘prediction markets used in goal-setting’ affect task performance and goal motivation variables. To verify individual hypotheses, 2ⅹ2 laboratory experiment was designed with two goal setting conditions (assigned versus participative) and two goal levels (predicted mean performance goals versus stretch goals).
The first issue addressed by the hypotheses is to examine the forecasting accuracy of prediction markets used in goal-setting where a variable ‘predicted mean performance’ is used to capture the direction of prediction. The strength of prediction is observed by measuring gaps between predicted levels and materialized levels. The second issue is to analyze the effectiveness of prediction markets as a goal setting tool by examining relationships between task performance and other cognitive variables. Variables are aggregated to observe the influence of prediction markets in goal-setting: self-efficacy, personal goals, goal acceptance, goal commitment, goal importance, goal satisfaction, goal difficulty, perceived participation, and personal performance (task performance) were selected from existing works in the goal setting or motivation theories. The third issue is to find moderating effects of highly difficult ‘stretch goals’ which are compulsorily assigned by a manager in prediction markets environments. Pre-test data are used to decide the stretch goal level.
We find that the not all hypotheses are supported. First, the employees` prediction on their future performance is set on the basis of their own personal goals and task performance level if there are no interactions with others, which indicates that dynamic market operation is essential to boosting accuracy via increased transactions. Second, participating prediction markets would not affect task performance significantly yet goal difficulty level might increase against initial conjectures. Lastly, notable findings come when we analyze the participation ⅹ stretch goals effect; assigning a stretch goal in the participative condition could lower personal goals and performance, whereas the group with assigned goals sets higher personal goals and achieves better task performance under identical conditions.
Further experimental results show that personal performance level of participative goal-setting group could be higher than those of the assigned goal-setting group if goals are given in the predicted performance range and that the performance of participating employees could be deteriorated if goals fall off the predicted range. The practical implication would be that managers involving prediction markets may need to figure out acceptable goal ranges before they assign any goals to avoid possible prediction markets traps.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구의 목적 1
• 1.2 연구방법 4
• 1.3 연구의 구성 7
• 제 2 장. 이론적 배경 9
• 2.1 Prediction Markets 9
• 2.1.1 Prediction markets의 정의와 특징 9
• 2.1.2 Internal Prediction Markets 12
• 2.2 Prediction Markets을 활용한 목표설정 16
• 2.2.1 Prediction Markets의 목표설정 활용 방안 16
• 2.2.2 목표설정에 따른 성과와 동기부여 20
• 제 3 장. 연구방법 31
• 3.1 연구개요 31
• 3.2 연구가설 33
• 3.2.1 Prediction Markets 목표설정의 성과 예측 정확성 34
• 3.2.2 Prediction Markets 목표설정의 성과와 동기부여 영향 35
• 3.2.3 Prediction Markets 목표설정에서 도전적 목표(Stretch Goals)의 영향 39
• 3.3 실험 설계 42
• 3.3.1 과업(Task) 설계 42
• 3.3.2 Prediction Markets 설계 44
• 3.4 실험 구성 46
• 3.4.1 실험 개요 46
• 3.4.2 Pre-test 47
• 3.4.3 Main-test 49
• 제 4 장. 결과 분석 59
• 4.1 Prediction Markets 예측정확성과 목표설정 효과 검정 60
• 4.1.1 Prediction Markets 성과 예측정확성 검정 61
• 4.1.2 Prediction Markets 목표설정의 성과와 동기부여 영향력 검정 65
• 4.1.3 할당된 도전적 목표(Assigned Stretch Goals)의 조절효과 검정 72
• 4.2 상관관계 분석 84
• 4.2.1 예측정확성 변수들과 다른 변수들의 상관관계 86
• 4.2.2 자기효능감 변수와 다른 변수들과의 상관관계 88
• 4.2.3 개인목표와 개인성과 변수에 영향을 미치는 변수들 89
• 4.2.4 상관관계분석 결과 종합 90
• 제 5 장. 결론 및 논의 91
• 5.1 요약 및 의의 91
• 5.1.1 Prediction Markets의 예측정확성 91
• 5.1.2 도전적 목표(Stretch Goals)가 Prediction Markets을 통한 목표설정 참여에 미치는 영향 93
• 5.2 연구의 한계 및 연구제언 94
• REFERENCES 97
• 설문지 101
• ABSTRACT 117

참고문헌 (Reference)

1. Prediction Markets, Wolfers, Zitzewitz, , 2004

2. The wisdom of crowds, Surowiecki, James, Anchor Books, , 2005

3. The Determinants of Goal Commitment, Miriam Erez, Locke, , 1988

4. Self-efficacy Mechanism in Human Agency, Bandura, , 1982

5. Prediction Markets in Theory and Practice, Zitzewitz, Wolfers, , 2006

6. Goal-setting andtask performance: 1969-1980, Locke, , 1980

7. Stretch Targets: What makes them effective?, Thompson, , 1997

8. Forecasting Markets: an Industrial Application, Ortner, , 1998

9. Prediction Markets: An Extended Literature Review, Tatsiopoulos, Tziralis, , 2002

10. Prediction markets for business and public policy, Leigh, Wolfers, , 2007

11. Goal importanceself-focus,andthegoal-settingprocess, Williams, Hollenbeck, , 1987

12. Stretch goals: the dark side of asking for miracles, Sherman, , 1995

13. Importance of Supportive Relationships in Goal Setting, Saari, La tham, , 1979

14. Accuracy and Forecast Standard Error of Prediction Markets, Berg, , 2003

15. The Role of Goal Acceptance in Goal Setting and Task Performance, Kanfer, Erez, , 1983

16. Baby Names.com Home Page, 20 Mar. 2009, , Baby Names.com, , 2009

17. Cognitive and motivational effects of participation: A mediator study, La tham, Winters, Locke, , 1994

18. Explaining the Favorite-Longshot Bias: Is It Risk-Love or Misperceptions?, Snowberg, Wolfers, , 2010

19. Using Prediction Markets to Track Information Flows: Evidence from Google, Cowgill, , 2009

20. Effect of Goal Acceptance on the Relationship ofGoal Difficulty to Performance, Erez, Zidon.I, , 1984

21. Employee Reactions to Performance Standards: A Review and Research Propositions, Bobko, , 1994

22. The Impact of Participation on Goal Acceptance and Performance: A Two-Step Model, Erez, , 1985

23. Prediction_markets, 26 Aug. 2008, , Wikipedia, the free encyclopedia Home Page, , 2008

24. Assigned versus participative goal setting with educated and uneducated woods workers, La tham, , 1975

25. Building a practically useful theory of goal setting and task motivation: A 35-year odyssey, Locke, La tham, , 2002

26. Business Performance Measurement: Unifying theories and integrating practice (Second edition), Neely, , 2007

27. Information Aggregation Mechanisms: Concept, Design and Implementation for a Sales Forecasting Problem, Chen, Plott, , 2002

28. Importance of Participation Goal Setting and Anticipated Rewards on Goal Difficulty and Job Performance, La tham, , 1978

29. Information Aggregation and Manipulation in an Experimental, Interdisciplinary Center for Economic Science, Hanson, , 2004

30. The influence of component participation and role models on goal acceptance, goal satisfaction, and performance, Earley, Kanfer, , 1985

31. Using stretch goals to promote organizational effectiveness and personal growth: General Electric and Goldman Sachs, Landauer, Kerr, , 2004

32. Role of goal orientation, ability, need for achievement, and locus of control in the self-efficacy and goal-setting process, Pillips, Gully, , 1997

33. Effects of assigned versus anticipatively set goals, knowledge of results, and individual differences on employee behavior when goal difficulty is held constant, Dossett, , 1979