Applying Human Strategies to a Neural Solver for Algebraic Word Problems = 인간의 전략을 인공신경망에 적용한 대수 문장형 문제의 자동 풀이기술|RISS 상세보기

다국어 초록 (Multilingual Abstract)

Solving algebraic word problems automatically is a natural language understanding task that requires understanding a natural language problem and translating the problem into an appropriate equation. This task is very challenging for artificial intelligence since even humans need a lot of training, such as learning various problem-solving strategies. Researchers have designed various neural networks to tackle this task. However, these researches have been suffered a loss of contextual information when encoding a given problem and decoding an equation. So, the answer accuracy of an existing pure neural model was somewhat low: about 40%. In order to improve this low answer accuracy, this paper presents two studies that modify the encoding and decoding processes of a neural model and are inspired by human strategies.
The first study modifies the decoding process of a neural model to capture the context of computational structure of an equation. To utilize such contextual information of an operator or an operand, a model should treat an operator and relevant operands as a group rather than treating them individually. However, existing neural networks have generated an operator or an operand individually without considering the loss of contextual information. Moreover, these models used an abstract token that separates an operand from its context instead of utilizing the operand directly. Thus, I propose a neural network called 'Expression-Pointer Transformer' (EPT) to reduce these losses of contextual information. EPT uses two components. First, EPT generates an equation using an expression as a unit, which is a unit that groups an operator with its relevant operands. Second, EPT uses operand-context pointers to use operands in the process of generating an equation directly. To compare EPT with existing models, I conducted an experiment. The experiment showed that EPT achieved about 80% answer accuracy, which is 40% higher than previous pure neural models. Also, error analysis and ablation analysis revealed that using the two components, expression token and operand-context pointer, can improve the answer accuracy of a neural model.
The second study extends the encoding process of a neural model to augment the context of numeric information of a given word problem. To solve the problem correctly, a model should correctly understand contextual information about numbers and unknowns stated in the problem. However, existing studies just used an encoder or a pre-trained language model without verifying whether such contextual information is correctly caught or not. Thus, I propose a neural network called 'Expression Pointer Transformer with eXplanations' (EPT-X). EPT-X employs a two-phase architecture that enables the model to compare its understanding with the original word problem. In the first phase, EPT-X interprets the given word problem and explains each written number or unknown variable. And then, in the second phase, EPT-X uses the explanations to write an equation to solve the given word problem. To evaluate EPT-X's performance in generating explanations and equations, I conducted an experiment using a new dataset, 'Problems with Explanations for Numbers' (PEN). The experiment showed that EPT-X achieves answer accuracy comparable to EPT even though EPT-X adopts a two-phase architecture to generate explanations. Also, error analysis and ablation analysis revealed that EPT-X could outperform EPT when EPT-X generates explanations as correctly as humans do.
Through the above two studies, this paper shows a better way to preserve contextual information when solving an algebraic word problem. As a result, this paper has two major contributions. First, I demonstrated how to improve the decoding and encoding process so that the neural model preserves contextual information. In the case of the decoding process, EPT-X demonstrated that simply modifying input and output can help capture the computational structure of an output equation. Also, in the case of the encoding process, a sufficient explanation can help preserve contextual information written in a problem. Second, capturing contextual information can improve the performance of a neural model. Using an expression as the unit of generating an equation improved the model's performance compared to using an individual operator or operand. Also, explaining the model's understanding could improve the performance when a model can understand numbers and variables as a human does.

번역하기

국문 초록 (Abstract)

문장형 대수 문제의 자동 풀이는 주어진 자연어 문제를 이해하고 수식을 작성하는 자연어 이해 기술의 일종이다. 인간도 문장형 문제를 잘 풀기 위해서 다양한 전략을 배우는 등의 많은 훈련이 필요하기 때문에, 이 작업은 인공지능에게도 매우 도전적인 작업이다. 연구자들은 그동안 다양한 인공신경망 기술을 활용하여 문장형 대수 문제 풀이를 해결하려고 시도하였다. 그러나 현재까지의 인공신경망 기술은 인코딩과 디코딩 과정에서 맥락 정보를 제대로 보존하지 못했다. 때문에 지금까지 연구된 인공신경망 모델들은 정답률이 40% 정도로, 성능이 매우 낮은 편이었다. 이 논문은 이 성능 한계를 해결하기 위해서, 인간의 전략에서 착안해 인코딩과 디코딩 과정을 개선하는 두 가지 연구를 제시한다.
첫 번째 연구는 인공신경망의 디코딩 과정에서 수식의 계산 구조에 관한 맥락을 잃어버리지 않도록 개선한 모델인 '표현식-포인터 트랜스포머'(EPT)를 제안한다. 연산자와 피연산자의 맥락 정보를 최대한으로 활용하려면, 이들을 개별적으로 분리하지 않고 하나의 묶음으로 취급해야 한다. 그러나 기존의 신경망 모델은 이를 간과한 채, 연산자와 피연산자를 각각 분리하여 생성해왔다. 또한, 기존의 신경망 모델은 피연산자를 직접 활용하지 않고, 맥락에서 분리하는 별도의 토큰을 활용했다. 이로 인해 나타나는 맥락 정보의 손실을 줄이기 위해서, EPT는 두 가지 장치를 활용한다. 먼저, EPT는 하나의 연산자와 연관되는 피연산자를 함께 묶은 단위인 표현식을 사용하여 수식을 입출력한다. 다음으로, 포인터를 활용하여 피연산자를 수식 생성 과정에서 직접 활용하도록 한다. 나는 EPT와 선행연구의 성능을 비교하기 위해서, 실험을 진행했다. 실험 결과, 두 장치를 적용한 EPT 모형이 80% 정도의 성능을 보여, 기존 인공신경망 모델 대비 약 40%의 성능 향상을 이끌어냈다. 또한, 오류 분석과 절제 실험을 통해 제안한 두 장치가 모두 성능향상에 도움이 되는 것도 확인할 수 있었다.
두 번째 연구는 인공신경망의 인코딩 과정에서 문제 속 숫자 정보에 관한 맥락을 잃어버리지 않도록 확장한 모델인 '설명을 포함한 EPT'(EPT-X)을 제안한다. 문제에 주어진 숫자와 필요한 변수에 관한 정보를 제대로 해석하여야 문제를 바르게 풀이할 수 있다. 그러나 기존의 신경망 모델은 해석된 결과물이 정보를 제대로 담고 있는지 확인할 방법이 없이, 언어 모델이나 인코더가 생성하는 벡터 값만을 활용해왔다. 그래서, EPT-X는 해석이 정확한지 모델이 스스로 비교/대조할 수 있도록 두 단계에 걸쳐 문제를 풀이한다. 첫번째 단계에서는 인코더가 문제를 해석하고 이를 토대로 문제 속 숫자와 변수에 관한 해석을 자연어 형태로 생성한다. 두번째 단계에서는 이 해석을 EPT에 입력해 수식을 작성한다. 이렇게 만들어진 EPT-X의 설명 생성 성능과 수식 생성 성능을 평가하기 위해서, 새로운 데이터셋인 '숫자를 설명한 문제 데이터셋'(PEN)을 사용해 실험을 진행했다. 실험의 결과, EPT-X는 설명을 생성함에도 불구하고 EPT와 거의 대등한 성능을 내는 것을 확인하였다. 또한, 오류 분석과 절제 실험을 통해 설명을 사람과 동일하게 생성할 수만 있다면 EPT보다 더 나은 성능을 낼 가능성이 있다는 점도 확인할 수 있었다.
위의 두 연구를 통해서, 이 논문은 인공신경망이 맥락 정보를 더 잘 보존할 수 있도록 하는 방법을 보여준다. 결과적으로, 이 논문은 크게 두 가지 측면에서 기여한다. 첫째, 인공신경망 모델이 맥락 정보를 보존할 수 있도록 디코딩과 인코딩 과정을 개선하는 방법을 시연했다. 디코딩 과정의 경우, EPT-X는 단순히 입력 및 출력을 수정하는 것이 출력되는 방정식의 맥락을 파악하는 데 도움이 될 수 있음을 보였습니다. 또한 인코딩 과정의 경우, 모델이 충분한 설명을 생성할 수 있다면, 문제에 쓰여진 문맥 정보를 보존하는 데 도움이 될 수 있음을 보였다. 둘째, 이러한 맥락 정보 보존의 노력이 성능 또한 향상시킬 수 있다는 점을 보였다. 모델의 수식작성 과정을 표현식으로 변경했을 때, 모델의 성능이 기존에 비해 크게 향상되었다. 모델이 이해한 바를 설명하게 한 경우에는, 설명이 사람의 설명과 동일한 경우 모델의 성능이 향상될 수 있다는 점을 확인하였다.

번역하기

문장형 대수 문제의 자동 풀이는 주어진 자연어 문제를 이해하고 수식을 작성하는 자연어 이해 기술의 일종이다. 인간도 문장형 문제를 잘 풀기 위해서 다양한 전략을 배우는 등의 많은 훈...

목차 (Table of Contents)

Chapter 1 Introduction 1
1.1 Motivation 1
1.2 Research Questions 4
1.3 Contributions 6
1.4 Thesis overview 8

Chapter 1 Introduction 1
1.1 Motivation 1
1.2 Research Questions 4
1.3 Contributions 6
1.4 Thesis overview 8
Chapter 2 Background 10
2.1 Human Strategy on Math Word Problem Solving 10
2.1.1 Understanding a problem 11
2.1.2 Writing an equation 13
2.2 Attempts on Automatic Word Problem Solving 15
2.2.1 Encoding a problem 16
2.2.2 Decoding to an equation 18
2.3 Summary 20
Chapter 3 Capturing the Context of Equations' Computational Structure 22
3.1 Units for writing equations 24
3.1.1 Existing unit: Operator/operand tokens 25
3.1.2 Proposed unit: Expression tokens 27
3.2 EPT: Expression-Pointer Transformer 28
3.2.1 Text encoder of EPT 30
3.2.2 Equation decoder of EPT 31
3.3 Experimental Setup 36
3.3.1 Comparative analysis 36
3.3.2 Ablation analysis 39
3.3.3 Implementation details 42
3.4 Result and Discussion 44
3.4.1 Comparative analysis 44
3.4.2 Ablation analysis 46
3.5 Error Analysis 48
3.5.1 Two cases of EPT's errors 48
3.5.2 Syntactic complexity and EPT's errors 52
3.6 Summary 56
Chapter 4 Augmenting the Context of Problem's Numeric Information 58
4.1 Decomposing the problem-solving task 60
4.2 The EPT-X Model 62
4.2.1 Phase 1. Explaining numbers/variables 63
4.2.2 Phase 2. Building solution equations 67
4.3 The PEN dataset 70
4.3.1 Selection: collecting datasets 70
4.3.2 Preparation: correcting errors 71
4.3.3 Annotation: collecting explanations 73
4.3.4 Statistics 76
4.4 Experimental setup 80
4.4.1 Comparative analysis 80
4.4.2 Error analysis 81
4.4.3 Systematic error analysis 86
4.4.4 Implementation details 87
4.5 Result and Discussion 89
4.5.1 Comparative analysis 89
4.5.2 Error analysis 91
4.5.3 Systematic case analysis 97
4.6 Summary 104
Chapter 5 Conclusion 106
5.1 Implications 106
5.1.1 Capturing contextual information 107
5.1.2 Achieving high accuracy 108
5.2 Limitations and future work 110
5.2.1 Unexplored human strategies 110
5.2.2 Unexplored ways to improve correctness 112
5.2.3 Unexplored ways to improve explainability 113
Bibliography 116
초록 127

참고문헌 (Reference)

1. Verbal cues as an interfering factor in verbal problem solving, Nesher , P. and Teubal , E., 6 ( 1 ) :41 ? 51, , 1975

2. Simple fast algorithms for the editing distance between trees and related problems, Zhang , K. and Shasha , D., 18 ( 6 ) :1245 ? 1262, , 1989

3. Algebra word problem solutions : Thought processes underlying a common misconception, Clement , J, 13 ( 1 ) :16 ? 30, , 1982

4. An exploratory study contrasting high- and low-achieving students ’ percent word problem solving, Jitendra , A. K. and Star , J. R., 22 ( 1 ) :151 ? 158, , 2012

5. Teaching conceptual model ? based word problem story grammar to enhance mathematics problem solving, Xin , Y. P. , Wiles , B. , and Lin , Y.-Y ., 42 ( 3 ) :163 ? 178, , 2008

6. Self-regulation strategies to improve mathematical problem solving for students with learning disabilities, Montague , M., 31 ( 1 ) :37 ? 44, , 2008

7. Improving the mathematical problem-solving skills of students with learning disabilities : Self-regulated strategy development, Case , L. P. , Harris , K. R. , and Graham , S., 26 ( 1 ) :1 ? 19, , 1992

8. Deep neural solver for math word problems . In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, Wang , Y. , Liu , X. , and Shi , S., pages 845 ? 854, , 2017

9. Learning fine-grained expressions to solve math word problems . In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, Huang , D. , Shi , S. , Lin , C.-Y. , and Yin , J, pages 805 ? 814, , 2017

10. Statistical significance tests for machine translation evaluation . In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, Koehn , P., pages 388 ? 395, , 2004