Development of an Evaluation Model of Perceived-Intelligence on Intelligent Services

다국어 초록 (Multilingual Abstract)

Intelligent services with Internet of Things (IoT) technologies are being incorporated into digital devices and home appliances. Devices connected to the network exchange data with each other and provide the user with functions that use several devices. As intelligent services are developed, the likelihood that a user is satisfied with a product or service increases with its apparent intelligence. Currently used technology-driven intelligence quantification can only suggest ways to improve technology, and the evaluation is carried out by experts. Therefore, to improve the UX with a product or service, developers should focus on the intelligence of the product or service as experienced by the user. To quantify intelligence from the user's point of view, this study attempted to model the relationship between perceived-intelligence and the characteristics of intelligence for IoT intelligent services.
Studies that suggested the characteristics of intelligence from various research fields were collected and analyzed. A total of 20 major papers were collected; examination of them allowed the identification of 12 initial characteristics of intelligence. This study identified whether the characteristics of intelligence were considered when users evaluate the perceived-intelligence of services. An experiment of evaluating perceived-intelligence was conducted using 20 millennial users from various occupations. The intelligence was evaluated for IoT intelligent service concepts, which were developed by surveying user needs and by collecting demonstration videos of IoT services. Twenty service-concept scenarios were used in the experiment. Participants could evaluate the perceived-intelligence of services well with the service scenarios. They were asked to state why they judged a service to be smart or not smart. The responses were used to verify and supplement the intelligence characteristics. Finally, this study derived a list of perceived-intelligence characteristics that included Newness, Beneficialness, and Accuracy.
To develop a model that quantifies perceived-intelligence, 33 evaluation items were developed, based on the intelligence characteristics. For data collection, another experiment to evaluate perceived-intelligence was conducted; in this experiment, 18 service concepts were used; they were obtained by reconstructing the service concepts used in the first experiment. The participants were 36 millennials that were recruited considering their occupation and sex.
The participants' evaluation data was validated with a reliability test. Then the relationships between the perceived-intelligence and intelligence characteristics were identified using various modeling techniques. The perceived-intelligence was found to be influenced by eight characteristics: Accuracy, Newness, Learning ability, Beneficialness, Communication ability, Autonomy, Context awareness ability, and Adaptability. The coefficient of determination of the evaluation model was 72.5%. It was tried to confirm that users evaluate the perceived-intelligence by non-compensatory decision-making strategies, but they did not. Among the characteristics that affected the perceived-intelligence, Sensing ability, Adaptability, and Autonomy were attractive attributes in the Kano model, and the remaining five attributes were one-dimensional.
When IoT intelligent services become prevalent, the intelligence evaluation model proposed in this study is expected to be used for various purposes, such as evaluation of service prototypes, comparison between multiple services, and development of new service concepts. Intelligence is considered as an important criterion for consumers, so the model developed here to evaluate the intelligence of services from the user's point of view should have better accuracy and make more contributions than existing evaluation methods.

국문 초록 (Abstract)

사물인터넷 시장의 확대와 빅데이터 분석 기술의 발전으로, 사물인터넷 기반의 지능형 서비스가 제품에 접목되고 있다. 사용자의 로그 데이터는 기기 이용 패턴을 파악하는 데 활용되고 있으며, 네트워크에 연결된 여러 기기들은 데이터를 서로 송수신하여 기기 간 연계된 기능을 사용자에게 제공하고 있다. 사용자들은 개개인의 이용 패턴을 바탕으로 맞춤화된 서비스와 단일 기기에서는 사용이 어려웠던 기능들을 이용할 수 있게 되었다. 지능화된 서비스들의 등장으로 사용자의 제품 및 서비스의 이용 만족도는 크게 향상될 수 있다. 지능형 서비스가 활발히 개발됨에 따라, 제품 및 서비스의 지능성은 향후 소비자의 제품/서비스 선택에 있어 중요한 요인이 될 것으로 전망된다. 이에, 제품/서비스의 지능성을 평가하기 위한 방법이 요구된다.
2000년대 이후, 제품/서비스의 지능성을 정량화하기 위한 연구들이 수행되어 왔다. 기존의 연구들은 지능성을 기술적 관점에서 해석하여, 인공 지능 분야의 전문가들이 각 기술을 평가하고 가중치를 매김으로써, 정량화된 점수를 부여하는 방식으로 진행되었다. 하지만, 기술 중심의 지능성 평가는 기술의 개선 방향 제안을 할 수 있다는 제한적인 시사점을 갖고 있다. 반면, 제품/서비스의 사용자 경험 향상을 위해서는 사용자가 체감하는 제품/서비스의 지능성에 초점을 맞출 필요가 있다. 사용자들은 지능성이 더 높아 보이는 제품/서비스에 대해 더 만족할 가능성이 높기 때문이다. 이를 위하여, 본 연구는 지능형 서비스에 대해 사용자가 체감하는 지능성과 지능성의 특성 간 관계를 모델링하고자 하였다.
먼저, 인공지능, 지능 에이전트, 로보틱스, 스마트 제품 및 서비스 등의 다양한 분야로부터 지능성의 특성을 제안한 연구들을 수집하고 분석하였다. 총 20개의 주요 논문으로부터 자율성, 상호작용 능력, 의사결정 능력, 학습 능력 등의 12개의 지능성의 초기 특성을 수집하였다.
지능성의 특성들이 체감 지능성을 평가하는 데 고려가 되는지를 확인하였다. 대학생, 직장인, 주부 등의 다양한 직업을 가진 밀레니얼 세대의 사용자 20명을 대상으로, 체감 지능성 평가 실험을 수행하였다. 실험에서는 지능형 서비스 컨셉에 대해 지능성을 평가 받고, 서비스가 똑똑하다고 생각되었다면, 그 이유가 무엇인지를 응답하도록 하였다. 반대로, 서비스가 똑똑하지 않다고 생각된다면, 그 이유를 응답하도록 하였다. 지능형 서비스 컨셉은 사물인터넷 서비스에 대한 사용자 니즈 조사와 광고, 시연 영상 수집을 통해 개발되었으며, 20개의 서비스 이용 시나리오가 실험에 활용되었다. 그 결과, 기존의 특성들에 포함되지 않았던 서비스의 Newness, Beneficalness, Accuracy를 포함하는 지능성 특성 리스트를 도출하였다.
사용자의 체감 지능성을 정량화하기 위한 모형을 개발하기 위해, 지능성 특성을 바탕으로 한 33개의 평가 문항이 개발되었다. 평가 문항들은 앞서 수행된 실험에서 수집된 의견들을 바탕으로 개발되었다. 모델 구성을 위한 데이터 수집을 위해, 또 한번의 체감 지능성 평가 실험이 수행되었다. 두 번째 실험에서는 첫 번째 실험에서 활용한 서비스 컨셉을 재구성하여, 18개의 서비스 컨셉이 활용되었다. 마찬가지로 밀레니얼 세대를 대상으로 평가가 수행되었다. 성별과 직업 구성을 고려하여 36명이 평가에 모집되었다.
참여자들의 평가 결과는 신뢰도 테스트를 통해 일차적으로 검증되었다. 이후, 보상적 모형, 비보상적 모형, Kano 모형 등의 다양한 모델링 기법을 통해, 체감 지능성과 지능성 특성 간의 관계가 파악되었다. 분석 결과, 체감 지능성은 Accuracy, Newness, Learning ability, Beneficialness, Communication ability, Autonomy, Situation awareness, Adaptability에 영향을 받는 것으로 나타났다. 또한, 사용자들이 체감 지능성을 평가함에 있어서, 비보상적 의사결정 전략을 활용하는지 모델을 통해 확인해 보았으나, 모델은 낮은 설명력을 보였다. 지능성 평가는 오히려 보상적 의사결정 전략에 의해 이뤄지는 것에 가까운 것으로 확인되었다. 체감 지능성에 영향을 미치는 특성 가운데, Sensing ability, Adaptability, Autonomy는 Kano 모형에서 사용자에게 매력 요인으로 작용하는 특성들이었으며, 나머지 5개의 특성은 일차원적으로 작용하는 특성들이었다.
본 연구에서 제안된 지능성 평가 모형은 추후 지능형 서비스가 보편화되었을 때, 기 개발된 서비스에 대한 평가, 비교, 서비스 프로토타입에 대한 평가, 새로운 서비스 컨셉의 개발 등을 목적으로 다양하게 활용될 수 있을 것으로 기대된다. 지능성이 제품 및 서비스를 선택하기 위한 소비자의 중요한 기준으로 고려됨에 따라, 사용자 관점에서 서비스의 지능성을 평가한 본 연구의 결과물이 다른 평가 방법에 비하여 우수한 성능과 기대 효과를 가져다 줄 것이라 예상된다.

목차 (Table of Contents)

• 1. Introduction 1
• 1.1. Research background 1
• 1.2. Research objectives 4
• 1.3. Research scope 5
• 1.4. Thesis structure 6
• 2. Studies on Quantification of Intelligence 9
• 2.1. Quantifying human intelligence 9
• 2.2. Quantifying intelligence of artificial systems 13
• 3. Definitions and Characteristics of Intelligence 22
• 3.1. Definitions of intelligence 22
• 3.1.1. Dictionary definitions 22
• 3.1.2. Definitions in psychological studies 23
• 3.1.3. Definitions in artificial intelligence studies 24
• 3.1.4. Definition of intelligence in the study 26
• 3.2. Characteristics of Intelligence 27
• 3.2.1. Premise 27
• 3.2.2. Collecting intelligence characteristics 28
• 3.2.3. Classification of the intelligence characteristics 32
• 4. Intelligence of IoT Service and its Characteristics 34
• 4.1. Premise 34
• 4.2. Experiment to Verify the Intelligence Characteristics 37
• 4.2.1. Experimental hypotheses 37
• 4.2.2. Scenarios of IoT intelligent services 38
• 4.2.3. Questionnaire for evaluation 41
• 4.2.4. Participants 43
• 4.2.5. Experimental procedure 45
• 4.3. Results 48
• 4.3.1. Intelligence and usefulness 48
• 4.3.2. Influential features on the intelligence evaluation 52
• 4.4. Conceptual diagram of IoT intelligence 55
• 5. Questionnaire and Models for Perceived-Intelligence Evaluation 60
• 5.1. Questionnaire for subjective evaluation 60
• 5.2. Evaluation models for perceived-intelligence 63
• 6. Constructing Perceived-Intelligence Evaluation Models 71
• 6.1. Experiment for collecting evaluation data 71
• 6.1.1. Experimental hypotheses 72
• 6.1.2. Service concepts of IoT intelligent services 72
• 6.1.3. Participants 78
• 6.1.4. Experimental procedure 79
• 6.2. Reliability tests on the data 81
• 6.3. Development of models 85
• 6.3.1. Linear regression model 85
• 6.3.2. Non-compensatory model 88
• 6.3.3. Kano model and attributes 89
• 7. Discussion 92
• 7.1. Perceived-Intelligence evaluation model 92
• 7.1.1. Multiple linear model (Compensatory model) 93
• 7.1.2. Non-compensatory model 95
• 7.1.3. Kano model and attributes 96
• 7.2. The development process of the perceived-intelligence evaluation model 98
• 7.3. Comparison with other methods for quantifying intelligence 100
• 7.4. Contributions and applications 101
• 7.5. Limitations 102
• 7.6. Future work 103
• 8. Conclusion 105
• 요약문 106
• References 109
• Appendices 121