신용조회업무 정보시스템의 재난복구 우선순위결정 : 퍼지 TOPSIS 접근방법

양동구,김기윤 대한경영정보학회 2016 경영과 정보연구 Vol.35 No.3

본 논문의 목적은 신용조회업무 정보시스템에 대한 재난복구 우선순위결정문제를 해결하기 위해서, TOPSIS 방법을 퍼지 환경에 적용시키는 것이다. 본 논문에서 각 정보시스템에 대한 평가와 평가기준에 대한 가중치는 사다리꼴 퍼지 수로 표현되는 언어적 용어로 기술된다. 여기서 두 사다리꼴 퍼지 수들 간의 거리는 vertex 방법으로 측정한다. 그리고 TOPSIS 개념에 따라서, 근접계수를 구해서 모든 정보시스템들의 우선순위를 결정한다. 이와 같은 퍼지집합과 TOPSIS의 통합방법은 다른 다기준 의사결정방법들과 비교해서 여러 장점들이 있는데, 예로써, 의사결정을 민첩하게 할 수 있도록 적은 퍼지 자료로도 파라메타 계산이 가능하고, 또한 동시에 평가 할 수 있는 대안의 수에 제약을 받지 않고, 그리고 새로운 대안이 평가과정에서 추가되어도 순위변경문제가 발생되지 않는다는 점이다. 본 논문은 9개의 평가기준과 6명의 평가자들이 평가하는 9개의 신용조회업무 정보시스템들이 포함된 실제사례에 적용했고, 그리고 업무연속성계획(BCP) 수립위한 체계적인 재난복구체계를 실무자들에게 제공하고 있다. 결론적으로 본 논문에서 제시한 퍼지 TOPSIS 방법의 적용절차는 신용조회업무 정보시스템에 대한 재난복구 우선순위결정문제를 해결하는 의사결정도구로 매우 적절한 것이다. The aim of this paper is to extend the TOPSIS(Technique for Order Preference by Similarity to Ideal Solution) to the fuzzy environment for solving the disaster recovery priority decision problem in credit bureau business information system. In this paper, the rating of each information systems and the weight of each criterion are described by linguistic terms which can be expressed in trapezoidal fuzzy numbers. Then, a vertex method is proposed to calculate the distance between two trapezoidal fuzzy numbers. According to the concept of the TOPSIS, a closeness coefficient is defined to determine the ranking order of all information systems. The combination between the fuzzy set and TOPSIS brings several benefits when compared with other approaches, such that the fuzzy TOPSIS require few fuzzy judgements to parameterization, which contributes to the agility of the decision process, it does not limit the number of alternatives simultaneously evaluated, and it does not cause the ranking reversal problem when a new alternative is included in the evaluation process. This paper is demonstrated with a real case study of a credit rating agency involving 9 evaluation criteria and 9 credit bureau business information systems assessed by 6 evaluators, and provide the systematic disaster recovery framework for BCP(Business Continuity Planning) to practitioner. Finally, this paper show that the procedure of the proposed fuzzy TOPSIS method is well suited as a decision-making tool for the disaster recovery priority decision problem in credit bureau business information system.

우리나라 홍수 취약성 평가를 위한 Fuzzy TOPSIS 접근법

김영규,정은성,이길성 한국수자원학회 2012 한국수자원학회논문집 Vol.45 No.9

본 연구는 불확실성을 고려하여 홍수 취약성 평가를 정량화하기위한 새로운 방법을 제시하였다. 현실 세계로부터 얻는 많은 정보들은 불확실성을 가지고 있으므로 본 연구는 우리나라의 공간적 홍수 취약성을 산정하기 위해 Fuzzy TOPSIS기법을 사용하였다. 또한 Fuzzy TOPSIS의 결과를 TOPSIS 및 가중합계법을 적용한 결과와 비교하였다. 그 결과 일부 지역의 취약성 순위가 큰 폭으로 역전되는 현상을 보였다. Spearman 순위 상관분석을 실시한 결과 TOPSIS와 가중합계법의 순위는 높은 일치성을 보였으나 Fuzzy TOPSIS의 순위와는 상당히 일치하지 않은 결과를 나타냈다. 즉, Fuzzy 개념을 반영하여 지역별 취약성을 산정할 경우 우선순위의 변동이 크게 발생할 수 있으므로 본 연구에서 제시한 모형도 하나의 취약성 평가의 방법이 될 수 있다. This study will be a new attempt to quantify flood vulnerability taking into account uncertainty. Information obtained from the real world has lots of uncertainties. Therefore, this study developed an approach to quantify spatial flood vulnerability of Korea using Fuzzy TOPSIS approach. Also, Fuzzy TOPSIS were compared with TOPSIS and weighted sum method. As a result, rankings of some areas were changed dramatically due to the uncertainty. Spearman rank correlation analysis indicated that the rankings of TOPSIS and weighted sum method were almost similar, but quite different from ranking of Fuzzy TOPSIS. In other words, because applying Fuzzy concept in regional vulnerability assessment may cause a significant change in priorities, the model presented in this study may be a method of vulnerability assessment.

배송채널 선정문제에 대한 TOPSIS 응용

김기태 사단법인 인문사회과학기술융합학회 2017 예술인문사회융합멀티미디어논문지 Vol.7 No.10

의사결정문제는 개인적인 일 뿐만 아니라 기업이나 국가 등 많은 부분에서 일어난다. 의사결정을 하는 주체가 다양한 것처럼 의사결정을 위한 기준도 다양하다. 하나의 기준으로 의사결정을 하는 경우도 있지만 대부분의 경우 여러 가지 기준을 갖고 의사결정을 하게 된다. 이것을 다기준 의사결정이라고 한다. 다기준 의사결정의 경우에는 다양한 기준들이 의사결정에 영향을 미치게 된다. 하지만 기준들이 단위가 서로 다르고 범위도 다르기 때문에 기준들에 대한 영향도를 나타내기 위해서는 서로 다른 단위들을 통합하여 비교를 해야 하기 때문에 어려움이 있다. 이러한 어려움을 해결하기 위한 다기준 의사결정 방법 중에 요구사항 우선순위기법(TOPSIS)이 있다. TOPSIS는 매트릭스를 이용하여 다기준을 갖는 의사결정문제에 대한 해법을 제시한다. 본 연구는 TOPSIS를 이용하여 배송채널을 선택하는 문제를 다룬다. 공급사슬과 마케팅에서 중요한 기능을 하는 배송채널은 생산에서 최종 소비자까지의 경로를 말하며, 최근에는 고객의 요구사항 증대와 기술의 발달에 따라 배송채널은 더욱 복잡하고 다양해졌다. 본 연구는 배송채널 선택문제에 TOPSIS가 적용되는 방법과 계산방법을 소개하고 의의를 고찰한다. Decision making problems have occurred in a variety of different fields including personal decisions as well as industries or even countries. As there are various decision makers such as person, group, company, and so on, the criteria for the decision are numerous. Although there is only one criterion, in most cases decisions are made with multiple criteria, which is called multiple criteria decision making. Various criteria affect to make decisions in the multiple criteria decision making problems. On the other hand, since those criteria have different units, it is difficult to compare the criteria with different units so that they represent the impacts for the criteria. To resolve the difficulties, there is an excellent multiple criteria decision making method, so called TOPSIS(technique for order of preference by similarity to ideal solution). TOPSIS provides a solution for decision making problems with multiple criteria using matrix theory. This paper deals with distribution channel selection problem using TOPSIS. Distribution channel as a path from manufacturer to end customers has played an important role in supply chain management and marketing in that customers' needs have increased, technologies has advanced, and the complexity of suppy chain has been higher than before. In this paper, we suggest how TOPSIS applies to the problem of distribution channel selection and investigate the insights of the approach.

퍼지 TOPSIS를 이용한 신임교수선택을 위한 집단의사결정

김기윤,양동구 한국디지털정책학회 2016 디지털융복합연구 Vol.14 No.9

본 논문의 목적은 대학의 신임교수선택 문제를 해결하기 위해서, TOPSIS 방법을 퍼지 환경에 적용시키는 것이다. 이를 위해서, 본 논문에서 각 후보자에 대한 평가와 평가기준에 대한 가중치는 사다리꼴 퍼지 수로 표현되는 언어적 용어로 기술된다. 여기서 두 사다리꼴 퍼지 수들 간의 거리는 vertex 방법으로 측정한다. 그리고 TOPSIS 개념에 따라서, 근접계수를 구해서 모든 후보자들의 우선순위를 결정한다. 본 연구에서는 1) 신임교수선택을 위한 4개 평가기준(연구실적, 교육연구역량, 인성, 전공 적합성), 2) 집단의사결정을 위한 퍼지 TOPSIS 방법의 5단계 절차, 3) 신임교수선택 사례를 통해서 4명 후보자들의 우선순위를 도출했다. 본 논문의 결론은 퍼지 자료를 분석하려는 전문가에게 활용될 수 있고, 또한 인사관리에서 직원선택문제를 해결하는 다기준 의사결정 도구로도 유용하게 사용될 수 있다. 끝으로 이와 같은 연구결과가 갖는 이론적 및 실천적 함의를 논의했고, 향후 연구방향을 제시했다. The aim of this paper is to extend the TOPSIS(Technique for Order Performance by Similarity to Ideal Solution) to the fuzzy environment for solving the new professor selection problem in a university. In order to achieve the goal, the rating of each candidate and the weight of each criterion are described by linguistic terms which can be expressed in trapezoidal fuzzy numbers. In this paper, a vertex method is proposed to calculate the distance between two trapezoidal fuzzy numbers. According to the concept of the TOPSIS, a closeness coefficient is defined to determine the ranking order of all candidates. This research derived; 1) 4 evaluation criteria(research results, education and research competency, personality, major suitability) for new professor selection, 2) the 5 step procedure of the proposed fuzzy TOPSIS method for the group decision, 3) priorities of 4 candidates in the new professor selection case. The results of this paper will be useful to practical expert who is interested in analyzing fuzzy data and its multi-criteria decision-making tool for personal selection problem in personal management. Finally, the theoretical and practical implications of the findings were discussed and the directions for future research were suggested.

TOPSIS 기반 대학 학과 홈페이지 운영관리 평가방안

정기호 중소기업융합학회 2019 융합정보논문지 Vol.9 No.9

This study presents a TOPSIS-based application for the evaluation of administrative purposes on the website of university's departments. As the school age population decreases, the homepage of the university's departments also has important promotional means. However, most of them are not well managed until a full renewal. This is because the investment is difficult compared to strategic importance. Therefore, this paper tries to show its usefulness by applying a partially modified TOPSIS for management purposes, in consideration of the practicality. TOPSIS is appropriate for target management as a conceptual reason to prioritize based on the distance from the ideal target for each criterion. Also, in the case of monotonic functions of the evaluation criteria used, the same results can be obtained by reducing the amount of calculations through a partially modified procedure as presented in this study. 본 연구는 관리적 목적에서 대학의 학과 홈페이지 평가를 위한 TOPSIS 기반의 응용을 제시한다. 학령인구 감소시대를 맞아 대학의 학과 홈페이지는 입시 전략의 관점에서는 중요한 홍보 수단의 의미를 갖는다. 하지만 대부분 리뉴얼과 같은 전면적 개편 전에는 관리가 잘되지 않는다. 비록 입시전략 차원에서 홈페이지 관리는 중요한 일이지만 단순한 관리 목적의 평가에 많은 노력이나 비용을 투자하기는 어렵기 때문이다. 그래서 본 논문은 현실성을 고려하여 관리 목적에서 대학의 학과 홈페이지 평가에 부분적으로 수정된 TOPSIS를 적용하여 그 유용성을 보이고자 한다. TOPSIS는 각 기준에 대한 이상적인 목푯값으로 부터 편차 거리를 기반으로 하여 우선순위를 결정해 주는 개념적 이유로 목표 관리를 위한 평가 도구로 사용하기에 합당하다고 본다. 그리고 사용되는 평가 기준들의 방향성이 같은 단조증가 함수 같은 경우 본 연구에서 제시된 바와 같이 부분적으로 수정된 절차를 통하여 계산량을 줄여도 동일한 결과를 얻을 수 있다.

퍼지 TOPSIS & AHP를 이용한 IMO 정보관리시스템 예비과제 우선순위 평가

장운재(Woon-Jae Jang) 한국항해항만학회 2013 한국항해항만학회지 Vol.37 No.5

본 연구는 퍼지 TOPSIS법과 AHP법을 이용하여 IMO 정보관리시스템의 예비과제 우선순위를 평가하기 위한 것이다. 이러한 평가를 위해 먼저 24개의 예비과제를 추출하여 FSM법을 이용하여 대체안을 구조화하였고, 최종 4개의 주요 예비과제를 도출한다. 또한 평가항목간의 가중치는 의사결정자의 일관성을 유지하면서 평가가 가능한 AHP법을 이용한다. 그러나 AHP법은 비교대상의 수가 증가하면 쌍대비교의 횟수가 증가하고, 평가에는 수많은 애매성이 존재하기 때문에 최종 우선순위 선정에는 TOPSIS에 퍼지이론을 도입한 퍼지 TOPSIS법을 이용한다. 그 결과 IMO 기준정보관리, IMO 정보기준전달, IMO 통합데이터베이스, IMO 지식허브 순으로 구축되어야 하는 것으로 나타났다. This paper is aimed to priority evaluation of preliminary cases for IMO -IMS(International Maritime Organization-Information Management System) using fuzzy TOPSIS(Technique for Order Performance by Similarity to Ideal Solution) and AHP(Analytic Hierarchy Process). To this solve, therefore, this paper extract 24 preliminary cases and select 4 major preliminary alternative cases after analysing the structure of its alternative cases using FSM(Fuzzy Structure Modeling). Also, the weights of evaluation factors determine using AHP which able to keep the consistency when decision-makers assess. In AHP method, but, the numbers of paired comparison incerase as much as the numbers of the comparison items increase and because this evaluation have the many of vagueness, the decision of final ranking is used to fuzzy TOPSIS method which is included TOPSIS and Fuzzy Set Theory. The result are developed as order as Management of IMO Convention Information, Delivery of IMO Convention Information, Total IMO Database, Knowledge Hub of IMO Convention Information in IMO-IMS.

α-cut Fuzzy TOPSIS 기법을 적용한 다기준 홍수취약성 평가

이규민,정은성,전경수 한국수자원학회 2013 한국수자원학회논문집 Vol.46 No.10

본 연구에서는 다기준 의사결정기법을 적용한 홍수취약성 평가에 내재되는 불확실성을 고려한 평가기법을 제시하였다. 홍수취약성 평가과정은 3단계로 구성되며 1단계에서는 홍수와 연관되는 사회적, 경제적, 환경적 영향요인들 중에서 지역의 특성을 반영할 수 있는 평가인자를 선정하고 각 인자의 가중치를 책정한다. 이 때 델파이 설문조사기법을 적용하여 의사결정자들의 의견을 수렴한다. 2단계는 평가자료를 수집하고 평가에 사용할 수 있도록 가공하는 단계이며 불확실성 문제를 해소하기 위하여 퍼지수를 적용하였다. 마지막 단계에서 홍수취약성을 정량적으로 산정하여 취약지역의 우선순위를 도출한다. 본 연구에서는 퍼지수의 연산과정에서 발생하는 퍼지수의 과장 및 왜곡문제를 해소하기 위한 α-cut fuzzy TOPSIS 방법을 적용하였다. 또한 수립한 평가기법으로 산정한 결과에 대하여 퍼지자료(fuzzy data)를 적용한 fuzzy TOPSIS, 크리스프(crisp) 자료를 사용한 TOPSIS, WSM 등의 다양한 방법으로 평가한 결과들과의 상관관계 분석을 수행하였다. 분석결과, α-cut fuzzy TOPSIS 방법은 대체로 모든 방법과 높은 상관성을 나타내었다. 즉, 크리스프 자료와 퍼지자료를 사용하는 평가방법 사이에서 발생하는 결과의 차이가 α-cut fuzzy TOPSIS를 이용하면 줄어드는 효과가 있다. 따라서 본 연구에서 수립한 홍수취약성 평가방법은 불확실성 문제를 일정 부분 해소한 평가결과를 제시함으로서 치수정책 수립의 유용한 근거자료를 제공할 수 있다. This study aims to develop a multiple criteria decision making(MCDM) approach for flood vulnerability assessment which considers uncertainty. The flood vulnerability assessment procedure consists of three steps: (1) use the Delphi process to determine the criteria and their corresponding weights-the adopted criteria represent the social, economic, and environmental circumstances related to floods, (2) construct a fuzzy data matrix for the flood vulnerability criteria using fuzzification and standardization, and (3) set priorities based on the number of assessed vulnerabilities. This study uses a modified fuzzy TOPSIS method based on α-level sets which considers various uncertainties related to weight derivation and crisp data aggregation. Further, Spearman’s rank correlation analysis is used to compare the rankings obtained using the proposed method with those obtained using fuzzy TOPSIS with fuzzy data, TOPSIS, and WSM methods with crisp data. The fuzzy TOPSIS method based on α-cut level sets is found to have a higher correlation rate than the other methods, and thus, it can reduce the difference of the rankings which uses crisp and fuzzy data. Thus, the proposed flood vulnerability assessment method can effectively support flood management policies.

정량지표의 정규화 작업에 따른 순위 역전 현상과 해결방안

박영선 글로벌경영학회 2017 글로벌경영학회지 Vol.14 No.6

College and university rankings are conducted by various organizations using various combinations of multiple factors. Recently, the multi-criteria decision making methods, such as TOPIS and VIKOR, have been used to calculate the rankings, but the validity of those methods are still in question. The current study focused on the rank reversal phenomenon, which occurs when the number of universities in consideration is different. This study aimed to develop a new method that reduces the rank reversal phenomenon prevalent in multi-criteria decision problems. Specifically, we modified TOPSIS by using a linear normalization instead of a vector normalization. Using the published data in the Complete University Guide 2017, we calculated university rankings by applying TOPSIS, VIKOR, z-transform, and modified TOPSIS developed in this study. These four methods were used to obtain the rankings considering the following two cases: when only the outliers were removed from the data and when 30 universities were randomly selected from the data. The modified TOPSIS showed less rank reversal compared to TOPSIS and VIKOR in both cases. The results suggest that the modified TOPSIS could be a substitute for the z-transform, which is a method currently widely used in the university ranking calculation. 국내·외적으로 발표되는 대학순위는 그 영향력이 매우 크지만 순위를 결정짓는 평가지표와 가중치 그리고 점수 산출방법에 대한 학문적 연구는 미흡한 실정이다. 최근에 다기준 의사결정 방법을적용하여 대학 순위를 결정하는 연구가 진행되고 있으나 그 결과에 대한 타당성을 입증해 보이지못하고 있다. 따라서 본 연구는 순위 역전이 발생하는 비율을 타당성 척도로 보고 이 비율이 낮게나타나는 대학 순위 평가모형의 개발을 목적으로 진행하였다. TOPSIS와 VIKOR을 대학 순위 결정 문제에 적용해 보았고 이들의 장점을 살려 새로운 평가모형을 개발하였다. 영국 CUG에서 발표한 자료를 이용하여 본 연구에서 개발한 평가모형으로 전체 대학의 순위를 구했고, 이상점이 있는 대학을 제외한 경우와 일부 대학만을 임의로 선택한 경우에 대해서도 순위를 구했다. TOPSIS 와 VIKOR 그리고 z-변형 모형으로도 위의 세 가지 경우에 대해 순위를 구하였다. 본 연구에서 개발한 평가모형으로 구한 순위에서 TOPSIS와 VIKOR로 구한 순위보다 순위 역전 현상이 덜 발생한다는 사실을 발견하였다. 본 연구에서 개발한 평가모형은 기존의 대학 순위 평가에서 많이 사용하는 z-변형 정규화를 대체할 수 있을 것으로 기대한다.

TOPSIS방법을 활용한 KCI 등재 음악관련 학술지 순위 평가

최수이 국제차세대융합기술학회 2022 차세대융합기술학회논문지 Vol.6 No.3

The purpose of academic journal evaluation is not simply to determine the superiority and inferiority of academic journals, but to contribute to academic development by raising the quality level of academic journals. In Korea, the Korea Research Foundation conducts academic journal evaluation with the support of the Ministry of Education, with the basic purpose of enhancing academic research capabilities, international recognition of domestic academic journals, and providing objective data for academic research achievement evaluation. In the music academia these days, the proportion of people who want to communicate with other researchers through academic papers is increasing. In such a situation, In this study the ranking was evaluated using the TOPSIS method, one of the multi-standard decision-making methods, targeting 15 KCI-registered academic journals related to music. As a result, 'Future Music Education Research' and 'Human Behavior and Music Research' were evaluated as high rankings. In this process, four evaluation factors provided by the cited index of the Korean academic journal were used, and in the case of the TOPSIS method, the ranking also changes when the evaluation factor changes. Nevertheless, it seems that the significance of this research is that it presents a new methodology for evaluating the ranking of academic journals by a quantitative evaluation method rather than a bibliometric point of view. 학술지 평가의 목적은 단순하게 학술지의 우열을 가리는 것이 아니라, 학술지의 질적 수준을 높여 학문 발전에 이바지하는데 있다. 우리나라의 경우 한국연구재단이 교육부의 지원을 받아 학술지 평가를 수행하고 있는 데, 학술연구의 역량증진, 국내학술지의 국제적 인정, 학술연구업적 평가의 객관적 자료제공 등을 기본목적으로 다 양한 학문영역에 대해서 이루어지고 있다. 최근 음악학계에서는 학술논문을 통하여 다른 연구자들과 소통하고자 하는 비율이 증가하고 있다. 이러한 상황 속에서, 본 연구에서는 그 중 하나인 음악 관련 15개 KCI 등재학술지를 대상으로 다기준 의사결정방법의 하나인 TOPSIS 방법을 이용하여 순위를 평가해 보았다. 그 결과 ‘ 미래음악교육 연구’ , ‘인간행동과 음악연구’ 등이 높은 순위로 평가되었다. 이 과정에서 한국학술지인용색인에서 제공하는 4가지 평가요소를 활용하였는데, TOPSIS 방법의 경우 평가요소가 변하면 순위도 달라지는 평가방법이다. 그러함에도 불 구하고 계량서지학적 관점이 아닌 양적인 평가방법을 통한 학술지 순위를 평가하는 새로운 방법론을 제시하였다 는 점에 본명 본 연구의 의의가 있다고 사료된다.

퍼지 TOPSIS를 이용한 보험회사 업무정보시스템의 재난복구 우선순위결정

김기윤 ( Ki-yoon Kim ),양동구 ( Dong-gu Yang ) 한국리스크관리학회 2015 리스크 管理硏究 Vol.26 No.2

본 논문의 연구목적은 정보시스템에 퍼지 의사결정방법을 적용하여 재난복구 우선순위결정문제를 해결하는 것이다. 퍼지 환경 아래에서 보험회사 업무정보시스템의 재난복구 우선순위결정을 위한 TOPSIS 접근방법을 도출하기 위해서, 모호성과 주관성에 대한 언어적 측정값은 사다리꼴 퍼지 수로 나타낼 수 있다. 본 연구에서는 평가기준에 대한 가중치를 도출해서 업무정보시스템의 재난복구 우선순위를 평가하기 위해서, 퍼지 TOPSIS 방법을 적용하였다. 이러한 접근방법으로 4가지의 평가기준(시스템 의존도, RTO, 손실, 업무대체자원)과 4명의 평가자가 평가하는 15개 업무정보 시스템에 대한 보험회사 사례를 제시하였다. 결론적으로 본 연구에서 제안한 접근방법은 보험회사의 재난복구 우선순위결정에 매우 적합한 것으로 나타났다. 본 논문에서 제시한 퍼지 환경에서 재난복구 우선순위결정에 대한 체계적인 접근방법은 업무연속성계획(BCP)을 위한 업무영향분석(BIA) 뿐만 아니라, 다른 위기 의사결정문제분석에도 쉽게 적용가능하다. This paper is aimed to present a fuzzy decision-making approach to deal with disaster recovery priority decision problem in information system. We derive an evaluation approach based on TOPSIS(Technique for Order Performance by Similarity to Ideal Solution), to help disaster recovery priority decision of business information system for insurance company in a fuzzy environment where the vagueness and subjectivity are handled with linguistic terms parameterized by trapezoidal fuzzy numbers. This study applies the fuzzy TOPSIS method to determine the importance weight of evaluation criteria and to synthesize the ratings of disaster recovery priority for business information system. This approach is demonstrated with a real case study involving 4 evaluation criteria(system dependence, RTO, loss, alternative business support), 15 business information systems assessed by 4 evaluators from a insurance company. This paper shows that the proposed method is well suited as a decision-making tool for disaster recovery priority decisions in insurance company. The systematic framework for disaster recovery priority decision in a fuzzy environment presented in this paper can be easily extended to BIA(Business Impact Analysis) for BCP(Business Continuity Planning) as well as the analysis of other crisis decision problems.