Harmony Search 알고리즘의 수렴성 개선에 관한 연구

이상경(SangKyung Lee),고광은(Kwang-Enu Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2011 한국지능시스템학회논문지 Vol.21 No.3

복잡해진 최적화문제를 전통적인 방법보다 효율적으로 해결하기위해 유전알고리즘이나 개미군집화, 하모니서치알고리즘과 같은 다양한 메타휴리스틱이 개발되었다. 그 중에서 하모니 서치알고리즘이 다른 메타휴리스틱알고리즘보다 좋은 결과를 보이고 있다. 하모니 서치 알고리즘은 음악을 작곡할 때 아름다운 소리를 내는 하모니를 찾는 과정을 모방했다. 성능은 하모니 메모리에서 선택하는 비율인 HMCR값과 하모니 메모리에서 선택된 값의 조정 비율을 결정하는 PAR값에 따라 달라지는 것으로 알려져 있다. 다르게 말하면 두 변수의 기반이 되는 하모니 메모리의 사용방법의 문제로 볼 수 있다. 본 논문은 설정한 기간 동안 더 좋은 최적해를 찾지 못할 경우 하모니 메모리의 일부를 좋은 하모니로 구성되게 수정하는 방법을 제안했다. 테스트 함수를 이용한 검증 실험결과에서 하모니 메모리를 수정할 경우 정확도 변화가 적어 신뢰성 있는 정확도를 보였으며, Iteration이 짧더라도 최적값에 근접한 값을 찾았다. In order to solve a complex optimization problem more efficiently than traditional approaches, various meta-heuristic algorithms such as genetic algorithm, ant-colony algorithm, and harmony search algorithm have been extensively researched. Compared with other meta-heuristic algorithm, harmony search algorithm shows a better result to resolve the complex optimization issues. Harmony search algorithm is inspired by the improvision process of musician for most suitable harmony. In general, the performance of harmony search algorithm is determined by the value of harmony memory considering rate, and pitch adjust rate. In this paper, modified harmony search algorithm is proposed in order to derive best harmony. If the optimal solution of a specific problem can not be found for a certain period of time, a part of original harmony memory is updated as the selected suitable harmonies. Experimental results using test function demonstrate that the updated harmony memory can induce the approximation of reliable optimal solution in the short iteration, because of a few change of fitness.

An Improved Harmony Search Algorithm and Its Application in Function Optimization

( Zhongda Tian ),( Chao Zhang ) 한국정보처리학회 2018 Journal of information processing systems Vol.14 No.5

Harmony search algorithm is an emerging meta-heuristic optimization algorithm, which is inspired by the music improvisation process and can solve different optimization problems. In order to further improve the performance of the algorithm, this paper proposes an improved harmony search algorithm. Key parameters including harmonic memory consideration (HMCR), pitch adjustment rate (PAR), and bandwidth (BW) are optimized as the number of iterations increases. Meanwhile, referring to the genetic algorithm, an improved method to generate a new crossover solutions rather than the traditional mechanism of improvisation. Four complex function optimization and pressure vessel optimization problems were simulated using the optimization algorithm of standard harmony search algorithm, improved harmony search algorithm and exploratory harmony search algorithm. The simulation results show that the algorithm improves the ability to find global search and evolutionary speed. Optimization effect simulation results are satisfactory.

최적화 기법 효율성 개선을 위한 Multi-layered Harmony Search Algorithm의 개발 및 적용

이호민(Lee, Ho Min),유도근(Yoo, Do Geun),이의훈(Lee, Eui Hoon),최영환(Choi, Young Hwan),김중훈(Kim, Joong-Hoon) 한국산학기술학회 2016 한국산학기술학회논문지 Vol.17 No.4

최적화 분야에서 Harmony Search Algorithm (HSA)은 근래에 개발된 메타휴리스틱 최적화 알고리즘의 하나로, HSA 가 개발된 이래 공학, 자연과학, 의약학 등 다양한 분야에서 많은 연구자들에 의해 활용되어왔다. 현재 최적화 대상 문제들의 복잡성이 날로 증가하고 있으며 이에 따라 기존 최적화 기법에 대한 효율을 개선하는 방법론 개발에 대한 필요성이 대두되고 있다. 따라서 본 연구에서는 HSA의 구조적 특성에 초점을 맞추어 해탐색 능력을 향상시키는 것을 목표로 하여 새로운 메타 휴리스틱 최적화 알고리즘인 Multi-layered Harmony Search Algorithm (MLHSA)을 제안하였다. 개발된 MLHSA는 기존 HSA 에 추가적으로 구조적인 특성을 부여하여 전역 탐색 및 지역 탐색 성능을 개선하였다. 또한, 제안된 기법의 효율성과 적용성 을 검증하기 위해 이전 최적화 알고리즘 관련 문헌에서 다양한 알고리즘이 적용된 바 있는 수학적 최적해 탐색 문제와 상수 도 관망의 최적 관경 설계에 MLHSA를 통한 최적화를 수행하였다. 적용 결과 본 연구에서 개발된 MLHSA는 기존 알고리즘 을 효과적으로 대체할 수 있는 최적화 기법임을 확인할 수 있었다. The Harmony Search Algorithm (HSA) is one of the recently developed metaheuristic optimization algorithms. Since the development of HSA, it has been applied by many researchers from various fields. The increasing complexity of problems has created enormous challenges for the current technique, and improved techniques of optimization algorithms are required. In this study, to improve the HSA in terms of a structural setting, a new HSA that has structural characteristics, called the Multi-layered Harmony Search Algorithm (MLHSA) was proposed. In this new method, the structural characteristics were added to HSA to improve the exploration and exploitation capability. In addition, the MLHSA was applied to optimization problems, including unconstrained benchmark functions and water distribution system pipe diameter design problems to verify the efficiency and applicability of the proposed algorithm. The results revealed the strength of MLHSA and its competitiveness.

Harmony Search 알고리즘 기반 군집로봇의 행동학습 및 진화

김민경(Min-Kyung Kim),고광은(Kwang-Eun Ko),심귀보(Kwee-Bo Sim) 한국지능시스템학회 2010 한국지능시스템학회논문지 Vol.20 No.3

군집 로봇시스템에서 개개의 로봇은 스스로 주위의 환경과 자신의 상태를 스스로 판단하여 행동하고, 필요에 따라서는 다른 로봇과 협조를 통하여 임의의 주어진 임무를 수행할 수 있어야 한다. 따라서 각 로봇 개체는 동적으로 변화하는 환경에 잘 적응할 수 있도록 하기 위한 학습 및 진화능력을 갖는 것이 필수적이다. 이를 위하여 본 논문에서는 Q-learning 알고리즘을 기반으로 하는 학습과 Harmony Search 알고리즘을 이용한 진화방법을 제안하였으며, 유전 알고리즘이 아닌 Harmony Search 알고리즘을 제안함으로써 정확도를 높이고자 하였다. 그 결과를 이용하여 군집 로봇의 로봇 개체 환경변화에 따른 임무 수행 능력의 향상을 검증한다. Each robot decides and behaviors themselves surrounding circumstances in the swarm robot system. Robots have to conduct tasks allowed through cooperation with other robots. Therefore each robot should have the ability to learn and evolve in order to adapt to a changing environment. In this paper, we proposed learning based on Q-learning algorithm and evolutionary using Harmony Search algorithm and are trying to improve the accuracy using Harmony Search Algorithm, not the Genetic Algorithm. We verify that swarm robot has improved the ability to perform the task.

An Improved Harmony Search Algorithm and Its Application in Function Optimization

Tian, Zhongda,Zhang, Chao Korea Information Processing Society 2018 Journal of information processing systems Vol.14 No.5

Harmony search algorithm is an emerging meta-heuristic optimization algorithm, which is inspired by the music improvisation process and can solve different optimization problems. In order to further improve the performance of the algorithm, this paper proposes an improved harmony search algorithm. Key parameters including harmonic memory consideration (HMCR), pitch adjustment rate (PAR), and bandwidth (BW) are optimized as the number of iterations increases. Meanwhile, referring to the genetic algorithm, an improved method to generate a new crossover solutions rather than the traditional mechanism of improvisation. Four complex function optimization and pressure vessel optimization problems were simulated using the optimization algorithm of standard harmony search algorithm, improved harmony search algorithm and exploratory harmony search algorithm. The simulation results show that the algorithm improves the ability to find global search and evolutionary speed. Optimization effect simulation results are satisfactory.

통합모델의 강수물리과정 모수 최적화를 위한 알고리즘 비교 연구

장지연(Jiyeon Jang),이용희(Yong Hee Lee),주상원(Sangwon Joo) 한국지능시스템학회 2017 한국지능시스템학회논문지 Vol.27 No.1

기상수치예보모델의 강수물리과정은 강수 발생과 연관된 입자의 낙하속도, 부착 및 자동전환, 입자크기분포 등의 과정을 다룬다. 하지만 수치예보모델의 미세물리과정과 모수에는 상당한 불확실성이 내포되어 있다. 수치예보모델의 불확실성을 줄이기 위하여 일반적으로 모수 추정을 사용한다. 이 연구에서는 모수 추정을 위한 최적화 알고리즘으로 마이크로 유전알고리즘과 하모니탐색 알고리즘을 사용하고 우리나라에서 발생한 강수사례에 대해 통합모델의 강수물리과정에서 사용하는 모수를 최적화하였다. 두 알고리즘의 서로 다른 특성으로 인해 최적화 과정 중의 차이가 보였다. 마이크로 유전알고리즘은 440회 수행 후 약 1.033의 적합도로 수렴하였고 하모니탐색 알고리즘은 60번 수행 후 약 1.031의 적합도로 수렴하였다. 이를 통해 하모니탐색 알고리즘이 마이크로 유전알고리즘보다 더 빨리 최적의 모수를 탐색하는 것을 알 수 있었다. 따라서 계산비용이 방대한 기상수치예보모델의 최적화 문제에서 빠른 시간 내에 최적의 모수를 탐색해야 한다면 하모니 탐색 알고리즘이 더 적합하다는 것을 확인하였다. The microphysical processes of the numerical weather prediction (NWP) model cover the following : fall speed, accretion, autoconversion, droplet size distribution, etc. However, the microphysical processes and parameters have a significant degree of uncertainty. Parameter estimation was generally used to reduce errors in NWP models associated with uncertainty. In this study, the micro- genetic algorithm and harmony search algorithm were used as an optimization algorithm for estimating parameters. And we estimate parameters of microphysics for the Unified model in the case of precipitation in Korea. The differences which occurred during the optimization process were due to different characteristics of the two algorithms. The micro-genetic algorithm converged to about 1.033 after 440 times. The harmony search algorithm converged to about 1.031 after 60 times. It shows that the harmony search algorithm estimated optimal parameters more quickly than the micro-genetic algorithm. Therefore, if you need to search for the optimal parameter within a faster time in the NWP model optimization problem with large calculation cost, the harmony search algorithm is more suitable.

Hybrid Vision Correction Algorithm의 개발

류용민(Yong Min Ryu),이의훈(Eui Hoon Lee) 한국산학기술학회 2021 한국산학기술학회논문지 Vol.22 No.1

메타휴리스틱 탐색법은 주어진 정보의 부족 및 시간의 제약을 받는 상황에서 다양한 목적함수를 가진 문제를 해결하기 위해 개발되었다. 본 연구에서는 기존의 최적화 알고리즘인 Vision Correction Algorithm(VCA)의 성능을 강화한 Hybrid Vision Correction Algorithm(HVCA)을 개발하였다. HVCA는 기존의 알고리즘의 성능을 개선하기 위해 두 가지 방법을 적용하였다. 첫 번째 방법으로 사용자가 입력해야 하는 매개변수를 자가적응형 매개변수로 개선하였다. 두 번째 방법으로 Exponential Bandwidth Harmony Search With Centralized Global Search(EBHS-CGS)의 CGS 구조를 HVCA에 추가하였다. CGS 구조의 추가로 인해 HVCA 내부는 CGS와 VCA의 두 가지 구조로 구성되어 있다. 두 가지 구조를 효율적으로 사용하기 위해 반복시산을 진행하면서 최적값이 나오는 구조의 선택확률을 증가시키는 방법을 적용하였다. 제안된 HVCA의 성능을 확인하기 위해 최적화 문제에 적용하고, 그 결과를 Harmony Search(HS), Improved Harmony Search(IHS) 및 VCA와 비교하여 나타내었다. 적용결과 수학문제와 공학문제에서 HVCA는 HS, IHS 및 VCA보다 최적값 및 100번의 반복실행 중 최적값을 찾는 횟수가 많았으며, 최적값에 수렴하는 반복시산횟수도 낮았다. 이를 통해 HVCA가 성능이 개선되었다는 것을 확인할 수 있었다. 제안된 HVCA는 적용한 수학문제 및 공학문제 이외에도 많은 분야에 대해 좋은 결과를 나타낼 것으로 기대된다. Metaheuristic search methods have been developed to solve problems with a range of purpose functions in situations lacking information and time constraints. In this study, the Hybrid Vision Correction Algorithm (HVCA), which enhances the performance of the Vision Correction Algorithm (VCA), was developed. The HVCA has applied two methods to improve the performance of VCA. The first method changes the parameters required by the user for self-adaptive parameters. The second method, the CGS structure of the Exponential Bandwidth Harmony Search With a Centralized Global Search (EBHS-CGS), was added to the HVCA. The HVCA consists of two structures: CGS and VCA. To use the two structures, a method was applied to increase the probability of selecting the structure with the optimal value as it was performed. The optimization problem was applied to determine the performance of the HVCA, and the results were compared with Harmony Search (HS), Improved Harmony Search (IHS), and VCA. The HVCA improved the number of times to find the optimal value during 100 repetitions compared to HS, IHS, and VCA. Moreover, the HVCA reduced the Number of Function Evaluations (NFEs). Therefore, the performance of the HVCA has been improved.

첨단 최적화 기술과 토목공학상의 응용

김종우(Zong Woo Geem),김원배(Won Bae Geem),우효섭 대한토목학회 2007 대한토목학회지 Vol.55 No.2

토목사업은 국가차원에서 막대한 재원이 투입되므로 보다 효율적인 설계를 통해 그 성능을 제고하고 국민의 세금을 절감하는 것이 설계자에 있어 중요한 덕목이라 볼 수 있다. 비용절감을 도모하는 최적화 설계는 전통적으로 수학의 미분을 이용하는 방법(예를 들어, 라그랑지 승수법이나 BFGS법)이나 방향을 선택하여 나열하는 방법(예를 들어, 분지한계법) 등 이 널리 사용되어 왔다. 하지만, 다변수를 가진 대규모 설계나 미분이 불가능한 이산변수를 가진 설계에서는 이러한 방법의 사용이 불가능하다. 해서, 근자에는 자연현상이나 행동현상을 모방한 진화연산(예를 들어, 유전알고리즘, 모의담금질, 혹은 개미군집 알고리즘)이 각광받기 시작했다. 본 연구에서는 음악가들의 즉흥연주에서 아이디어를 얻어 새로이 개발된 하모니써치 알고리즘을 소개하고, 토목공학의 다양한 분야에 적용예를 알아보며, 기존의 진화연산 알고리즘과도 연산능력을 비교하였다. 특히, 예제수준이 아닌, 대규모 토목시설의 설계문제에 적용하여 기존의 유전알고리즘보다 월등히 좋은 결과를 얻었는데, 그 이유를 설명하기 위해 미분도함수가 아닌 하모니써치가 가진 새로운 형태의 추계 도함수를 제시 하였다. 또한, 보다 수월히 최적화를 도모할 수 있도록 IT기술을 활용한 웹기반 최적화 연산툴을 만들었으며, 다른 연구자들이 보다 용이하게 하모니써치 알고리즘에 접근할 수 있게 하기 위하여 논문과 프로그래밍 예제를 제공하는 웹사이트도 구축하였다. Cost-savings in civil engineering projects can be one of the cardinal virtues for design engineers because the projects require enormous budget paid by tax payers. Optimization, which seeks efficient and economical design, has traditionally adopted mathematical differentiation (ex, Lagrangian multiplier, BFGS techniques, etc) or reduced enumeration (ex, branch and bound method). However, for a design with numerous variables or that with discrete variables (instead of continuous variables), the above-mentioned techniques have failed to search desirable solutions. Hence, researchers have turned their interests to evolutionary algorithms (ex, genetic algorithm, simulated annealing, and ant colony algorithm) that mimic natural or behavioral phenomenon. This study introduced another phenomenon-based algorithm (harmony search) which mimics the improvization process of musicians, then compared its performance with other algorithms in various civil engineering problems. Especially, when applied to large-scale real-world problem, the harmony search algorithm found much better results than those of genetic algorithm because it has a novel stochastic derivative which is different from traditional calculus-based one. In addition, a web-based optimal computing tool and informative website have been developed in order for other researchers to easily understand and utilize the harmony search algorithm.

Hyperparameters optimization of convolutional neural network based on local autonomous competition harmony search algorithm

Liu Dongmei,Ouyang Haibin,Li Steven,장춘량,Zhan Zhi-Hui 한국CDE학회 2023 Journal of computational design and engineering Vol.10 No.4

Because of the good performance of convolutional neural network (CNN), it has been extensively used in many fields, such as image, speech, text, etc. However, it is easily affected by hyperparameters. How to effectively configure hyperparameters at a reasonable time to improve the performance of CNNs has always been a complex problem. To solve this problem, this paper proposes a method to automatically optimize CNN hyperparameters based on the local autonomous competitive harmony search (LACHS) algorithm. To avoid the influence of complicated parameter adjustment of LACHS algorithm on its performance, a parameter dynamic adjustment strategy is adopted, which makes the pitch adjustment probability PAR and step factor BW dynamically adjust according to the actual situation. To strengthen the fine search of neighborhood space and reduce the possibility of falling into local optima for a long time, an autonomous decision-making search strategy based on the optimal state is designed. To help the algorithm jump out of the local fitting situation, this paper proposes a local competition mechanism to make the new sound competes with the worst harmonic progression of local selection. In addition, an evaluation function is proposed, which integrates the training times and recognition accuracy. To achieve the purpose of saving the calculation cost without affecting the search result, it makes the training time for each model depending on the learning rate and batch size. In order to prove the feasibility of LACHS algorithm in configuring CNN superparameters, the classification of the Fashion-MNIST dataset and CIFAR10 dataset is tested. The comparison is made between CNN based on empirical configuration and CNN based on classical algorithms to optimize hyperparameters automatically. The results show that the performance of CNN based on the LACHS algorithm has been improved effectively, so this algorithm has certain advantages in hyperparametric optimization. In addition, this paper applies the LACHS algorithm to expression recognition. Experiments show that the performance of CNN optimized based on the LACHS algorithm is better than that of the same type of artificially designed CNN. Therefore, the method proposed in this paper is feasible in practical application.

Hybrid of the fuzzy logic controller with the harmony search algorithm to PWR in-core fuel management optimization

Mahmoudi, Sayyed Mostafa,Rad, Milad Mansouri,Ochbelagh, Dariush Rezaei Korean Nuclear Society 2021 Nuclear Engineering and Technology Vol.53 No.11

One of the important parts of the in-core fuel management is loading pattern optimization (LPO). The loading pattern optimization as a reasonable design of the in-core fuel management can improve both economic and safe aspects of the nuclear reactor. This work proposes the hybrid of fuzzy logic controller with harmony search algorithm (HS) for loading pattern optimization in a pressurized water reactor. The music improvisation process to find a pleasing harmony is inspiring the harmony search algorithm. In this work, the adjustment of the harmony search algorithm parameters such as the bandwidth and the pitch adjustment rate are increasing performance of the proposed algorithm which is done through a fuzzy logic controller. Hence, membership functions and fuzzy rules are designed to improve the performance of the HS algorithm and achieve optimal results. The objective of the method is finding an optimum core arrangement according to safety and economic aspects such as reduction of power peaking factor (PPF) and increase of effective multiplication factor (Keff). The proposed approach effectiveness has been tried in two cases, Michalewicz's bivariate function problem and NEACRP LWR core. The results show that by using fuzzy harmony search algorithm the value of the fitness function is improved by 15.35%. Finally, with regard to the new solutions proposed in this research it could be used as a trustworthy method for other optimization issues of engineering field.