국내 경찰학 연구에서의 메타분석의 적용과 연구방향

장재성 경찰대학 경찰대학 2023 경찰학연구 Vol.23 No.2

Meta-analysis is an analysis of analysis, and we use this method for reviewing numerous previous studies or reanalyzing the results of early studies to discover new knowledge. Recently, meta analysis has been used in various fields of study, but it attempts very rarely in Police Science study in the Korea. In this study, for address these problems, a meta-analysis method using correlation coefficients(r) that is mainly used in Social Science research is introduced. In addition, prior meta-analysis studies in Police Science were reviewed and it is explained whether applying meta-analysis method in the field of Police Science is appropriate through some prior research cases. And based on review of prior meta-analysis studies conducted in other country or other research area, some additional meta-analytic research topics are proposed. The topics suggested in this study include ‘Organizational Effectiveness of the Police’, ‘Job Stress of Police Officers’ and ‘Fear of Crime’. 메타분석은 분석에 대한 분석으로서 기존 연구의 결과를 종합적으로 정리하고 이를 통계적으로 재검정하여 종합적 결과를 도출하거나 새로운 사실을 발견해내는 연구방법론이다. 최근 다양한 연구분야에서 메타분석이 활용되고 있지만, 국내 경찰학 영역에서는 메타분석 연구가 활성화되지 못하고 있는 실정이다. 본 연구에서는 이러한 문제를 해결하기 위해 메타분석의 기본원리와 절차 등을 이론적으로 검토하고, 사회과학에서 주로 사용하는 상관계수(r)를 활용한 메타분석의 방법을 소개하였다. 이어 국내 경찰학 분야의 메타분석 선행연구들을 분석하고, 경찰학 영역에서 메타분석 연구방법을 적용하는 것이 적실성이 있는지 연구사례를 통해 검토하였다. 또한, 국외 경찰학 분야 및 국내 다른 학문 영역에서 수행된 메타분석 선행연구들을 고찰하고, 이를 토대로 추가적으로 국내 경찰학 영역에서 메타분석이 가능한 주제들을 발굴하였다. 그 결과,‘경찰 조직효과성’, ‘경찰공무원의 직무스트레스’, ‘범죄두려움’등이 메타분석이 가능한 주제로 제시되었다. 본 연구는 단순히 메타분석 방법론을 이론적으로 소개하는데 그치지 않고 사례를 통해 메타분석 연구방법의 장점을 제안하고, 실제 경찰학 영역에서 메타분석 연구가 가능한 주제들을 발굴, 제시하였다는 점에서 의의가 있다.

BHHR 메타분석과 Hunter-Schmidt 메타분석 간의 비교 분석

오순문 한국교원대학교 교육연구원 2010 敎員敎育 Vol.26 No.5

The purposes of this study are to investigate the comparativeness of two different meta-analysis, and then with two kinds of methodologies, to investigate the relationship between the moral leadership of school principal and the teachers' job satisfaction. There are several distinguishing differences in two methodologies ; Hunter-Schmidt Meta-Analysis(H-S meta-analysis) & the meta-analysis of Borenstein et al.(BHHR meta-analysis). First of all, the distinction between confidence intervals and credibility intervals is very important. While BHHR meta-analysis use the confidence intervals referring to estimates of a single value-the value of , H-S meta-analysis use the credibility intervals referring to the distribution of parameter values. Second distinction is whether or not to handle the correction of study imperfections. Unlike BHHR meta-analysis, H-S meta-analysis strives to make corrections for attenuation due to measurement error, and other artifacts. Finally, other differences are technical in nature. These include the way between-studies variance is estimated, the use of correlation coefficients rather than Fisher's Z-transformed values, etc. The effects of these choices have been extensively examined through simulations, which suggest that the differences are likely to be trivial in many cases. The analytic results for the relationship between moral leadership of school principals and the teachers' job satisfaction are as follows. According to BHHR meta-analysis, the weighted mean correlation is .617. Lower & Upper limit of the confidence intervals(95%) are .537 and .687, respectively. According to H-S meta-analysis, the is .660. Lower & Upper 10% of Credibility intervals(80%) are .526 and .793, respectively. 본 연구의 목적은 Borenstein 등이 주장하고 있는 메타분석과 최근 산업조직심리학 내지 조직행동 분야에서 지지를 얻고 있는 Hunter-Schmidt 메타분석에 대해 방법론적 측면에서 비교분석하고, 아울러 각각의 메타분석 방법론에 기초하여 학교장의 도덕적 지도성과 교사의 직무만족 간의 상관관계를 메타분석 하는 것이다. 우선 메타분석 여러 절차 중 메타통계분석 및 분석결과 제시에 초점을 맞춰 상이한 분석방법과 절차 및 결과 해석 등을 살펴보았다. 구체적인 방법론적 차이점들은 신뢰구간과 확신구간, 측정오차 등 오차의 교정, 피셔 z 전환값 사용 여부, 효과크기 비교, 동질성 검사 여부, 각각의 전용 메타분석 프로그램 등 6가지로 나누어 비교하였다. 또한 비교분석과 병행하여 학교장의 도덕적 지도성과 교사의 직무만족에 대한 상관관계를 Borenstein 등의 메타분석 방법과 Hunter-Schmidt 메타분석 방식에 기초하여 각각 CMA 프로그램과 Hunter-Schmidt Meta-Analysis Programs를 이용한 메타분석을 실시하고 그 결과를 제시하였다.

우리나라의 경영학 관련 주요 학회지에 게재된 메타분석 연구현황

김용겸(Kim, Yong-Kyeom) 대한경영학회 2010 大韓經營學會誌 Vol.23 No.4

교육경제학 연구에서 메타분석법 적용가능성 탐색

이희숙(Lee, Heesook) 한국교육재정경제학회 2011 敎育財政 經濟硏究 Vol.20 No.2

전 세계적으로 교육경제학 연구 분야에서 메타분석법을 활용하여 선행 연구 결과를 체계적으로 종합하려는 시도가 적극적으로 진행되고 있음에도 불구하고, 우리나라의 경우 1980년대 기법이 소개된 이후 적용한 사례가 많지 않은 실정이다. 메타분석법은 기존 연구물들의 결과가 하나의 방향으로 수렴되지 않고, 서로 상반되어 하나로 종합되지 않을 때 기존 연구물을 연구 대상으로 하여 통계적ㆍ체계적으로 종합하는 기법이다. 이는 특히 교육정책의 효과성이나 교육의 효율성에 대한 연구 결과가 상이할 경우, 결과의 방향성과 크기를 도출할 수 있는 효과적인 기법이다. 그럼에도 이 기법을 교육경제학 연구 분야에 적용하지 못한 것은 기존의 메타분석법이 교육경제학 연구에서 활용된 분석 방법 특히 회귀분석법으로부터 효과크기를 도출하기에 적합한 형태로 발전되지 못한 데 그 원인이 있다. 그러나 최근 메타회귀분석(MRA), 부분상 관계수(semi-partial correlation) 등 새로운 메타분석 방법의 등장으로 교육경제학 연구에 메타분석법을 적용하여 선행연구 결과를 체계적으로 종합할 수 있는 가능성이 열리게 되었다. 이 연구에서는 교육경제학에서 메타분석법을 적용할 연구 과제 및 대상으로서 교육의 효율성 연구를 내적ㆍ외적 효율성 연구로 구분하여 연구 동향을 파악하고, 연구 방법으로서의 메타분석법을 고찰한다. 또한 메타분석법을 활용하여 교육의 효율성을 분석한 선행 연구물을 체계적으로 종합하고자 시도한 교육경제학 연구의 예를 탐색하며, 끝으로 최근 등장하고 있는 다양한 메타분석법 등을 소개함으로써 교육경제학 연구에서 메타분석법의 적용가능성을 탐색하였다. The purpose of this article is to explore the adaptability of meta-analysis to economics of education studies, especially to educational efficiency research. Internationally, the efforts of synthesizing previous studies using meta-analysis have been pervading in the economics of education research area. However, in Korea, the case of adapting meta-analysis to economics of education studies has been scarce since the introduction of meta-analysis in 1980s. Meta analysis is a useful tool of synthesizing results from previous studies on disputable and controversial topics. The reason why economics of education research area did not utilize this method was based on the lack of methodology in synthesizing regression coefficients from previous studies. Recently new meta-analysis methods such as Meta Regression Analysis(MRA) and Semi-Partial Correlation Coefficients and so on have been developed, and it could be feasible to combine previous studies in the field of economics of education in a synthesizing way. This study identified research trend on educational efficiency as the target of meta-analytic approach and reviewed "meta-analysis" as a methodology. In addition, previous efforts to combine results from previous studies in the filed of economics of education were introduced. And finally, it handled newly revised meta-analytic method and explored the adaptability of meta-analysis to economics of education research area.

국내 유아교육 관련 메타분석 논문의 방법론적 질 평가

박서현 ( Park Seo Hyun ) 한국유아교육학회 2018 유아교육연구 Vol.38 No.5

본 연구의 목적은 국내 유아교육 분야에서 출간된 메타분석 논문의 특성 및 현황을 살펴보고 타당성과 신뢰성이 검증된 AMSTAR 평가 도구를 활용하여 메타분석 논문들의 방법론적 질을 평가하는 것이다. 유아 및 유아교육과 메타분석을 주요어로 국회도서관, KISS, RISS 데이터베이스를 이용하여 학위논문 및 학술지 게재 논문을 검색한 결과, 최종적으로 본 연구의 목적에 맞는 70개의 메타분석 논문이 선정되었다. 70개의 논문은 AMSTAR의 11 항목별로 질적 평가가 이루어졌으며 수집된 자료는 기술통계, 독립표본 t 검정, 일원분산분석으로 분석되었다. 분석 결과 유아교육분야에서는 2011년 이후 급속한 양적 증대와 다양한 주제로 메타분석이 실시되고 있음을 확인할 수 있었다. 메타분석 연구의 질 평가 점수는 AMSTAR 기준 11점 만점에 5.44(SD=1.44)로 보통 수준이었으며, 낮은 수준은 18편(25.7%), 중간 수준은 50편(71.4%), 그리고 높은 수준은 2편(2.9%)으로 분류되었다. 2011년을 기준으로 질 평가 점수 간 유의미한 차이가 있어, 최근 출간된 메타분석 논문일수록 메타분석의 질 평가 점수가 높게 나타났다. 이와 같은 결과를 통해 유아교육 분야에서 수행된 메타분석은 방법론적인 분석과정에 따라 어느 정도 충실히 수행하고 있는 것으로 나타났지만, 전반적으로 개별 연구에 대한 미흡한 질적 평가와 메타분석 연구에 대한 질적 제고없이 양적으로만 확산되어 왔다. 이에 개별 연구들에 대한 충분한 질 검토 및 메타분석 연구의 질 향상을 위한 노력이 지속되어야 할 필요가 있다. The purpose of this study was to explore the trends of meta-analysis studies in early childhood education and evaluate the methodological quality of meta-analysis studies using AMSTAR, a validated tool for assessing the quality of systematic reviews. Through the National Assembly Library, KISS, and RISS database with early childhood education and meta-analysis as searching key words, 70 meta-analysis studies were selected in accordance with the purpose of this study. AMSTAR was scored for quality assessment of the 70 studies. Data were analyzed using descriptive statistics, independent t-test, and one-way ANOVA. The results of this study were as follows. Since 2011, the number of meta-analysis studies in early childhood education has rapidly increased with a variety of subjects. The mean score for the methodological qualitative evaluation was 5.44(SD=1.44); 18 studies were rated as low quality, 50 as moderate quality, and 2 as high quality. The scores of quality were statistically significant, in that they showed differences by publication year and research design. In particular, the most recently published studies tended to have higher scores of meta-analysis assessment for review. The results proved that meta-analysis studies in early childhood education have satisfied the functions of methodological procedures in general. However, meta-analysis studies have increased quantitatively without proper quality evaluation of individual studies and quality improvement. Efforts to review the sufficiency in quality of individual studies and to improve the quality of the meta-analysis studies should be continued.

오즈비를 이용한 메타분석에 관한 연구

강민수,안홍엽 한국자료분석학회 2010 Journal of the Korean Data Analysis Society Vol.12 No.1

Meta-analysis is a statistical method that summarizes outcomes of previous studies. This leads us to gain more reliable results. Because of this advantage, it has been widely used in a variety of fields. In this writing, we focus on odds ratios among lots of statistics used in meta-analysis. Adjusted odds ratios are generally presented as outcomes because they give more precise treatment effects. Accordingly, it is reasonable to offer adjusted odds ratios as the results in meta-analysis. However, there are some difficulties and limits in meta-analysis using adjusted odds ratios. Therefore, we propose a method to summarize the adjusted odds ratios in meta-analysis. As the result, we are able to report the results of meta-analysis as adjusted odds ratios. 메타분석(meta-analysis)은 개별 논문의 연구결과를 통계적으로 통합하여 일반적이고 종합적인 결론을 얻고자 시행하는 분석 방법이다. 메타분석은 신뢰할 수 있는 결과를 제공하기 때문에 많은 분야에서 이용되고 있다. 메타분석의 대상이 되는 통계량은 평균, 상관계수, 오즈비 등 여러 가지가 있다. 오즈비(odds ratio: OR)를 이용하여 메타분석을 하기 위해 개별 논문을 살펴보면 일반적으로 adjusted 오즈비가 연구결과로써 제시되고 있음을 알 수 있다. Adjusted 오즈비는 연구자의 관심변수와 이에 영향을 줄 수 있는 변수들을 사용한 로지스틱 회귀모형(logistic regression model)에 의해 추출되는 통계량이다. 따라서 adjusted 오즈비를 통해서 보다 더 정확한 치료효과를 나타낼 수 있다. 또한 이는 adjusted 오즈비를 사용하여 메타분석의 결과를 제시하는 것이 합리적임을 말해 준다. 하지만 adjusted 오즈비를 이용하여 메타분석을 하는 데에는 많은 어려움과 한계가 있다. 따라서 본 연구에서는 adjusted 오즈비를 이용한 메타분석 방법에 대해 모색하여 보고 이를 실증 예에 적용하도록 한다. 그 결과 adjusted 오즈비로써 메타분석 결과를 제시할 수 있었다.

메타인지전략의 효과에 관한 메타분석

김동일(金東一),라수현(羅秀賢),이혜은(李惠?) 서울대학교 교육연구소 2016 아시아교육연구 Vol.17 No.3

정보가 범람하는 현대 사회에서 교육 분야의 이슈는 많은 지식들을 기억하는 것보다 수많은 정보들을 다루고 그 과정을 더 효율적으로 만드는 능력인 메타 인지적 기술을 발달시키는 방법에 관한 것이다. 본 연구에서는 국내에서 시행된 메타 인지적 전략 프로그램 연구들을 수집 · 분석하여, 메타 인지적 전략 프로그램의 적용특성과 그 중재 효과를 확인하고자 하였다. 2005년부터 2015년까지 국내의 학술저널에 출간된 11편의 집단설계연구와, 학위논문까지 포함한 단일사례연구 9편, 총 20편의 연구를 분석대상으로 선정하였다. 먼저 선정된 연구들의 일반적인 특성을 살펴보고, 메타 인지적 전략 프로그램의 활용영역의 특성을 분석하였으며, 마지막으로 단일사레연구는 IRD 메타분석방법, 집단설계연구는 다층메타분석 방법으로 프로그램의 전체 효과 및 종속변수와 중재변인에 따른 효과크기를 산출하였다. 분석결과, 대부분의 메타 인지적 전략 프로그램은 초등학생을 대상으로 하고 있었으며, 학업과 관련된 내용으로 구성되었다. 또한 메타 인지적 전략은 1) 학습 내용 자체, 2) 학습을 촉진시키는 학습 및 교수 전략의 두 가지 영역에 적용되고 있었다. 마지막으로 효과크기 분석 결과 메타인지적 전략은 연구주제 영역인 학업영역, 인지영역, 정의영역, 행동영역 모두에서 효과가 컸고, 구체적으로는 학업영역보다는 정의영역이나 인지영역, 행동영역에 더 효과적인 것으로 나타났다. 끝으로 연구결과를 중심으로한 논의와 함께 후속연구에 대한 방향을 제안하였다. In this society, flooded with massive amounts of information, fostering meta-cognitive skills has emerged as a pivotal issue among contemporary pedagogues who are studying the way to enhance information managing the ability of students. Along with this trend, this study examined meta-cognitive strategic intervention studies in Korea and analyzed the characteristics and the effects of the interventions used to those studies. From 2000 to 2015, eleven group-designed studies published in Korean journals and nine single case studies in Korean journals and dissertations were reviewed. This review investigated general features of the studies and the application of the meta-cognitive strategic interventions, and then estimated the effect sizes of studies by intervening variables and dependent variables through IRD meta-analysis for single case studies and multi-level meta-analysis for group-designed studies. The results indicated that the participants were elementary school students, and the purpose of the interventions was related to academic area in most studies. Also, meta-cognitive strategic interventions were applied to two areas; 1) learning contents, 2) learning strategies to promote learning, and teaching methods acquired through learning strategies. Finally, the meta-cognitive strategic interventions were highly effective for four dependent variables - the academic domain, cognitive, affective, and behavioral domains, and more specifically, the cognitive, affective, and behavioral domains proved to be more effective than the academic domain. Lastly, the implications of these results were discussed along with a suggestion to do follow-up studies.

베이지안 메타분석을 이용한 우리나라 강·하천의 환경적 가치

한미진 ( Mijin Han ) 한국환경경제학회·한국자원경제학회(구 한국환경경제학회) 2018 한국환경경제학회 학술발표논문집 Vol.2018 No.하계

환경재의 가치평가는 그간 환경경제학 분야에서 꾸준히 관심을 가지고 있던 문제이다. 그러나 국내에서 축적된 가치추정 연구를 바탕으로 통합된 하나의 가치추정치를 분석하고자 하는 연구는 거의 없었으며, 그동안 시도된 메타분석 역시 편익이전을 위한 중간단계로만 고려되었고 추정치의 수가 충분하지 않은 경우 통계적 유의성을 확보하기 어렵다는 문제가 있었다. 따라서 본 연구에서는 이러한 문제점을 베이지안 3단계 계층적 메타분석과 베이지안 메타회귀분석을 적용하여 극복하고자 하였다. 강·하천의 환경적 가치를 추정한 국내 선행연구를 바탕으로 베이지안 메타분석을 적용하여 강과 하천의 환경가치를 추정한 결과 전체 강/하천에 대한 지불의사는 베이지안 3단계 계층적 메타분석에서 37,860원/년/가구, 베이지안 메타회귀분석에서는 34,740원/년/가구로 추정되었다. 유역별로는 한강과 금강이 상대적으로 높은 지불의사를 나타내었으며, 서식지제공이나 생물다양성, 경관미 기능과 같은 간접적 수요를 갖는 환경서비스에 비해 수질이나 수량과 같이 직접적 수요를 나타내는 환경서비스에 대한 지불의사가 확연히 높은 것을 확인할 수 있었다. 베이지안 3단계 계층적 메타분석 결과를 바탕으로 우리나라 강/하천의 환경적 가치를 추정한 결과 연간 총 8,189억 1,180만원의 가치를 가지는 것으로 분석되었으며, 베이지안 메타회귀분석에서는 연간 총 7,628억 9,010만원의 가치를 갖는 것으로 분석되었다. Environmental valueation is the issue that has consistently interested in the academia. However, there was almost no study of evaluate a single significant value, and the some results of existing meta analysis are not significant when the number of the sample is not enough. This study estimates the environmental values of the rivers and the streams in South Korea by applying Bayesian meta-analysis based on the previous researches evaluating environmental values of the rivers and the streams. This study intends to overcome the drawback by using a Bayesian three-step hierarchical meta-analysis and a Bayesian meta-regression. As the results, willingness to pay for the rivers and the streams presents ₩37,860(₩/year/household) and ₩34,740(₩/year/household) in a Bayesian three-step hierarchical meta-analysis and Bayesian meta-regression, respectively. The results in Meta analysis show that the willingness to pay for the Han river and Geum-gang river were relatively high. Also, The willingness to pay for the environmental service, representing direct demand such as water quality and quantity is significantly higher than that of indirect demand such as habitat, biodiversity, and view. Based on the results of a Bayesian three-step hierarchical meta-analysis, the environmental value of river/stream was estimated to be 818 billion won per year, and based on the Bayesian meta-regression analysis, it was 763 billion won per year.

국내 작업치료 분야 메타분석 논문의 방법론적 질 평가 : 대한작업치료학회지 게재 논문을 중심으로

최유임,김세연 대한작업치료학회 2020 대한작업치료학회지 Vol.28 No.3

목적 : 이 연구는 대한작업치료학회지에 게재 논문을 중심으로 국내 작업치료 분야 메타분석 논문의 방법 론적 질을 평가하고 메타분석 연구를 위한 지침을 제공하는 것이다. 연구방법 : 창간호부터 2019년까지 발간된 대한작업치료학회지 게재 논문 중 메타분석 논문을 검색하여 최종적으로 7편의 논문을 선택하였다. 메타분석 논문의 방법론적 질은 AMSTAR 평가도구의 기준에 따 라 분석하였다. 결과 : 메타분석 논문의 전체 방법론적 질 평균점수는 6.71점(SD=0.70)으로 보통 수준에 해당하였다. 분석논 문들은 모두 보통 수준(100%)에 해당하였으며 높은 수준 및 낮은 수준의 연구는 한 편도 없었다. 분석대상 연구들은 AMSTAR의 11개 항목 중 7개 항목을 충실하게 이행하고 있었으나, 4개 항목(회색문헌 사용, 포함 및 배제논문 목록 제시, 결론 도출 시 질 평가 결과 활용, 이해상충 기술)에 대해서는 공통적으로 거의 수행하지 않는 것으로 나타났다. 결론 : 작업치료 분야의 메타분석 연구들은 방법론적 분석과정을 보통 수준 이상으로 충실하게 수행하는 것으로 확인되었으나, 메타분석 시 회색문헌을 선정기준에 포함하고 개별연구 질 평가 결과를 결론에 반영하며 이해상 충 표기를 함으로서 메타분석 논문의 질 향상을 위한 노력을 지속하여야 하겠다. Objective: The purpose of this study was to assess the methodological quality of meta-analyses published in the Korean Journal of Occupational Therapy (KJOT) and provide guidelines for future meta-analysis research. Methods: Among the papers published in the KJOT from the first issue until 2019, meta-analyses were searched and seven papers were selected. The methodological quality of the papers were analyzed according to the criteria of the AMSTAR evaluation tool. Results: The overall methodological quality average score of the meta-analyses was 6.71 (SD = 0.70), which is a moderate level. Analytical papers were all at a moderate level (100%), and there were no high or low level studies. All of the studies faithfully implemented 7 out of 11 items of AMSTAR. However, it was found that four items (use of grey literature, presentation of included and excluded study lists, use of the quality of the individual studies in formulating conclusions, and conflicts of interest) were rarely commonly conducted in all studies. Conclusion: Meta-analyses in the Korean occupational therapy field were found to faithfully apply the methodological analysis process at above a moderate level. However, it is necessary to continue efforts to improve the quality of meta-analyses by using the grey literature, reflecting the results of a quality evaluation of individual studies in the conclusions and describing conflicts of interest.

사회복지학 분야 메타분석 연구논문에 대한 연구방법론적 질 평가

황성동,양지훈 사회복지정책실천회 2020 사회복지정책과 실천 Vol.6 No.2

본 연구는 사회복지학 분야에서 출간된 메타분석 연구논문의 연구방법론적 질을 평가함으로써 메타분석 논문의 방법론적 질을 향상하기 위한 방안을 논의하는데 그 목적이 있다. 이를 위하여 ‘메타분석’, ‘메타분석과 체계적리뷰’, ‘메타분석과 체계적 고찰’, ‘메타분석과 문헌고찰‘ 키워드로 국내 온라인 데이터베이스(RISS, KISS, DBpia)와 참고문헌을 활용하여 논문을 검색하였다. 그 결과 최종 126편을 선정하여 메타분석 연구의 평가도구 Assessment of Multiple Systematic Reviews(AMSTAR)에 맞추어 논문의 방법론적 질을 분석하였다. 주요 결과로 첫째, 메타분석 연구 질의 평균은 4.64로 중간 수준이었으며, 둘째, 취약한 항목은 중복 추출과 개별 연구의 질 평가 및 논의, 이해관계상충의 제시였다. 그리고 셋째, 2014년 이후 메타분석 연구의 방법론적 질은 2014년 전보다 향상된 것으로 나타났다. 이러한 결과를 바탕으로 사회복지학 분야에서 메타분석 논문의 질을 향상시킬 수 있는 방안을 제시하였다. This study is designed to assess the methodological quality of meta-analysis papers in social welfare in Korea and to discuss ways to improve their qualities. Meta-analysis studies were identified through searching three online databases(RISS, KISS, DBpia) using key words such as “meta-analysis” and “meta-analysis and systematic reviews.” A total of 126 studies, published from 1999 to 2019, were selected and assessed according to the Assessment of Multiple Systematic Reviews (AMSTAR) checklist. The results were as follows: First, the mean score of the studies was 4.64 and it was considered as the moderate level of quality. Second, the lowest rating items were “duplicate study selection and data extraction”, “assessing and discussing the scientific quality of the included studies,” and “reporting the potential conflicts of interest.” Third, the methodological quality of the studies improved after 2014 compared to the previous years. Based on these findings, suggestions were provided to improve the methodological quality of future studies in meta-analysis.