곡면 용기에 표시된 성분표 자동 인식을 위한 인공지능 기반 스마트폰 애플리케이션 = Deep-Learning-based smartphone application for automatic recognition of ingredients on curved containers

국문 초록 (Abstract)

소비자는 본인의 건강을 위해서 화장품 및 식품의 성분을 보고 알레르기 유발이나, 주의 성분이 포함되어 있는지 여부를 확인 후 구매를 해야 하지만, 실상은 포장지나 패키징 용기에서 표기가 작고 상세 성분 표기를 찾기 어려우며 바쁜 일상 가운데 일일이 확인하는 과정이 소홀해지기 쉽다. 이에 본 논문은 소비자에게 용기에 부착된 성분을 보다 알기 쉽게 전달하도록 곡면 용기에 표시된 배합 성분표를 자동으로 인식하기 위한 인공지능 기반 스마트폰 애플리케이션을 제안한다. 제안한 스마트폰 기반 성분표 자동인식 어플리케이션은 곡면 용기에 표시된 성분표를 인식할 수 있도록 텍스트 추출 후 원근변환을 통해 인식을 정확도 95% 달성하였다. 또한, 성분명이 곡면에 표시되기 때문에 변형되거나 길이가 길어서 줄 바꿈이 있는 텍스트를 위해 텍스트영역의 경계영역과 위치를 계산하여 처리하였다. 이를 통해 제안한 스마트폰 어플리케이션은 내장된 카메라를 통해 용기에 부착된 성분표 영상을 획득한 뒤, 성분과 관련된 텍스트를 발견하고 인식하여 배합제한성분 정보를 추출하도록 하였다. 마지막으로 다양한 테스트를 통하여 개발한 애플리케이션으로 원통형 곡면 용기에 담긴 화장품의 성분표 인식에 문제가 없다는 것을 검증하였다.

다국어 초록 (Multilingual Abstract)

Consumers should look at the ingredients of cosmetics or food for their health and purchase them after checking whether they contain allergy-causing ingredients. Therefore, this paper aimed to develop an artificial intelligence-based smartphone application for automatically recognizing the ingredients displayed on a curved container and delivering it to consumers in an easy-to-understand manner. The app needs to allow consumers to immediately comprehend the restricted ingredients by recognizing the ingredients' words in the cropped image. Two major issues should be solved during the development process: First, although there were flat containers for cosmetics or food, most were curved containers. Thus, it was necessary to recognize the ingredient table displayed on the curved containers. Second, since the ingredients' words were displayed on the curved surface, the transformed or line-changed words also needed to be recognized. The proposed new methods were enough to solve the above two problems. The application developed through various tests verified that there was no problem recognizing the ingredients' words contained in a cylindrical curved container.

참고문헌 (Reference)

1 정원준, "표시⋅광고행위의 부당성 판단기준" 법학연구소 38 (38): 381-414, 2014

2 박현아 ; 이인희, "클린뷰티 화장품 소비자의 인게이지먼트가 소비자 규범 및 소비행동에 미치는 영향" 한국미용학회 28 (28): 153-164, 2022

3 임채환 ; 하준수 ; 조광휘 ; 하헌구, "신선식품 전자상거래 서비스에 대한 소비자 인식 및 시장 동향 분석: 텍스트 마이닝 기법의 활용" 한국인터넷전자상거래학회 21 (21): 169-182, 2021

4 권순각 ; 김홍준, "스마트폰 자이로센서를 이용한 시각장애인용 광학문자인식 방법" 한국산업정보학회 21 (21): 13-20, 2016

5 Baek, J., "What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis" 2019

6 Gwon, H., "OCR-based Cosmetic Ingredient Search Application" 1343-1345, 2022

7 Jeong, M., "Issue of the traffic light sign and food industry" 44 (44): 39-48, 2011

8 "ICDAR"

9 Baek, Y., "Character Region Awarenes for Text Detection" 2019

10 "AI-Hub"

11 Faizullab, S., "A Survey of OCR in Arabic Language : Applications, Techniques, and Challenges" 13 (13): 4584-, 2023