항만 자동화를 위한 인공지능 OCR 인식 및 게이트 제어 시스템 연구 = A Study on AI OCR Recognition and Gate Cont rol System for Port Automation

국문 초록 (Abstract)

최근 전 세계적으로 항만 운영의 자동화가 빠르게 확산되면서, 항만물류의 핵심인(트럭)의 출입 절차와 컨테이너 정보 확인 과정을 자동화하는 게이트 시스템(Gate Automation System)의 중요성이 한층 높아지고 있다. 항만 게이트는 차량 이동, 작업 정보, 보안 통제가 동시에 이루어지는 핵심 구간으로, 인식 오류나 데이터 불일치가 발생할 경우 작업 지연, 재처리, 운영 혼선으로 이어질 수 있다. 따라서 영상 인식 기술과 실시간 통제 시스템을 결합한 지능형 게이트 운영 시스템(Intelligent Gate Operation System)의 구축은 항만 자동화에서 필수적인 요소로 인식되고 있다.
기존의 게이트 자동화 시스템은 OCR(Optical Character Recognition)과 RFID 기술을 기반으로 컨테이너 번호나 차량 번호를 자동 인식하여 출입을 제어하는 방식이 주로 사용되었다. 그러나 실제 운영 환경에서는 조도(조명)변화, 카메라 각도, 컨테이너 오염, 번호 훼손 등의 다양한 요인으로 인해 인식 오류가 빈번히 발생하면서, 현장 작업자가 수동으로 인식 결과를 수정해야 하는 경우가 많았다. 이로인해 인식 결과가 게이트 제어 로직이나 TOS(Terminal Operating System)의 데이터와 일치하지 않는 오류가 발생하면, 작업이 중단되거나 잘못된 출입 정보가 기록되는 문제가 반복적으로 발생하였다.
본 연구는 이러한 문제를 근본적으로 해결하기 위해 AI 기반 OCR 인식 기술과 게이트 제어 시스템을 통합한 실시간 자동화 게이트 시스템을 설계·구현하였다. 제안된 시스템은 현장 CCTV와 키오스크에서 수집되는 영상 데이터를 실시간으로 분석하여 컨테이너 번호, ISO 코드, 적재 위치 등을 자동으로 인식하고, 이를 게이트 운영 정보(입차·출차 기록, 작업 유형 등)와 비교하여 불일치가 발생할 경우 자동으로 검증 및 수정하도록 구성하였다. 특히 컨테이너 번호의 일부 오인식, 도어 방향과 샤시 위치 인식 오류, 작업 정보(TOS)와 인식 결과 간의 불일치, 그리고 “무적 컨테이너”로 인한 예외 처리 실패 등 실제 운영 과정에서 빈번히 발생하는 문제들을 자동으로 감지하고 보정하는 기능을 포함하였다. 이를 통해 현장 근로자의 작업을 최소화하였고, 게이트 통과 절차를 안정적이고 일관되게 수행할 수 있도록 하였다.
또한 인식 결과는 게이트 통제 모듈과 연계되어 차단기 제어, 예외 상황 알림, 입·출차 정보 검증을 자동으로 수행하며, 외부 TOS와의 실시간 인터페이스를 통해 데이터 일관성을 유지한다. 이러한 시스템 구조는 단순히 인식 정확도를 향상시키는 수준을 넘어, 운영 효율성과 시스템 안정성 전반을 개선하는 것을 목표로 한다.
따라서 본 연구는 실제 항만 게이트 운영에서 발생하는 인식 및 검증 문제를 최소화하고, 인식–검증–제어–데이터 연동 과정을 하나의 통합된 시스템으로 구축함으로써 항만 체계를 실시간으로 처리되는 자동화 게이트 시스템을 제시한다. 이를 통해 제안된 시스템은 인공지능 기술을 항만 운영 환경에 효과적으로 적용하여 운영 효율성과 데이터 신뢰성을 동시에 확보할 수 있는 실질적인 자동화 방안을 제공한다.

다국어 초록 (Multilingual Abstract)

With port automation rapidly expanding worldwide in recent years, the importance of gate automation systems—responsible for automating the entry/exit procedures of trucks and verifying container information, the core elements of port logistics—has grown significantly. The port gate is a critical area where vehicle movement, work information processing, and security control occur simultaneously. Therefore, recognition errors or data inconsistencies can lead to operational delays, re-handling, and workflow disruptions. As a result, building an intelligent gate operation system that integrates vision-based recognition technologies with real-time control mechanisms has become essential in modern automated port operations.
Conventional gate automation systems have primarily relied on OCR (Optical Character Recognition) and RFID technologies to automatically identify container numbers and vehicle license plates for gate control. However, real-world operating environments often introduce frequent recognition errors due to variable lighting conditions, camera angles, container contamination, damaged markings, and other factors. Consequently, on-site operators are often required to manually correct recognition results. When discrepancies arise between the recognized information and the gate control logic or the Terminal Operating System (TOS) data, it frequently results in operational interruptions or the recording of incorrect entry/exit information.
To fundamentally address these issues, this study designs and implements a real-time automated gate system that integrates AI-based OCR recognition with gate control mechanisms. The proposed system analyzes video data collected from on-site CCTV and kiosk devices in real time to automatically recognize container numbers, ISO codes, and chassis positions, and compares the results with gate operation data (entry/exit logs, work types, etc.). When inconsistencies are detected, the system automatically validates and corrects them. It also incorporates mechanisms to detect and rectify problems frequently encountered in real operations, such as partial misrecognition of container numbers, errors in door-direction or chassis-position detection, mismatches between TOS work information and recognition results, and failures caused by unregistered (“unmatched”) containers. These features significantly reduce the need for manual intervention and ensure stable, consistent gate-passing procedures.
Additionally, the recognized results are linked to the gate control module, enabling automated barrier control, exception notifications, and verification of entry/exit information, while maintaining data consistency through real-time interfaces with external TOS systems. This architecture aims not only to improve recognition accuracy but also to enhance overall operational efficiency and system stability.
In summary, this study presents a real-time automated gate system that integrates the processes of recognition, validation, control, and data synchronization into a single unified framework, minimizing recognition and verification issues commonly encountered in actual port gate operations. The proposed system demonstrates a practical automation solution that effectively applies artificial intelligence technologies to port environments, enabling simultaneous improvements in operational efficiency and data reliability.

목차 (Table of Contents)

• 국문초록ⅰ
• 목 차ⅲ
• 그림목차ⅴ
• 표 목 차ⅵ
• 약 어 표 ⅷ
• 제 1 장 서 론1
• 1.1 연구배경 및 목적 1
• 1.2 연구내용 3
• 1.3 논문의 구성 4
• 제 2 장 관련 연구6
• 2.1 문자 인식 관련 연구 6
• 2.1.1 자연장면 문자 인식 6
• 2.1.2 도메인 특화 OCR(번호판, 컨테이너 등) 10
• 2.2. 자동화 항만 실사례(3가지 유형) 13
• 2.2.1 칭다오(Qingdao) 완전자동화 터미널13
• 2.2.2 싱가포르 PSA Tuas Mega Port 14
• 2.2.3 로테르담 APM Terminals Maasvlakte II15
• 2.3. 물체 인식17
• 2.3.1. 컨테이너 손상 탐지- YOLO 계열의 실시간 적용성17
• 2.3.2. 코너 캐스팅 인식 17
• 2.3.3. 락홀(lock-hole)·포즈 인식17
• 제 3 장 인공지능을 통한 OCR 인식 19
• 3.1 인공지능을 통한 OCR 인식의 필요성 19
• 3.2 컨테이너 및 OCR 인식 데이터 수집 방안22
• 3.3 인공지능을 통한 컨테이너 및 OCR 인식 26
• 3.3.1 하드웨어 구성도 및 OCR 서버 구성 26
• 3.3.2 컨테이너 항목 인식 30
• 3.3.3 결과 보정 프로세스 35
• 3.4 게이트 입·출차 프로세스 37
• 3.4.1 입차 프로세스38
• 3.4.2 출차 프로세스39
• 제 4 장 구현 결과 41
• 4.1 연구 환경 41
• 4.2 인공지능을 활용한 차량 및 컨테이너 인식 시스템 개발 42
• 4.2.1 AI 모델 선정 및 이유 42
• 4.2.2. 학습데이터 생성 과정43
• 4.2.3. 데이터 학습44
• 4.2.4. 인식 프로세스 설계 56
• 4.3 인공지능을 통한 자동화 항만 입·출차 관리 시스템 적용61
• 4.3.1 프로세스 상세 및 예외처리61
• 4.4 연구 결과 92
• 제 5 장 결론 96
• 참고문헌 99
• 감사의 글(Acknowledgement) 107