CTR 예측을 위한 다중 외적 기반 심층 신경망 = A Heterogeneous Outer Product-based Neural Network for CTR Prediction

국문 초록 (Abstract)

클릭률 (Click-Through Rate: CTR) 예측 분야에서 딥러닝 기반의 모델들의 주요 전략은 특징 상호작용을 파악하기 위해 특별히 설계된 네트워크와 심층신경망(Deep Neural Network)의 결합이다. 외적(outer product)은 다른 곱셈 기반 방식보다 더 풍부한 정보를 제공하기 때문에 특징 상호작용 네트워크 설계에 많이 활용되고 있다. 하지만, 기존 모형들은 모두 단일 외적을 기반으로 하고 있으며 이질적인 외적의 결합을 시도한 연구는 없다. 본 논문에서 Heterogeneous Outer product-based Network (HON)을 제안한다. HON은 심층 신경망의 비선형 고차 확장 능력을 활용하기 위해 명시적 상호 작용 파악 레이어와 심층 신경망을 순차적으로 연결하는 구조를 활용하고 명시적 특징 상호 작용 파악을 위해 두개의 이질적인 외적인 특징 레벨과 요소 레벨 외적을 활용한다. 실험 결과에 따르면 제안된 HON은 널리 사용되는 두 개의 벤치마크 데이터 세트에서 모든 기준 알고리즘보다 우수함을 관찰했다.

다국어 초록 (Multilingual Abstract)

In the field of Click-Through Rate (CTR) prediction, deep learning models have been widely used. These models typically involve the integration of specially designed networks and deep neural networks to capture the interactions between different features. One common technique used in feature interaction networks is the outer product, which provides more information compared to other multiplication-based methods. However, existing models only utilize a single outer product, and there is a lack of research on combining multiple outer products. In this study, we propose a new model called the Heterogeneous Outer product-based Network (HON). HON incorporates an explicit layer for detecting feature interactions and combines it with a deep neural network to leverage the nonlinear capabilities of deep learning. The proposed approach also includes two different outer product operations, one at the feature level and another at the element level, to explicitly capture feature interactions. Experimental results show that the HON algorithm outperforms all benchmark algorithms on two widely used datasets.