KAN 기반 기호 회귀 가속을 위한 명령어 프로그래머블 FPGA 가속기 = An Instruction-Programmable FPGA Accelerator for KAN-Derived Symbolic Regression Expressions

국문 초록 (Abstract)

본 논문에서는 Kolmogorov-Arnold Network（KAN）로부터 추출된 기호 회귀 수식을 FPGA 에서 효율적으로 실행하기 위한 명령어 프로그래머블 가속기 구조를 제안한다. KAN 은 학습된 모델을 명시적인 수학식으로 변환할 수 있다는 장점이 있지만, 이렇게 얻어진 수식은 곱셈, 나눗셈, 로그, 지수, 삼각함수와 같은 다양한 비선형 연산을 포함할 수 있어 일반적인 고정형 하드웨어 구조로는 효율적으로 처리하기 어렵다. 제안하는 방법은 먼저 pykan 을 이용하여 KAN 모델을 학습하고, grid refining, pruning, 기호 회귀 과정을 통해 학습된 모델을 해석 가능한 수식으로 변환한다. 이후 추출된 수식을 FPGA 에서 실행 가능한 48 비트 명령어열로 변환하고, 이를 BRAM 기반 명령어 메모리에 저장하여 실행한다. 따라서 수식이 변경되더라도 하드웨어 구조를 다시 설계하지 않고, 명령어열만 교체하여 다양한 KAN 기반 수식을 처리할 수 있다. 제안한 가속기는 수식 내부의 연산 의존성을 추적하는 reservation station 기반 스케줄링 구조, 단순 산술 연산을 빠르게 처리하는 ALU bypass 경로, 그리고 복잡한 비선형 연산을 처리하기 위한 CORDIC 기반 다중 처리 요소 구조를 포함한다. 이를 통해 수식에 포함된 다양한 연산을 하나의 프로그래머블 하드웨어 구조에서 효율적으로 실행할 수 있다. 또한 본 논문에서는 부동소수점 소프트웨어 환경에서 계산한 수식 결과와 FPGA 에서 실행한 결과를 비교하여, 기호 회귀 과정에서 발생하는 근사 오차와 하드웨어 구현 과정에서 발생하는 수치 오차를 분리하여 분석하였다. 이를 통해 제안한 고정소수점 및 CORDIC 기반 연산 구조가 KAN 으로부터 얻은 기호 회귀 수식을 수치적으로 신뢰성 있게 실행할 수 있음을 검증하였다. 주제어 ― Kolmogorov-Arnold Network, 기호 회귀, FPGA 가속기, CORDIC, 명령어 프로그래머블 구조

다국어 초록 (Multilingual Abstract)

This thesis presents an instruction-programmable accelerator architecture for efficiently executing symbolic regression expressions extracted from Kolmogorov-Arnold Networks （KANs） on an FPGA. KANs have the advantage of converting trained models into explicit mathematical expressions. However, the resulting expressions may include various nonlinear operations such as multiplication, division, logarithmic, exponential, and trigonometric functions, making them difficult to process efficiently using conventional fixed hardware structures.
The proposed method first trains a KAN model using pykan and converts the trained model into an interpretable mathematical expression through grid refining, pruning, and symbolic regression. The extracted expression is then transformed into a 48-bit instruction sequence executable on the FPGA and stored in a BRAM-based instruction memory. Therefore, even when the expression changes, various KAN-derived expressions can be processed by replacing only the instruction sequence without redesigning the hardware architecture.
The proposed accelerator includes a reservation-station-based control structure that tracks operation dependencies within the expression, an ALU bypass path for fast execution of simple arithmetic operations, and a CORDIC-based multi-processing-element structure for complex nonlinear operations. This enables various operations included in symbolic expressions to be efficiently executed within a single programmable hardware architecture.
In addition, this thesis compares the expression results computed in a floating-point software environment with the results executed on the FPGA, thereby separately analyzing the approximation error introduced during symbolic regression and the numerical error introduced during hardware implementation. Through this analysis, we verify that the proposed fixed point and CORDIC-based computation architecture can numerically and reliably execute symbolic regression expressions obtained from KANs. Key words ― Kolmogorov-Arnold Network, Symbolic Regression, FPGA Accelerator, CORDIC, Instruction-Programmable FPGA accelerator

목차 (Table of Contents)

• Ⅰ 서론 1
• Ⅱ 본론 4
• 1. 관련 이론 4
• 1.1. Multi-Layer Perceptron 4
• 1.2. Kolmogorov Arnold Network 5
• 1.3. Coordinate Rotation Digital Computer 8
• 2. KAN 모델을 이용한 기호 회귀 수식 추출 9
• 2.1. workflow 9
• 2.2. 데이터셋 및 KAN 학습 설정 11
• 2.3. 학습 정확도 보강법 13
• 2.4. 기호 회귀 및 함수 library 14
• 3. 제안하는 FPGA 가속기 구조 16
• 3.1. 전체 구조 16
• 3.2. 명령어 포맷 19
• 3.3. CORDIC 기반 multi-PE 20
• 3.4. 고정소수점 포맷 및 bit-width 선택 25
• 4. 실험 결과 분석 27
• 4.1. 기호 회귀 정확도 27
• 4.2. FPGA 수치 정확도 28
• 4.3. FPGA 플랫폼별 resource utilization 30
• 4.4. PE 개수에 따른 utilization 분석 32
• Ⅲ 결론 34
• 참고문헌 35
• Abstract 38