Optimizations for Fast and Precise Privacy-Preserving Machine Learning as a Service over Encrypted Data = 효율적이고 정확한 신경망 연산 서비스형 머신러닝을 위한 동형암호 기반 신경망 연산 최적화 기술

국문 초록 (Abstract)

딥러닝 기술의 비약적인 발전과 함께 신경망(Neural Networks)은 이미지 및 음성 인식과 같은 전통적인 분야를 넘어 대규모 생성형 모델에 이르기까지 현대 인공지능 서비스의 핵심 동력으로 자리 잡고 있다. 이러한 서비스들은 사용자 편의를 위해 대다수 클라우드 기반의 MLaaS(Machine Learning as a Service) 형태로 제공되고 있으나, 이는 필연적으로 심각한 데이터 프라이버시 문제를 야기한다. 사용자는 서비스 이용을 위해 자신의 음성, 이미지, 생체 정보 등 민감한 데이터를 원격 서버로 전송해야 하며, 이 과정에서 데이터가 오남용되거나 유출될 위험은 상존한다.

완전동형암호(Fully Homomorphic Encryption, FHE)는 암호화된 상태의 데이터에 대해 복호화 없이 직접 연산을 수행할 수 있게 함으로써 이러한 딜레마를 해결할 핵심 기술로 주목받고 있다. FHE를 활용한 프라이빗 추론(Private Inference, PI)은 서비스 제공자와 사용자 그 누구에게도 원본 데이터를 노출하지 않는 제로 트러스트(Zero-Trust) 환경을 가능케 하여 강력한 개인정보보호 수준을 보장한다. 그러나 이러한 잠재력에도 불구하고, FHE 기반 PI의 실용화는 과도한 연산 오버헤드(Computational Overhead)와 상당한 수준의 정확도 손실(Accuracy Degradation)이라는 두 가지 치명적인 병목 현상에 의해 가로막혀 있다. 연산 오버헤드는 동형암호 연산 자체의 높은 복잡도에서 기인하며, 정확도 손실은 FHE가 본질적으로 산술 연산만을 지원한다는 제약으로 인해 신경망의 필수적인 비선형 함수(Non-arithmetic functions)들을 근사(Approximation)하여 처리하는 과정에서 불가피하게 발생한다.

그동안 학계에서는 효율적인 FHE 기반 PI 시스템을 구현하기 위해 방대한 연구를 수행해 왔다. 대다수의 선행 연구들은 기반 암호 알고리즘을 수정하거나 개선하는 수학적(Mathematical) 접근에 주력하여 다양한 성능 지표의 향상을 도모하였다. 그러나 이러한 이론적 접근법들은 수학적 난제가 갖는 근본적인 한계를 완전히 극복하지 못하였고, 결과적으로 성능을 향상시키면 정확도가 하락하거나 그 반대의 현상이 발생하는 트레이드오프(Trade-off) 관계에 의존할 수밖에 없었다. MLaaS 환경의 실용성을 담보하기 위해서는 성능과 정확도라는 두 마리 토끼를 동시에 잡아야 하므로, 기존의 수학적 접근을 넘어선 새로운 차원의 해결책이 절실히 요구되는 시점이다.

이에 본 학위논문은 기존의 수학적 이론 중심의 접근 방식에서 탈피하여, 컴퓨터 시스템 계층(Systems-level)의 최적화 기법을 접목한 비수학적 해결책을 통해 당면한 난제들을 해결하고자 한다. 본 논문은 암호학적 참신함과 컴퓨터 시스템 아키텍처의 효율성을 통합하는 관점에서 FHE 기반 PI의 전체 컴퓨테이션 스택(Computation Stack)을 거시적으로 조망하고, 코드 변환(Code Translation) 단계부터 실제 FHE 연산 스케줄링 및 하드웨어 실행 단계에 이르기까지 각 계층에 특화된 최적화 방법론을 제안한다.

구체적으로 본 논문은 다음 세 가지의 주요한 최적화 전략을 제시한다. 첫째, 신경망 내 비선형 함수의 근사 연산에 있어 성능과 정확도를 동시에 확보할 수 있는 새로운 전략을 제안한다. 기존 연구들이 함수의 내부 논리를 고려하지 않고 수치해석적 방법에만 의존하여 기계적으로 근사 다항식을 생성했던 관행을 지적하고, 대신 대상 함수의 기반 코드와 구조적 특성을 심층적으로 분석하여 이를 근사 과정에 반영하는 새로운 방법론을 설계하였다. 둘째, 신경망의 각 레이어(Layer) 특성에 맞춰 최적의 암호문 구성(Ciphertext Configuration)을 자동으로 탐색하고 할당하는 알고리즘을 제시한다. FHE 암호문은 구성 방식에 따라 성능과 정확도에 지대한 영향을 미칠 수 있음에도 불구하고, 그동안 방대한 탐색 공간으로 인해 충분히 연구되지 못했다. 본 연구는 이를 자동화하여 각 연산 단계에 최적화된 파라미터를 적용함으로써 시스템 효율을 극대화하였다. 셋째, TFHE 워크로드를 타겟 하드웨어 플랫폼의 특성에 맞춰 최적화함으로써, 고가의 전용 가속기 없이 범용 하드웨어(Commodity Hardware) 상에서도 최신 ASIC 가속기에 비견되는 고성능을 달성할 수 있음을 입증한다.

본 논문은 암호학, 시스템 소프트웨어, 그리고 하드웨어 아키텍처를 아우르는 통합적 통찰을 통해 FHE 기반 PI 시스템의 각 단계를 유기적으로 최적화하였다. 이를 통해 완전동형암호가 단순히 이론적인 가능성에 머무르는 것이 아니라, 실제 산업 현장의 프라이버시 보존형 컴퓨팅을 위한 강력하고 실효성 있는 도구로 활용될 수 있음을 효과적으로 증명한다.

다국어 초록 (Multilingual Abstract)

Neural networks are widely deployed to modern AI services. From image and speech recognition to large-scale generative models, they offer services that are close to our daily lives. A lot of the services are provided via cloud environments as Machine Learning as a Service (MLaaS) model, but they introduce critical privacy concerns. Users must send sensitive data—like voices, images, or biometric signals—to remote servers, risking misuse or exposure.

Fully Homomorphic Encryption (FHE) addresses this by enabling computation directly on encrypted data, offering strong privacy guarantees. This approach, known as Private Inference (PI), promises a zero-trust MLaaS environment where neither party discloses sensitive information. However, FHE-based PI faces two significant bottlenecks: prohibitive computational overhead and substantial accuracy degradation. Overhead arises from the complexity of homomorphic operations, while accuracy loss stems from FHE’s native support for only arithmetic operations. This limitation forces the use of approximations for essential non-arithmetic functions within neural networks, which degrades model accuracy.

A lot of researchers have performed massive amounts of work in devising efficient PI using FHE. Representatively, a lot of their work are based on mathematical approaches, modifying the underlying cryptographic algorithms to achieve better results on diverse metrics. although their results have achieved several benefits, they could not overcome the inherent limitations of the mathematical theories, and thus had to rely on trade-offs several times, improving performance at the cost of accuracy, or vice versa. Since the two metrics are both important in MLaaS, it is noteworthy that we require a new way to achieve enhancements in both metrics simultaneously.

This thesis addresses these challenges with non-mathematical, systems-level approaches. That is, rather than relying solely on mathematical theories, this thesis iintegrates cryptographic novelties with opportunities from the computer systems community. We first present an overview of FHE-based PI computation stack and identify challenges related to each stage of the system. From code translation (into FHE compatible forms) to actual FHE operation scheduling and hardware execution, we present optimizations tailored for each of the steps.

Specifically, we present 3 lines of optimizations – first, a new strategy in generating approximations for non-arithmetic functions that leads to better performance and accuracy. Instead of following the wisdom of previous works that blindly use numerical methods in generating approximated polynomials, we seek a new path that takes the underlying code of each functions in interest. For the second stage, we present an algorithm that automatically allocates the appropriate ciphertext configurations for each layers of the neural networks. FHE ciphertexts can be configured according to various factors which affact the performance and accuracy, but such potential has not yet been explored by previous works. Finally, we present how we can adapt the TFHE workloads to the target hardware platform, which enables us to achieve as much performance as the state-of-the-art ASIC accelerators on (near) commodity hardware.

Through these optimizations tailored for each stage of the FHE-based PI system, integrating cryptographic, system and hardware-level insights, this thesis effectively shows the potential of FHE to become a powerful tool for privacy-preserving computation.

목차 (Table of Contents)

• 제1장 Introduction 1
• 제2장 Background 5
• 제1절 Fully Homomorphic Encryption Schemes 5
• 제2절 Bottlenecks in FHE-based PI 12
• 제3절 Thesis Overview 20
• 제3장 Lazy Approximation for Non-Arithmetic Functions 23
• 제1절 Preliminaries 23
• 제2절 SLOTHE 25
• 제3절 Evaluation 34
• 제4절 Discussion 43
• 제4장 Optimizing Layer-wise Ciphertext Configuration 49
• 제1절 Motivation 49
• 제2절 Additional Preliminaries 54
• 제3절 LOHEN 56
• 제4절 Evaluation 67
• 제5절 Discussion 75
• 제5장 Efficient Mapping for TFHE Circuits on Commodity Hardware 79
• 제1절 Bottleneck and Opportunities in TFHE Acceleration 79
• 제2절 Design Choices 81
• 제3절 Implementation and Evaluation 88
• 제4절 Summary with Related Works 95
• 제5절 Potential Further Acceleration? 96
• 제6장 Adapting TFHE Algorithm for Different HW Platforms 98
• 제1절 Additional Preliminaries and Motivation 98
• 제2절 THEIM Overview 105
• 제3절 Microarachitecture 107
• 제4절 Offline Affinity-based TFHE Scheduler 110
• 제5절 Evaluation 118
• 제6절 Related Works with Discussions 129
• 제7장 Future Work 132
• 제1절 Integration of MPC, TEE, and System Security 132
• 제2절 Multi-Layer Security for Diverse Applications 134
• 제3절 Extending the Functionality of Each Optimizations 135
• 제8장 Conclusion 136