Exploring Efficient Implementation of Language Models Under Homomorphic Encryption = 동형암호 하에서 언어 모델의 효율적인 작동에 관한 탐구

국문 초록 (Abstract)

ChatGPT와 같은 거대 언어 모델 (LLM)이 성공적으로 작동하고 서비스로 제공됨에 따라, 언어 모델은 최근 AI 발전의 중심이 되었다. LLM은 방대한 인터넷 규모의 데이터로 학습되어, 뛰어난 지식과 유창한 대화 능력을 보여준다. 게다가 LLM은 개인의 질문에 따라 맞춤형 답변을 제공할 수 있다. 그러나 이러한 맞춤형 답변을 얻기 위해서는, 종종 개인 정보가 LLM을 제공하는 서버에 보내져야 한다. 따라서, 개인 정보를 공유하고 싶지 않은 사람들, 고유 기술을 가지고 있는 기업, 그리고 민감한 정보를 가지고 있는 은행과 같은 기관은 프라이버시 문제 때문에 쉽사리 LLM을 사용할 수 없다. 이러한 프라이버시 문제로 인해, 프라이버시 보존 머신 러닝 (PPML)은 LLM의 발전과 함께 주목을 받게 되었다.

동형암호 (HE)는 PPML을 위한 유망한 해결책 중 하나이다. HE는 암호화된 상태에서의 연산을 지원한다. HE를 사용하면, 데이터는 처음부터 암호화된 채로 서버에 보내진다. 따라서, 서버에서 데이터가 유출되더라도, 개인 정보는 보호된다. 다양한 종류의 HE 중, 우리는 CKKS (Cheon-Kim-Kim-Song)를 사용한다. CKKS는 실수 연산을 지원하여, 머신러닝 모델을 실행하는 데 적합하다. CKKS는 RLWE (Ring Learning with Errors)에 기반하는데, RLWE는 NP-hard 문제와 동등하므로, CKKS의 보안성은 보장된다.

HE가 많은 강점을 가지지만, 계산 비용 때문에 CKKS를 현실에서 사용하는 것은 매우 힘들다. LLM은 트랜스포머 (Trnasformer)에 기반하여 반들어지는데, 트랜스포머는 소프트맥스 (Softax) 등의 많은 비다항함수를 포함한다. 그러나 CKKS는 덧셈과 곱셈만을 지원한다.

본 학위 논문에서, 우리는 이러한 문제들을 해결하는 저자의 이전 연구를 바탕으로 거대 언어 모델의 HE 하에서의 실용적인 사용법을 탐구한다. 3장에서는, 우리는 소프트맥스를 가우시안 커널 (Gaussian kernel)로 대체하고 암호문 간의 행렬곱을 줄여 계산 비용을 감소시킨다. 4장에서는 CKKS 하에서 아직 구현되지 않은 다음 토큰 예측 (Next-token prediction)을 위한 새로운 알고리즘을 제시한다.

다국어 초록 (Multilingual Abstract)

As the Large Language Models (LLMs) such as ChatGPT work successfully and are offered as services, language model has been at the center of the latest developments in AI. LLMs are trained on an internet-scale data, demonstrating outstanding knowledge and fluent conversational capacity. Besides, LLMs can provide customized answers to each person's questions. However, personal data often have to be sent to the LLM provider's server to receive these personalized answers. Therefore, people who do not want to share their personal information, companies with proprietary technology, and institutions such as banks holding sensitive data are hesitant to use LLMs due to privacy concerns. Because of this privacy issue, privacy-preserving machine learning (PPML) has attracted attention along with the development of LLMs.

Homomorphic Encryption (HE) offers a promising solution to PPML. It supports operations in an encrypted data. If we use it, data are sent to a server in encrypted form from the beginning. Therefore, even if the data is leaked from the server, private information is protected. Among various HE schemes, we use CKKS (Cheon-Kim-Kim-Song), which supports real number operations, so it is appropriate for implementing machine learning models. CKKS is based on RLWE (Ring Learning with Errors), and since RLWE is equivalent to an NP-hard problem, the security of CKKS is guaranteed.

Even if CKKS has many strengths, it is prohibitively hard to use it practically because of the computational overhead. LLMs are based on the Transformer, which involves many non-polynomial operations such as Softmax; however CKKS only supports addition and multiplication.

In this thesis, we study the practical implementation of LLMs under HE by addressing these problems, building on the author's earlier work. In Chapter 3, we replace Softmax with a Gaussian kernel and reduce matrix multiplications between ciphertexts to reduce computational overhead. In Chapter 4, we propose a novel method for stable text generation when probabilistic sampling is performed under CKKS, which has not yet been developed.

목차 (Table of Contents)

• 1 Introduction (1p)
• 2 Preliminaries (4p)
• 3 Accelerating Fine-tuning and Inference of LLMs under HE (8p)
• 4 Stable Text Generation under HE (24p)
• 5 Conclusion and Future Directions (48p)