Dynamic channel- and spatial-wise gating architecture for exploiting sparsity in convolutional neural networks

Hyun, Sangmin Sungkyunkwan University 2022 국내석사

The explosive computation and memory requirements of convolutional neural networks (CNNs) hinder their deployment in resource-constrained devices. Because conventional CNNs perform identical parallelized computations even on redundant pixels, the saliency of various features in an image should be reflected for higher energy efficiency and market penetration. This paper proposes a novel channel- and spatial-gating network (CSGN) for adaptively selecting vital channels and generating spatial-wise execution masks. A CSGN can be characterized as a dynamic channel and a spatial-aware gating module by maximally utilizing opportunistic sparsity. Extensive experiments were conducted on the CIFAR-10 and ImageNet datasets based on ResNet. The results revealed that, with the proposed architecture, the amount of multiply-accumulate (MAC) operations was reduced on average by 3.96× and 2.39×, respectively, with negligible accuracy degradation in the inference stage compared with the baseline architectures. CNN(Convolutional Neural Networks)의 폭발적인 계산량 및 메모리 요구 량은 리소스가 제한된 장치에 배포하는 데 방해가 된다. 기존 CNN은 부가적인 픽셀에서도 동일한 병렬 계산을 수행하기 때문에 더 높은 에너지 효율성과 시장 침투를 위해서는 이미지의 다양한 특징이 두드러지게 반영되어야 한다. 본 논문에서는 적응적으로 중요한 채널을 선택하고 공간적 실행 마스크를 생성하기 위한 새로운 채널 및 공간 게이팅 네트워크(CSGN)를 제안한다. CSGN은 가능한 희소성을 최대한 활용하여 동적 채널 및 공간을 파악할 수 있는 게이팅 모듈이라는 특징을 가지고 있다. ResNet을 기반 네트워크로 사용하여 CIFAR-10 및 ImageNet 데이터셋에 대해 광범위한 실험이 수행되었다. 결과는 제안된 아키텍처를 사용하여 MAC(multiply-accumulate) 연산량이 각각 평균 3.96배 및 2.39배 감소했으며 추론 단계에서 기준 아키텍처와 비교하여 정확도 저하가 무시할 수 있는 수준인 것으로 나타났다.

(The) roles of SIRT1 in sepsis in mice and differentiation-induced apoptosis in mouse embryonic stem cells

염지현 Chonbuk National University 2015 국내박사

제 1 부 : 마우스 패혈증에서 SIRT1의 역할 Lipopolysaccharide (LPS)는 그람음성 세균에서 유래한 내독소로서 염증성 사이토카인의 분비를 촉진하고 mitogen activated protein kinases, NF-κB, 와 interferon regulatory factor-3등의 활성화를 통해 내독소혈증을 일으킨다. NAD 의존형 deacetylase인 SIRT1은 NF-κB를 deacetylation시켜 그 기능을 억제한다. SIRT1이 LPS-매개 신호체계 및 내독소혈증에 영향을 미칠 가능성이 있음을 시사해 주고 있다. 본 연구에서 interferon β를 마우스내에 투여하면 내독소혈증 및 패혈증으로 인한 shock을 억제함을 증명하였다. Interferon β의 내독소혈증 및 패혈증 보호효과는 dominant negative 발현 lentiviral vector의 감염으로 상쇄되었다. 이는 Interferon β가 SIRT1을 경유하여 내독소혈증 및 패혈증 보호효과를 매개하고 있음을 시사해주고 있다. 이상의 결과는 SIRT1 및 SIRT1 유도 사이토카인이 패혈증에 대한 유용한 치료표적임을 시사해 주고 있다. 제 II 부 : 마우스 배아줄기세포에서 분화유도성 세포사에서 SIRT1의 역할 마우스 배아줄기세포는 leukemia inhibitory factor (LIF)를 처리하면서 실험관내에서 배양하면 전분화능을 유지하면서 자란다. LIF제거에 의한 배아줄기세포의 monolayer 분화 시에 p38 MAPK가 활성화되어 caspase 의존형 방식으로 세포사가 유도되는 것으로 알려져 있다. 그러나 본 연구에서는 hanging drop에 의한 마우스 배아줄기세포의 분화 시caspase와 p38α와 연관이 없는 세포사가 일어남을 발견하였고 또한SIRT1을 knockout시키면 cMyc-max 결합을 억제하여 세포사를 억제하는 것을 발견하였다. SIRT1 knockout 배아줄기세포는 3배엽 marker를 발현하는 세포로 분화하였다. 이러한 결과는 배아줄기세포 분화 시 분화조건에 따라 서로 다른 신호체계에 의해 세포사가 유도되고 이 세포사는 분화신호와 coupling 되어 있지 않음을 시사해 주고 있다. PART1 : Effect of SIRT1 on septic shock in mice Lipopolysaccharide (LPS), an endotoxin derived from gram-negative bacteria, promotes the secretion of proinflammatory cytokines and mediates endotoxemia through activation of mitogen activated protein kinases, NF-κB, and interferon regulatory factor-3. Silent information regulator transcript-1 (SIRT1), an NAD-dependent deacetylase, mediates NF-κB deacetylation, and inhibits its function. These suggest that SIRT1 may affect LPS-mediated signaling pathways and endotoxemia. Here we demonstrate that in vivo treatment of interferon β protects against lethal septic shock, which is abrogated by infection with dominant negative SIRT1-expressing adenovirus. These results suggest that both SIRT1 and SIRT1-inducing cytokines are useful targets for treating patients with sepsis. PART2 : Effect of SIRT1 on differentiation induced apoptosis in mouse embryonic stem cells Mouse embryonic stem cells (mESCs) have pluripotency when grown in vitro with leukemia inhibitory factor (LIF). It has been reported that the monolayer differentiation of mESC by LIF removal leads to apoptosis of some of the differentiated cells in a caspase dependent manner through p38 mitogen-activated protein kinase (MAPK) activation. Here we found that spheroid differentiation of mESC by hanging drop results in apoptosis of embryoid body cells independently of p38and caspase. We also found that knockout of SIRT1, an NAD dependent histone deacetylase, inhibits apoptosis of embryoid body cells through dissociation of cMyc-max interaction. cMyc knockdown decreases apoptosis of embryoid body cells. AIF knockdown inhibits apoptosis of embryoid body cells. SIRT1 knockout ES cells forms embryoid body which contains the cells expressing three germ layer markers. Our results suggest that ES cells undergo apoptosis during differentiation through different signaling pathway depending on differentiation conditions without coupling differentiation.

KDM2B is key regulator to form neural progenitor in cortical neurogenesis : The role of KDM2B related to the signal for neural progenitor specification

Lim, Soohyun Sungkyunkwan university 2021 국내석사

Various epigenetic modifications are known to regulate neurogenesis. In this study, the role of KDM2B during the differentiation from human embryonic stem cells into cortical neurons and organoids that mimic the forebrain was investigated. KDM2B is reported to play a role in demethylating the methyl group of ß-catenin in the process of Wnt/ß-catenin signaling. In addition, it has been discovered that the activation of Wnt/ß-catenin signals in cortical neurogenesis changes the fate of cells that differentiate into neuronal precursors, leading to differentiation toward neuron crest cells. Here, we figured out that KDM2B - depleted hESCs could not properly form the rosette structure that should be seen in cortical neurogenesis. Also, the expression of ß-catenin was increased at the time of differentiation into neural progenitor cells from KDM2B – depleted hESCs. Through this, we hypothesized that the decreased expression of KDM2B induced the activation of Wnt/ß-catenin signals, and thus the fate of the neural progenitor was changed into neural crest cells. To confirm this, we investigated the expression level of the neural crest marker genes upon the differentiation into cortical neurons and forebrain organoids. Consequently, KDM2B – depleted hESCs resulted in significantly increased level of neural crest marker genes. Overall, KDM2B – depleted hESCs activated the Wnt/ß-catenin signaling in the cortical neuron differentiation process, thereby increasing the rate of differentiation into neural crest cells rather than neural progenitor cells. 많은 후성유전학적 조절자들이 배아줄기세포의 분화 과정에서 유전자 발현에 영향을 끼침으로써 계통의 운명 결정에 관여한다. 그 중 H3K4와 H3K36의 탈메틸화 효소인 KDM2B가 대뇌 피질으로의 분화 과정에서 중요 역할을 수행함을 밝힌 이전 연구들은 마우스 모델에서만 이루어져 있었다. 이는 인간의 대뇌 피질 분화를 구현해내기 위한 모델을 구축하는 데에 한계가 있었기 때문이라고 할 수 있다. 본 연구에서는 인간 배아줄기세포에서 대뇌 피질 신경세포 및 전뇌를 모사하는 오가노이드로 분화하는 과정에서 KDM2B의 역할을 규명한 데에 있어 의의가 있다. KDM2B는 Wnt/ß-catenin 신호 과정에서 ß-catenin의 메틸기를 탈메틸화시킴으로써 분해하는 역할을 수행하는 것으로 알려져있다. 또한, 인간배아줄기세포에서 대뇌 피질 신경세포로 분화를 하는 과정에서 Wnt/ß-catenin 신호의 활성화는 신경세포 전구체로 분화하는 세포의 운명을 바꾸어 신경능선세포 방향으로 분화되도록 만든다는 연구가 밝혀진 바 있다. KDM2B 발현이 정상적으로 되지 않는 인간 배아줄기세포는 대뇌 피질 신경세포로 분화하는 과정에서 보여야 하는 rosette 구조를 제대로 형성시키지 못하는 것을 확인하였다. 또한, KDM2B 발현이 감소된 인간 배아줄기세포에서 신경세포 전구체로 분화하는 시점에서 ß-catenin의 발현이 축적되어 있는 것을 밝혔다. 이를 통해 KDM2B의 저하된 발현이 Wnt/ß-catenin 신호의 활성화를 유도하고 이로 인해 신경세포 전구체의 운명이 신경능세포로 변화된 것이라고 가정하였다. 이를 확인하기 위해 대뇌 피질 신경세포 및 전뇌 오가노이드로의 분화 과정에서 신경능세포 마커 유전자의 발현 정도를 비교한 결과, KDM2B 발현이 감소된 인간 배아줄기세포를 사용하였을 때 정상보다 신경능세포 마커 유전자 발현이 상당히 증가되어있었다. 종합적으로, KDM2B 발현이 감소된 인간 배아줄기세포는 대뇌피질 신경세포 분화 과정에서 Wnt/ß-catenin 신호 과정을 활성화시킴으로 인해 신경세포 전구체가 아닌 신경능세포로 분화하는 비율이 증가되는 것을 밝혔다. 그리고 이로 인해 신경세포 전구체가 원형 모양으로 배열을 이루는 rosette 구조 형성이 감소하는것을 결론내릴 수 있었다.

Fragmentation of dimyristoylphosphatidylcholine vesicles into a discoidal form

Han, Hyun-sook Korea advanced institute of science and technology 1993 국내박사

High temperature rare earth and Si-Ge thermoelectric materials

Han, Sang Hyun Iowa State University 1992 해외박사

상온에서 기계적 밀링공정으로 희토류 황화물들 (Y₂S₃, Er₂S₃, Tm₂S₃, Yb₂S₃,Lu₂S₃ )의 준 안정 결정 고온-고압상들을 연구하였다. Dy₂S₃의 경우, 기계적 밀링에의해 상온에서 안-(사방정)상이 준 안정고온상 r-상으로 상변화 하였다. Y₃S₃,Er₂S₃, Rb₂S₃도 역시 기계적 따라 고압상인 r-상으로 상변태하였다. Tm₂S₃와Lu₂S₃인 경우, 상온상과 고압상이 공존함을 �y₂S₃와 Y₂S₃를 160 시간 동안기계적 밀링한 결과, 비정질로 변화하지 않고, 처음에 만들어�고압상이 그대로존재하였다. 고온 열전 반도체로서, Copper를 도핑한 Dy₂S₃ compounds[Cux(Dy-x]의Hall 효과, 전기저항도, Seebeck 계수등을 측정하였다. 이때 Copper 함량(x)은 0. 006에서0. .상온에서 1000℃ 온도번위에서는 Copper를 도핑한 Dy₂S₃도 degenerateSemiconductor거동을 �tinerant conduction mechanism을 보였다. Electron밀도가증가함에 따라 Hall이동도가 증가하는현상을 보였다. 전기저항도와 Seebeck계수는 온도에 따라 증가하였고, 전기저항도인 경우 약 900최고값(4. 35-7. 13 mohm-cm)을보였고, Seebeck계수인 경우도 약900℃에서 최고값 (-163에서 -177 V/℃)이 나타났다. Copper 를 도핑한 Dy₂S₃compound들은 모두 n-type 거동을 하였다. 새로운 두핑공정, 즉 고상 확산 기구를 이용한 기계적 합금화와 기체 확산기구인 개스도핑공정으로PhosphoSi80 Ge20합금에 도핑하면 900℃-1200℃에서 phosphorus의 전기활동도가기존의 최고값 (2. 1x10²) 이상으로 증가 (2. 5-2. 9x10 ² /cm³)한다는 것을발견하였다. 이헌한 증가는 defect 밀도와 뮈О活�있는 것으로 보였다. Si-Ge에서Ge 함량이 증가 할 수록 phosphorus의 전기활동도는 감소며, 그 이유는 순순한Ge에서의 phosphorus의 전기활동도는 순수한 Si에서의 전기활동도에 비해 횃㏏�潔駭� Electorn밀도가 증가할수록 전자-전자 충돌현상 때문에 Hall이동도는감소하였다. 전도는 상온에서 450℃ 조금씩 감소하다가 450℃부터 600℃구간에서는큰 폭으로 증가하였다. 600℃대값 (1. 5-1. 75 mohm-cm)을 보이고 계속 감소하였다. 450-600℃에서 전기저항도가 크게 증가하는 온도구간에서 phosphorus의 전기활동도가최저가 되기 때문이었다. Seebeck게수도 유사한 현상을 .

Nanogap device : fabrication and applications

Han, Jun Hyun UMI Dissertation Publishing 2013 국내박사

Purification, Characterization and Molecular Cloning of Vibiro fluvialis Hemolysin Associated with Cytotoxic activity on RTG-2 Fibroblast Cells of Rainbow Trout

Han, Jeong-Hyun 부경대학교대학원 2002 국내석사

Error Recovery for Multiagent Planning System

Han Hyun Goo The Graduate Faculty of Auburn univ. 1990 국내박사

Development of a Fast Alignment Method of Micro-Optic Parts Using Multi Dimension Vision and Optical Feedback

Han, Seung-Hyun Kwangwoon University 2003 국내석사

Ultrafast Fabrication of Flexible Dye-Sensitized Solar Cells by Ultrasonic Spray-Coating Technology

Hyun-Gyu Han Graduate school of UNIST 2015 국내석사