A Kalman-Filter-Based Common Algorithm Approach for Object Detection in Surgery Scene to Assist Surgeon's Situation Awareness in Robot-Assisted Laparoscopic Surgery

Ryu, Jiwon,Moon, Youngjin,Choi, Jaesoon,Kim, Hee Chan Hindawi 2018 Journal of healthcare engineering Vol.2018 No.-

<P>Although the use of the surgical robot is rapidly expanding for various medical treatments, there still exist safety issues and concerns about robot-assisted surgeries due to limited vision through a laparoscope, which may cause compromised situation awareness and surgical errors requiring rapid emergency conversion to open surgery. To assist surgeon's situation awareness and preventive emergency response, this study proposes situation information guidance through a vision-based common algorithm architecture for automatic detection and tracking of intraoperative hemorrhage and surgical instruments. The proposed common architecture comprises the location of the object of interest using feature texture, morphological information, and the tracking of the object based on Kalman filter for robustness with reduced error. The average recall and precision of the instrument detection in four prostate surgery videos were 96% and 86%, and the accuracy of the hemorrhage detection in two prostate surgery videos was 98%. Results demonstrate the robustness of the automatic intraoperative object detection and tracking which can be used to enhance the surgeon's preventive state recognition during robot-assisted surgery.</P>

The Clinical Association of the Blood Pressure Variability with the Target Organ Damage in Hypertensive Patients with Chronic Kidney Disease

Ryu, Jiwon,Cha, Ran-hui,Kim, Dong Ki,Lee, Ju Hyun,Yoon, Sun Ae,Ryu, Dong Ryeol,Oh, Ji Eun,Kim, Sejoong,Han, Sang-Youb,Lee, Eun Young,Kim, Yon Su The Korean Academy of Medical Sciences 2014 JOURNAL OF KOREAN MEDICAL SCIENCE Vol.29 No.7

<P>It is known that blood pressure variability (BPV) can independently affect target organ damage (TOD), even with normal blood pressure. There have been few studieson chronic kidney disease (CKD) patients. We evaluated the relationship between BPV and TOD in a cross-sectional, multicenter study on hypertensive CKD patients. We evaluated 1,173 patients using 24-hr ambulatory blood pressure monitoring. BPV was defined as the average real variability, with a mean value of the absolute differences between consecutive readings of systolic blood pressure. TOD was defined as left ventricular hypertrophy (LVH) (by the Romhilt-Estes score ≥4 in electrocardiography) and kidney injury (as determined from an estimated glomerular filtration rate [eGFR]<30 mL/min/1.73 m<SUP>2</SUP> and proteinuria).The mean BPV of the subjects was 15.9±4.63 mmHg. BPV displayed a positive relationship with LVH in a univariate analysis and after adjustment for multi-variables (odds ratio per 1 mmHg increase in BPV: 1.053, <I>P</I>=0.006). In contrast, BPV had no relationship with kidney injury. These data suggest that BPV may be positively associated with LVH in hypertensive CKD patients.</P><P><B>Graphical Abstract</B></P><P/>

Endoscopic Vision Based Tracking of Multiple Surgical Instruments in Robot-assisted Surgery

Jiwon Ryu,Jaesoon Choi,Hee Chan Kim 제어로봇시스템학회 2012 제어로봇시스템학회 국제학술대회 논문집 Vol.2012 No.10

Robot-assisted cardiac surgeries are effective for operations in limited spaces. Enhancement in safety functions based on automatic tracking of surgical instrument position to prevent inadvertent harmful events as cardiac tissue perforation and instrument collisions can be meaningful augmentation to current robot surgery system. A vision based instrument tracking scheme as a core algorithm to implement such assistive functions has been developed in this study. Through a chain of computer vision techniques, including classification of metallic properties using k-means clustering and instrument movement tracking using similarity measure, Euclidean distance calculation, and Kalman filter algorithm, an automatic tracking scheme has been proposed and the implemented system showed satisfactory performance in tests using real robot-assisted surgery videos. Trajectory comparisons of automatically detected data and ground truth data obtained by manually locating the center of mass of each instrument were used to quantitatively validate the system. The developed algorithm could provide valuable information to clinicians for safer operation.

Surface expression of TTYH2 is attenuated by direct interaction with β-COP

( Jiwon Ryu ),( Dong-gyu Kim ),( Young-sun Lee ),( Yeonju Bae ),( Ajung Kim ),( Nammi Park ),( Eun Mi Hwang ),( Jae-yong Park ) 생화학분자생물학회(구 한국생화학분자생물학회) 2019 BMB Reports Vol.52 No.7

TTYH2 is a calcium-activated, inwardly rectifying anion channel that has been shown to be related to renal cancer and colon cancer. Based on the topological prediction, TTYH2 protein has five transmembrane domains with the extracellular N-terminus and the cytoplasmic C-terminus. In the present study, we identified a vesicle transport protein, β-COP, as a novel specific binding partner of TTYH2 by yeast two-hybrid screening using a human brain cDNA library with the C-terminal region of TTYH2 (TTYH2-C) as a bait. Using in vitro and in vivo binding assays, we confirmed the protein-protein interactions between TTYH2 and β-COP. We also found that the surface expression and activity of TTYH2 were decreased by co-expression with β-COP in the heterologous expression system. In addition, β-COP associated with TTYH2 in a native condition at a human colon cancer cell line, LoVo cells. The over-expression of β-COP in the LoVo cells led to a dramatic decrease in the surface expression and activity of endogenous TTYH2. Collectively, these data suggested that β-COP plays a critical role in the trafficking of the TTYH2 channel to the plasma membrane. [BMB Reports 2019; 52(7): 445-450]

오이 수확로봇의 꼭지 인식을 위한 U-Net 기반의 차폐 영역 복원 기술 개발

류지원 ( Jiwon Ryu ),김성제 ( Sungjay Kim ),홍석주 ( Suk-ju Hong ),노승우 ( Seungwoo Roh ),김응찬 ( Eungchan Kim ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2021 한국농업기계학회 학술발표논문집 Vol.26 No.2

최근 인공지능 및 계측, 제어 기술의 발달과 함께 스마트팜에서의 수확로봇 개발 연구가 활발히 진행되고 있다. 수확로봇의 작업 정확도와 효율성 확보를 위해서는 빠르고 정확한 과실 인식 기술이 필수적이고, 과실이 잎에 가려진 경우에도 수확을 위한 절단 부위를 잘 인식할 수 있어야 한다. 특히 오이의 경우, 과실이 잎에 가려진 경우가 많아 기존의 오이 과실 인식 기술만으로는 절단 부위 인식에 한계가 있다. 따라서 오이 영상으로부터 꼭지 주위의 차폐 영역을 복원하는 기술을 통한 꼭지 위치 파악이 필요하다. 이를 위해 본 연구에서는 영상 분할 (segmentation)에 주로 이용되는 합성곱신경망 (CNN)의 일종인 U-Net과 U-Net++ 아키텍처를 활용하여 RGB 오이 이미지에서 꼭지 주위의 차폐 영역 복원 기술을 개발하였고, 모델의 인코더로 다양한 특징추출기 (feature extractor)를 활용한 후 복원 정확도를 비교, 평가 하였다.

채무자가 증여한 재산을 다시 상속받은 사안에서 증여가 사해행위취소된 경우 상속세에 대한 후발적 경정청구 가부 - 대법원 2020. 11. 26. 선고 2014두46485 판결 -

류지원(Jiwon Ryu) 서울대학교 법학평론 편집위원회 2022 법학평론 Vol.12 No.-

본고는 대법원 2020. 11. 26. 선고 2014두46485 판결(이하 ‘대상판결’이라 한다.)이 타당하지 않음을 밝히고, 채무자가 증여한 재산을 다시 상속한 사안에서 증여가 사해행위취소된 경우 후발적 경정을 통해 상속세 납세의무를 면할 수 있는지 여부를 재검토하였다. 우선 대상판결이 타당하지 않음을 비판하였다. 대상판결은 ‘과세의 근거가 된 법률행위의 효력이 무효가 되거나 소멸하지 않았다면 후발적 경정을 통해 납세의무를 면할 수 없다’는 숨은 전제를 활용하여 논증하지만, 이 전제는 전혀 근거가 없으며 종전 판례의 법리와도 일관적이지 않다. 그뿐만 아니라, 대상판결이 근거로 인용한 판례들 역시 대상판결에 유추적용하기에 적합하지 않은바 결론을 뒷받침해 주지 못한다. 요컨대 대상판결의 논증 및 결론은 모두 타당하지 않다. 이에, 본고는 채무자가 증여한 재산을 다시 상속한 사안에서 증여가 사해행위취소된 경우 후발적 경정을 통해 상속세 납세의무를 면할 수 있는지 여부를 다시 검토하였다. 첫째, 채무자와 (수익자의) 상속인이 서로 다른 일반적인 법률관계(유형 A)에서 채권자가 상속의 기초가 된 증여를 채권자취소한 사안을 살펴보았다. 조문 및 종전 판례와의 일관성을 고려할 때, 유형 A의 사안에서는 상속세에 대한 후발적 경정청구가 인정되어야 함을 보였다. 둘째, 채무자와 (수익자의) 상속인이 동일한 사안(유형 B)에 대한 검토로 나아갔다. 유형 B 사안을 유형 A와 다르게 취급할 필요가 없음을 확인하였고, 따라서 유형 B 사안과 같은 대상판결의 사안에서도 후발적 경정이 인정되어야 한다는 결론에 이르렀다. 결론적으로, 본고는 대상판결과 같은 사안에서 후발적 경정청구가 인정되어야 함을 주장하는 바이다. 채권자취소권이 갖는 핵심적인 법적 성질과 후발적 경정청구에 관하여 축적된 판례 법리에 비추어 본다면, 채무자가 증여한 재산을 다시 상속받은 사안에서 증여가 사해행위취소된 경우 상속세에 대한 후발적 경정청구는 인정되어야 한다. This paper criticized Supreme Court Decision 2014Du46485 Decided November 26, 2020 (hereinafter referred to as ‘the Case’). The argument of the Case has been developed under the implicit premise that ‘the tax payer cannot request for reassessment based on subsequent events - unless the object of taxation is retrospectively nullified.’ However, this premise is invalid. Not only is there no ground that can support the premise, but also the premise itself is inconsistent with previous precedents. Moreover, while the Case cited several previous cases to support its argument, further inspection revealed that the cited cases do not support the logic and conclusion of the Case. This paper re-analyzed whether the taxpayer has the right to request for reassessment based on subsequent events in inheritance tax when the oblige exercises the right of revocation to revoke a fraudulent act and the transferred property is restored to its original condition. First, this paper reviewed the case when the ‘obligor’ is not the same person as the ‘inheritor’ (Type A). Based on the provisions and precedents, this paper argued that the inheritor could request reassessment based on subsequent events when the obligee revoked the obligor’s endowment to the predecessor. Second, this paper reviewed the case in which the ‘obligor’ is the same person as the ‘inheritor,’ identical to the legal relationship addressed in the Case (Type B). Same as the conclusion from the previous review on Type A, this paper argued that the inheritor can request for reassessment based on subsequent events. In conclusion, contrary to the conclusion of the Case, this paper argued that the inheritor has the right to request for reassessment based on subsequent events in inheritance tax when the obligee revoked the obligor’s endowmnet to the predecessor.

실험계획법을 이용한 TCP 데이타 부분에 대한 상호운용성 시험스위트 생성

유지원(Jiwon Ryu),김명철(Myungchul Kim),설순욱(Soonuk Seol),강성원(Sungwon Kang),이영희(Younghee Lee),이근구(Keunku Lee) 한국정보과학회 2001 정보과학회논문지 : 정보통신 Vol.28 No.2

통신 프로토콜의 상호운용성을 시험하기 위한 시험경우를 생성하는 방법론이 논문 [1, 2, 3]에서 제안되었고 TCP와 ATM 프로토콜에 적용되었다. 이들 방법론으로 생성된 시험경우는 제어 부분만을 고려하고 있다. 그러나 실제 시험에 있어서는 데이타를 고려하여야 하며, 완전한 시험이 되기 위해서는 이들 변수들이 가질 수 있는 모든 값에 대한 시험을 거쳐야 하지만 이것은 현실적으로 불가능하다. 본 논문에서는 데이타를 포함하는 시험을 하기 위하여 논문 [1]에서 도출한 시험경우에 제어 부분과 데이타 부분을 동시에 고려하여 TCP의 연결 설정 절차에 대한 시험경우를 도출한다. 이 과정에서 시험경우의 수가 너무 커지는 것을 피하기 위해 최소의 실험횟수로 최대의 정보를 얻을 수 있도록 실험계획법(experimental design)을 이용한다. 실험계획법은 적합성 시험에는 적용되었지만 아직 상호운용성 시험에는 적용되지 않았다. 이 방법을 통해 데이타 부분을 포함하는 상호운용성 시험경우를 생성하고, 시험의 검출력 (power of test)을 유지하면서 최소화된 시험경우로 상호운용성 시험을 할 수 있는 가능성을 보인다. Test derivation methods suitable for interoperability testing of communication protocols were proposed in [1, 2, 3] and applied to the TCP and the ATM protocols. The test cases that were generated by them deal with only the control part of the protocols. However, in real protocol testing, the test cases must manage the data part as well. For complete testing, in principle we must test all possible values of data part although it is impractical to do so. In this paper, we present a method generating the interoperability test suite for both the data part and the control part of protocols with the example of TCP connection establishment. In this process, we make use of experimental design techniques from industrial engineering to minimize the size of test suite while keeping testing capability. Experimental design techniques have been used for protocol conformance testing but not for interoperability testing so far. We generate the test suite for data part by this method and show a possibility that we can test interoperability of protocols with the minimum number of test cases while maintaining the testing power.

RGB 영상 및 딥러닝 영상분할 모델을 이용한 사과 과실 표면결함 검출 기술 개발

류지원 ( Jiwon Ryu ),박성민 ( Seongmin Park ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),김성제 ( Sungjay Kim ),신상우 ( Xianghui Xin ),김기석 ( Ghiseok Kim ) 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.2

사과 과실의 표면에는 열과, 멍, 상처, 병해 등 다양한 유형의 결함이 발생할 수 있으며, 이는 사과의 상품성을 저해하기 때문에 수확 후 유통과정에서 결함 유무에 대한 선별이 이루어지고 있다. 현재 대부분의 산지유통센터에서 사과 표면 결함에 대한 선별은 작업자들의 육안 선별에 의존하고 있으며, 작업의 정확성과 효율성 개선을 위해서는 영상 기반의 자동 선별 기술이 필요한 상황이다. 본 연구에서는 사과 과실에 대한 RGB 영상과 딥러닝 영상분할(semantic segmentation) 모델을 활용하여 사과 표면에 발생하는 대표적인 결함 유형인 열과, 멍, 상처, 병해에 해당하는 영역을 자동으로 검출하는 기술을 개발하였다. 이를 위하여 표면결함이 존재하는 사과 과실의 영상을 수집하여 결함 정보에 대한 데이터셋을 구축하였고, 트랜스포머(transformer) 기반의 최신 딥러닝 영상분할 모델을 적용하여 표면결함의 영역과 유형을 학습하였다. 이를 통하여 사과 과실의 표면결함 유무를 진단하고 결함 영역을 유형 별로 검출할 수 있는 알고리즘을 개발하였으며, 영역 검출 성능 및 분류 정확도를 평가하였다.

가시광/근적외선 반투과 스펙트럼 및 인공신경망 기반 사과 과실 산도 예측 모델 개발

류지원 ( Jiwon Ryu ),박성민 ( Seongmin Park ),홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),이창협 ( Chang-hyup Lee ),김성제 ( Sungjay Kim ),노승우 ( Seung-woo Roh ),누르히스나 ( Nandita Irsaulul Nurhisn 한국농업기계학회 2023 한국농업기계학회 학술발표논문집 Vol.28 No.1

사과는 세계적으로 널리 소비되는 청과류에 해당하며, 사과에 함유된 당과 산의 함량은 사과 과실의 맛을 결정하는 주요 품질 인자에 해당한다. 여러 연구들에서 분광 분석 기술을 활용하여 사과 당도에 대한 비파괴 예측 및 선별 기술을 개발해온 것과 달리, 사과 산도의 경우 당도에 비해 낮은 함량으로 인하여 당도만큼 정확한 예측 모델의 개발이 이루어지지 못했다. 따라서, 본 연구에서는 가시광/근적외선(400-1,000 nm) 영역의 분광 스펙트럼에 인공지능 모델을 적용하여 사과 과실의 산도를 예측하는 다양한 회귀 모델을 개발하였고 모델 별 예측 정확도를 평가하였다. 이를 위하여 사과 과실에 대한 반투과 스펙트럼을 취득하여 전처리 기술을 적용하였고, PLS, PLS-ANN, ANN 등의 다양한 회귀모델을 활용한 예측 모델을 개발하였다. 이러한 과정을 통하여 각 예측 모델의 사과 산도 예측 오차를 분석하였고, 산도 예측에 유의미한 파장대역을 선정하였다.

초분광 영상 기반 고등어 신선도 비파괴평가기술 연구

류지원 ( Jiwon Ryu ),박성민 ( Seongmin Park ),홍석주 ( Suk-ju Hong ),김상연 ( Sang-yeon Kim ),김응찬 ( Eungchan Kim ),이창협 ( Chang-hyup Lee ),김성제 ( Sungjay Kim ),노승우 ( Seung-woo Roh ),누르히스나 ( Nandita Irsaulul Nurhisn 한국농업기계학회 2022 한국농업기계학회 학술발표논문집 Vol.27 No.2

고등어는 국내에서 많이 소비되는 수산물의 일종이며, 저장 및 유통 과정에서 쉽게 부패가 일어나기 때문에 세심한 주의가 필요하다. 본 연구에서는 다양한 저장 환경에서 시간에 따라 변화하는 참고등어(Scomber japonicus)의 신선도를 가시광/근적외선 초분광 영상으로부터 비파괴적으로 예측하는 모델을 개발하였다. 이를 위해 고등어 96 샘플을 다섯 가지 저장 환경(실온 보관, 얼음통에서 보관, 냉동 보관, 냉동 후 얼음통에서 해동, 냉동 후 냉장 해동)에서 7일간 보관하며 1, 4, 7일차에 신선도 및 초분광 영상을 측정하였다. 신선도 지표로는 pH, VBN (volatile basic nitrogen), K-value를 활용하였으며, 750-1300 nm의 초분광 영상을 측정하였다. 본 연구에서는 고등어 표면에서 측정된 초분광 영상으로부터 신선도 지표를 예측하는 부분최소제곱법(partial least squares, PLS) 기반 다변량 회귀 모델을 개발하였으며, 모델 검증용 데이터셋에 대하여 pH, VBN, K-value 각각을 0.7 이상의 결정계수로 예측하는 결과를 확인하였다.