Character-Net을 이용한 주요배역 추출

박승보 ( Seung-bo Park ),김유원 ( Yoo-won Kim ),조근식 ( Geun-sik Jo ) 한국인터넷정보학회 2010 인터넷정보학회논문지 Vol.11 No.1

본 논문에서는 동영상의 등장인물 간의 상황을 기초로 배역간의 관계를 정의한 Character-Net을 구축하는 방법과 이를 이용하여 동영상으로부터 주요배역을 추출하는 방법을 제안한다. 인터넷의 발전과 함께 디지털화된 동영상의 수가 기하급수적으로 증가하여 왔고 원하는 동영상을 검색하거나 축약하기 위해 동영상으로부터 의미정보를 추출하려는 다양한 시도가 있어 왔다. 상업용 영화나 TV 드라마와 같이 이야기 구조를 가진 대부분의 동영상은 그 속에 존재하는 등장인물들에 의해 이야기전개가 이루어지게 되므로, 동영상 분석을 위해 인물 간의 관계와 상황을 체계적으로 정리하고 주요배역을 추출하여 동영상검색이나 축약을 위한 정보로 활용할 필요가 있다. Character-Net은 영상의 그룹 단위에 등장하는 인물들을 찾아 화자와 청자를 분류하여 등장인물 기반의 그래프로 표현하고 이 그래프를 누적하여 전체 동영상의 등장인물들 간의 관계를 묘사한 네트워크다. 그리고 이 네트워크에서 연결정도 중심성 분석을 통해 주요배역을 추출할 수 있다. 이를 위해 본 논문에서는 Character-Net을 구축하고 주요배역을 추출하는 실험을 진행 하였다. In this paper, we propose a novel method of analyzing video and representing the relationship among characters based on their contexts in the video sequences, namely Character-Net. As a huge amount of video contents is generated even in a single day, the searching and summarizing technologies of the contents have also been issued. Thereby, a number of researches have been proposed related to extracting semantic information of video or scenes. Generally stories of video, such as TV serial or commercial movies, are made progress with characters. Accordingly, the relationship between the characters and their contexts should be identified to summarize video. To deal with these issues, we propose Character-Net supporting the extraction of major characters in video. We first identify characters appeared in a group of video shots and subsequently extract the speaker and listeners in the shots. Finally, the characters are represented by a form of a network with graphs presenting the relationship among them. We present empirical experiments to demonstrate Character-Net and evaluate performance of extracting major characters.

CNN 기반의 실사 이미지에 대한 게임 그래픽과 AI 그림 분류 모델 개발

박승보(Seung-Bo Park),조동휘(Dong-Hwi Cho),최서영(Seo-Young Choi),김은지(Eun-Ji Kim) 한국컴퓨터정보학회 2023 한국컴퓨터정보학회 학술발표논문집 Vol.31 No.2

인물 객체 간 상호작용 인식을 위한 물리접촉 검출

박승보(Seung-bo Park),정의손(Eui-son Jung),함동균(Dong-gyun Ham),금용호(Yong-ho Keum) 한국컴퓨터정보학회 2023 한국컴퓨터정보학회 학술발표논문집 Vol.31 No.2

스토리 정보의 검색을 위한 웹 기반의 협업적 스크립트 분석 플랫폼 개발

박승보(Seung-Bo Park),김현식(Hyun-Sik Kim),백영태(Yeong-Tae Baek),유은순(Eun-Soon You) 한국컴퓨터정보학회 2014 韓國컴퓨터情報學會論文誌 Vol.19 No.9

영화의 스토리에 대한 분석은 영화의 설계도와 같은 스크립트를 분석하여 용이하게 이루어질 수 있다. 영화의 스크립트는 파이널 드래프트(Final Draft)의 형식화된 구조로 기술되어 있지만, 웹상에 공개된스크립트들은 대부분 형식이 파괴되어 문장 내용에 대한 분석이 없으면 형식을 복원하기 힘든 상황이다. 이를 위해 자동으로 스크립트를 파싱한 후에 사용자들이 협업적으로 결과물의 오류를 자유롭게 점검하고 수정할 수 있도록 웹기반의 스크립트 분석 소프트웨어를 개발하고 제공할 필요가 있다. 따라서 본 논문에서는 사용자에 의해 스크립트의 형식 오류가 수정되고 걸러지게 하여 완성도 높은 영화 데이터 축적을 가능케 하는 웹 기반의 협업적 스크립트 분석 플랫폼의 구조를 제시하고, 구현 결과에 대한 성능평가를 진행하였다. 실험을 통해 자동 파싱 성공률이 64.95%로 나타났고, 협업적 오류 수정은 5단계를 거친 후에 대부분의 오류가 수정되어 99.58%의 파싱 정확도를 보여주었다. Movie stories can be retrieved efficiently by analyzing a script, which is a blueprint of the movie. Although the movie script is described in the formatted structure of Final Draft, it is hard to restore the type without analyzing the story of the sentences since the scripts open on the website are mostly broken. For this purpose, it is necessary to develop and provide the web-based script analysis software so that users collaboratively and freely check and correct the errors in the results after automatically parsing the script. Hence, in this paper we suggest the structure of the web-based collaborative script analysis platform that enables users to modify and filter the type error of the script for high level of film data accumulation and performance evaluation for the implementation results is conducted. Through the experiment, accuracy of automatically parsing appears to be 64.95% and performance of modification by collaboration showed 99.58% of accuracy of parsing with errors mostly corrected after passing through 5 steps of modification.

스토리텔링 콘텐츠의 효과적인 관리를 위한 영화 스토리 발단부의 자동 경계 추출

박승보(Seung-Bo Park),유은순(Eunsoon You),정재은(Jason J. Jung) 한국지능정보시스템학회 2011 지능정보연구 Vol.17 No.4

Movie is a representative media that can transmit stories to audiences. Basically, a story is described by characters in the movie. Different from other simple videos, movies deploy narrative structures for explaining various conflicts or collaborations between characters. These narrative structures consist of 3 main acts, which are beginning, middle, and ending. The beginning act includes 1) introduction to main characters and backgrounds, and 2) conflicts implication and clues for incidents. The middle act describes the events developed by both inside and outside factors and the story dramatic tension heighten. Finally, in the end act, the events are developed are resolved, and the topic of story and message of writer are transmitted. When story information is extracted from movie, it is needed to consider that it has different weights by narrative structure. Namely, when some information is extracted, it has a different influence to story deployment depending on where it locates at the beginning, middle and end acts. The beginning act is the part that exposes to audiences for story set-up various information such as setting of characters and depiction of backgrounds. And thus, it is necessary to extract much kind information from the beginning act in order to abstract a movie or retrieve character information. Thereby, this paper proposes a novel method for extracting the beginning boundaries. It is the method that detects a boundary scene between the beginning act and middle using the accumulation graph of characters. The beginning act consists of the scenes that introduce important characters, imply the conflict relationship between them, and suggest clues to resolve troubles. First, a scene that the new important characters don’t appear any more should be detected in order to extract a scene completed the introduction of them. The important characters mean the major and minor characters, which can be dealt as important characters since they lead story progression. Extra should be excluded in order to extract a scene completed the introduction of important characters in the accumulation graph of characters. Extra means the characters that appear only several scenes. Second, the inflection point is detected in the accumulation graph of characters. It is the point that the increasing line changes to horizontal line. Namely, when the slope of line keeps zero during long scenes, starting point of this line with zero slope becomes the inflection point. Inflection point will be detected in the accumulation graph of characters without extra. Third, several scenes are considered as additional story progression such as conflicts implication and clues suggestion. Actually, movie story can arrive at a scene located between beginning act and middle when additional several scenes are elapsed after the introduction of important characters. We will decide the ratio of additional scenes for total scenes by experiment in order to detect this scene. The ratio of additional scenes is gained as 7.67% by experiment. It is the story inflection point to change from beginning to middle act when this ratio is added to the inflection point of graph. Our proposed method consists of these three steps. We selected 10 movies for experiment and evaluation. These movies consisted of various genres. By measuring the accuracy of boundary detection experiment, we have shown that the proposed method is more efficient.

발달장애 아동의 운동능력 평가 및 시스템 : 특허출원 10-2021-0165242

박승보(Park, Seung-Bo),정진욱(Chung, Jin-Wook) 한국사회체육학회 2022 한국사회체육학회지 Vol.- No.87

Purpose: The present invention has a technical purpose to provide a method and system for evaluating the motor ability of children with developmental disabilities based on their cognitive test and sociality test results. Method: This invention relates to a technique for evaluating comprehensive motor ability by performing cognitive function test and social function test in children with developmental disabilities, but evaluating an appropriate level of motor performance in consideration of their developmental state. Results: This invention evaluates exercise performance in children whit developmental disabilities through the following steps, and then using the indoor exercise test equipment in the service server: 1) In Step 1, provide a cognitive test screen to an indoor test terminal to execute a cognitive test on children with developmental disabilities, and generate cognitive test result information based on the response information, 2) in Step 2, provide a sociality test screen from the service server to the corresponding indoor test terminal to run a sociality test for them, and generate sociality test result information based on the response information, and 3) in Step 3, determine the indoor exercise test level based on the cognitive test and sociality test results in the service server. Conclusion: This exercise evaluation system will be used as an important indicator for the development of effective convergence exercise programs to promote social and cognitive functions of children with developmental disabilities, along with their health improvement.

스토리 차원의 Cinemetrics를 위한 협업적 스크립트 분석 플랫폼

박승보(Seung-Bo Park),홍민성(Min-Sung Hong),김현식(Hyunsik Kim),백영태(Yeong-Tae Baek),유은순(Eun-Soon You) 한국컴퓨터정보학회 2014 한국컴퓨터정보학회 학술발표논문집 Vol.22 No.2

영화의 다양한 정보들을 측정하고 씨네메트릭스와 관련된 기존의 연구들은 스토리 차원의 정보들을 활용하지 못하는 문제가 있다. 본 논문에서는 스토리 차원의 씨네메트릭스 연구를 위해 영화의 설계도와 같은 스크립트에 대한 데이터 수집과 분석을 가능케 하는 협업적 스크립트 분석 플랫폼을 제안하고 개발한다. 이를 위해 자동으로 스크립트를 파싱하고 사용자들이 협업적으로 결과물의 오류를 수정하여 분석 데이터로 활용할 수 있는 소프트웨어를 개발하고 제공하고자 한다. 따라서 사용자에 의해 오류가 수정되고 걸러지게 하여 완성도 높은 영화 데이터 축적을 가능케 하는 협업적 스크립트 분석 플랫폼의 구조를 제시하고, 구현 결과에 대해 설명한다.

등장인물들의 시간적 관계 변화에 기초한 스토리 가시화에 관한 연구

박승보(Seung-Bo Park),백영태(Yeong Tae Baek) 한국컴퓨터정보학회 2013 韓國컴퓨터情報學會論文誌 Vol.18 No.3

본 논문에서는 영화나 소설과 같이 스토리를 갖는 콘텐츠에 대해 스토리를 가시화해서 보여주는 시스템에 대해 제안하고 설명한다. 스토리를 가시화 해주기 위해 등장인물들 간의 관계를 모형화 하는 Character-net 방법론을 스토리 모형으로 적용하였다. 하지만 Character-net은 전체 스토리를 누적된 형태로 표현하기 때문에 스토리 진행에 따른 변화를 보여주기 한계가 있다. 이의 개선을 위해 Character-net의 변화와 등장인물들의 변화를 분석하여 보여주는 시스템을 개발하였다. 시스템은 Character-net 변화 실행 및 분석창과 등장인물 중심성 변화 시계열 그래프 창으로 구성하였다. 두 가지 창을 통해 주요 등장인물들이 처음 등장하거나 처음 만나는 장면과 같은 등장인물들 사이에서 나타나는 주요 변화지점을 찾는 기능과 인디그리와 아웃디그리의 변화 패턴을 통해 등장인물의 성향이나 성향의 변화를 추적할 수 있도록 지원하는 기능을 구현하였다. 본 논문에서는 이러한 스토리 가시화 시스템에 대해 설명하고 추가적으로 필요한 사항들에 대해 논의한다. In this paper, we propose and describe the system to visualize the story of contents such as movies and novels. Character-net is applied as story model in order to visualize story. However, it is the form to be accumulated for total movie story, though it can depict the relationship between characters. We have developed the system that analyzes and shows the variation of Character-net and characters' tendency in order to represent story variation depending on movie progression. This system is composed by two windows that can play and analyze sequential Character-nets by time, and can analyze time variant graph of characters' degree centrality. First window has a function that supports to find important story points like the scenes that main characters appear or meet firstly. Second window supports a function that track each character's tendency or a variation of his tendency through analyzing in-degree graph and out-degree. This paper describes the proposed system and discusses additional requirements.

쥬니어 피겨스케이팅 선수의 복합훈련 유형이 최대산소섭취량과 하지근 파워에 미치는 영향

박승보(Park, Seung-Bo),한정규(Han, Jong-Kyue) 한국체육교육학회 2016 한국체육교육학회지 Vol.21 No.3

본 연구는 쥬니어 피겨스케이팅 여자 싱글 선수의 플라이오메트릭를 동반한 심폐지구력 훈련 유형이 최대산소섭취량 및 하지 근 파워에 미치는 영향을 비교하는데 그 목적이 있다. 여자 피겨스케이팅 선수 12-15세 20명을 대상으로 비 시즌 시 12주간 PL집단(플라이오메트릭 훈련 + 장거리저속 훈련), PI집단(플라이오메트릭 훈련 + 고강도 인터벌 훈련)으로 분류하여 처치 후 이원반복측정변량분석을 이용하여 최대산소섭취량과 하지 근 파워를 비교 분석하였다. 1. 최대산소섭취량의 시기 별 주 효과 분석에서 PL집단과 PI집단 모두 통계적으로 유의한 결과를 나타내었으며, PI집단이 PL집단과 비교하여 다소 높은 결과를 나타내었다. 2. 등속성 슬관절 신근력은 PI집단이 PL집단과 비교하여 유의하게 증가하였다. 3. 등속성 슬관절 굴근력은 PI집단이 PL집단보다 유의하게 높은 결과를 나타내었다. 4. 수직점프는 PI집단이 PL집단과 비교하여 상대적으로 증가된 결과를 나타내었다. 따라서 플라이메트릭을 동반한 복합 훈련 시 고강도 인터벌 훈련은 최대산소섭취량 및 하지 근 파워 향상에 효과적인 훈련 방법이다. Purpose: The aim of study was to compare different forms of plyometric and cardiorespiratory endurance training on maximal oxygen uptake(VO₂max) and lower limb explosiveness to improve motion performance capability among junior figure skaters. Methods: Twenty participants were randomly allocated to either the plyometric combined with long slow distance training group(PL) or the plyometric combined high-intensity interval training group (PI) with 10 participants in each group over 12 weeks training intervention. Participants was evaluated with VO₂max and lower limb explosiveness tests by a two way Anova with repeated measures. Results: 1. Analysis of the data revealed that VO₂max show main effects of period in PL and PI. 2. Pl group was significantly higher than PL group in leg extensor isokinetic strength. 3. Pl group was significantly higher than PL group in flexor isokinetic strength. 4. Pl group was significantly higher than PL group in vertical jump. Conclusion: Plyometric and high-intensity interval training complex training are effective exercise methods for VO₂max and lower limb explosiveness.

Character-net에서 배역비중의 분류와 커뮤니티 클러스터링

박승보(Seung-Bo Park),조근식(Geun-Sik Jo) 한국컴퓨터정보학회 2009 韓國컴퓨터情報學會論文誌 Vol.14 No.11

동영상으로부터 원하는 정보를 검색하려는 다양한 연구들이 있어왔다. 하지만 기존의 연구들은 동영상의 스토리에 대한 고려 없이 특정한사물의 인식이나 사물간의 관계 정보만을 추출하여 검색에 이용하였다. 동영상에서 정확한 정보를 검색하기 위해서는 스토리의 주축이 되는 등장인물과 등장인물의 커뮤니티에 기반을 둔 연구가 반드시 필요하다. 따라서 본 논문은 등장인물에 기반을 둔 동영상 정보검색 방법을 기술한다. 등장인물들은 서로 대화를 통해 관계를 맺으며 스토리를 진행시킨다. 등장인물들 간의 관계는 배역의 비중을 분류하고 등장인물들이 이루는 커뮤니티를 구분하여 스토리에 형성되어 있는 관계를 분석할 수 있다. 이를 위해 본 논문에서 등장인물들의 관계를 묘사할 수 있는 Character-net을 제안하고 Character-net으로부터 등장인물들의 배역의 비중을 분류하고 등장인물들이 이루는 커뮤니티를 클러스터링 하는 방법에 대해 기술하고 실험을 통해 그 효용성을 입증한다. There are various approaches that retrieve information from video. However, previous approaches have considered just object information and relationship between objects without story information to retrieve contents. To retrieve exact information at video, we need analyzing approach based on characters and community since these are body of story proceeding. Therefore, this paper describes video information retrieval methodology based on character information. Characters progress story to form relationship through conversations. We can analyze the relationship between characters in a story with the methods that classifies role grades and clusters communities of characters. In this paper, for these, we propose the Character-net and describe how to classify role grades and cluster communities at Character-net. And we show this method to be efficient.