선호도 재계산을 위한 연관 사용자 군집 분석과 Representative Attribute -Neighborhood를 이용한 협력적 필터링 시스템의 성능향상

정경용,김진수,김태용,이정현,Jung, Kyung-Yong,Kim, Jin-Su,Kim, Tae-Yong,Lee, Jung-Hyun 한국정보처리학회 2003 정보처리학회논문지B Vol.10 No.3

추천 시스템에 있어서 협력적 필터링 기술은 많은 연구가 되고 있다. 그러나 협력적 필터링 기술을 이용한 추천 시스템은 초기 평가 문제와 희박성 문제가 발생한다. 이를 해결하기 위해서 본 논문에서는 선호도 재 계산을 위한 연관 사용자 군집과 베이지안 추정치를 이용한 사용자 선호도 예측 방법을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서 아이템의 속성을 고려하지 않는 단점을 보완하기 위해서 선호도에 가장 크게 영향을 미치는 대표 장르를 추출하여 유사한 이웃을 찾아 낼 때 예측에 이용하는 Representative Attribute-Neighborhood 방법을 사용한다. 협력적 필터링의 알고리즘에 군집 아이템 백터 내의 특정 아이템의 선호도를 재계산 하기 위한 연관 사용자 군집 분석을 적용하여 성능 향상을 하였다. 또 초기 평가 문제와 희박성 문제를 해결하기 위하여 Association Rule Hypergraph Partitioning 알고리즘을 사용하여 사용자를 장르별로 군집한다. 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도를 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게하여 예측의 정확도를 높일 수 있다. 제안된 방법은 기존의 방법보다 높은 성능을 나타냄을 보인다. There has been much research focused on collaborative filtering technique in Recommender System. However, these studies have shown the First-Rater Problem and the Sparsity Problem. The main purpose of this Paper is to solve these Problems. In this Paper, we suggest the user's predicting preference method using Bayesian estimated value and the associative user clustering for the recalculation of preference. In addition to this method, to complement a shortcoming, which doesn't regard the attribution of item, we use Representative Attribute-Neighborhood method that is used for the prediction when we find the similar neighborhood through extracting the representative attribution, which most affect the preference. We improved the efficiency by using the associative user's clustering analysis in order to calculate the preference of specific item within the cluster item vector to the collaborative filtering algorithm. Besides, for the problem of the Sparsity and First-Rater, through using Association Rule Hypergraph Partitioning algorithm associative users are clustered according to the genre. New users are classified into one of these genres by Naive Bayes classifier. In addition, in order to get the similarity value between users belonged to the classified genre and new users, and this paper allows the different estimated value to item which user evaluated through Naive Bayes learning. As applying the preference granted the estimated value to Pearson correlation coefficient, it can make the higher accuracy because the errors that cause the missing value come less. We evaluate our method on a large collaborative filtering database of user rating and it significantly outperforms previous proposed method.

개인화 추천 시스템의 예측 정확도 향상을 위한 사용자 유사도 가중치에 대한 비교 평가

정경용,이정현,Jung Kyung-Yong,Lee Jung-Hyun 대한전자공학회 2005 電子工學會論文誌-CI (Computer and Information) Vol.42 No.6

전자상거래에서 최근 대부분의 개인화된 추천 시스템들은 협력적 필터링 기술을 적용하고 있다. 이 방법은 사용자의 성향에 맞는 아이템을 예측하고 추천하기 위하여 비슷한 선호도를 가지는 사용자들간의 유사도 가중치를 계산한다. 이때 일반적으로 피어슨 상관계수를 많이 사용한다. 그러나 이 방법은 두 사용자가 공통으로 선호도를 평가한 아이템들이 있을 때만 상관관계를 계산할 수 있으므로 예측의 정확도는 떨어진다. 사용자 유사도 가중치는 사용자의 성향에 맞는 아이템을 예측하는 경우 뿐만 아니라 개인화된 추천 시스템의 성능에 영향을 미칠 수 있다. 본 논문에서는 정보검색 분야의 벡터 유사도, 엔트로피, 역 사용자 빈도, 기본 선호도 평가를 적용하여 유사도 가중치 공식에 대해서 살펴보고, 추천 시스템의 예측 정확도 향상에 대해서도 실험을 통해 확인해 보았다. 실험 결과는 엔트로피를 이용한 유사도 가중치에 기본 선호도 평가를 결합하는 방법이 가장 성능이 우수함을 알 수 있다. In Electronic Commerce, the latest most of the personalized recommender systems have applied to the collaborative filtering technique. This method calculates the weight of similarity among users who have a similar preference degree in order to predict and recommend the item which hits to propensity of users. In this case, we commonly use Pearson Correlation Coefficient. However, this method is feasible to calculate a correlation if only there are the items that two users evaluated a preference degree in common. Accordingly, the accuracy of prediction falls. The weight of similarity can affect not only the case which predicts the item which hits to propensity of users, but also the performance of the personalized recommender system. In this study, we verify the improvement of the prediction accuracy through an experiment after observing the rule of the weight of similarity applying Vector similarity, Entropy, Inverse user frequency, and Default voting of Information Retrieval field. The result shows that the method combining the weight of similarity using the Entropy with Default voting got the most efficient performance.

개인화 추천 시스템에서 연관 관계 군집에 의한 아이템 기반의 협력적 필터링 기술

정경용(Kyung-Yong Jung),김진현(Jin-Hyun Kim),정헌만(Heon-Man Jung),이정현(Jung-Hyun Lee) 한국정보과학회 2004 정보과학회논문지 : 소프트웨어 및 응용 Vol.31 No.4

추천 시스템은 예전에는 몇몇 혁신적인 전자상거래(E-commerce) 사이트에서만 사용되어 왔으나 현재는 전자상거래를 새롭게 재구성하는 필수적인 비즈니스 도구가 되어가고 있다. 그리고 협력적 필터링은 이론과 실무 분야 모두에서 가장 성공적으로 평가 받은 추천 기법 중 하나이다. 그러나 개인화 추천 시스템을 구축하기 위해서는 두 가지 문제를 동시에 고려해야 한다. 즉 초기 평가 문제와 희박성 문제이다. 본 논문에서는 연관 관계 군집과 연관 규칙의 향상도를 이용하여 이러한 문제를 해결하고자 한다. 사용자의 평가 데이타를 사용하여 아이템간의 향상도를 산출하고, α-cut에 의한 임계값을 아이템들간의 연관성에 적용한다. 연관 관계 군집의 효율성을 높이기 위해서 기존의 Hypergraph Clique Clustering 알고리즘과 본 연구에서 제안하는 Split Cluster Method를 이용하였다. 군집이 완성되면, 각 군집 내부에서 아이템간의 유사도를 산출하고 빠른 액세스를 위해 인덱스를 데이타베이스에저장한다. 새로운 아이템들의 선호도 예측 시에 생성한 인덱스를 적용시킨다. 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다. 그 결과 기존의 협력적 필터링 기술의 문제점을 해결하여 예측의 정확도를 높이는데 효과 적임을 확인하였다. While recommender systems were used by a few E-commerce sites former days, they are now becoming serious business tools that are re-shaping the world of E-commerce. And collaborative filtering has been a very successful recommendation technique in both research and practice. But there are two problems in personalized recommender systems, it is First-Rating problem and Sparsity problem. In this paper, we solve these problems using the associative relation clustering and “Lift” of association rules. We produce “Lift” between items using user's rating data. And we apply Threshold by -cut to the association between items. To make an efficiency of associative relation cluster higher, we use not only the existing Hypergraph Clique Clustering algorithm but also the suggested Split Cluster method. If the cluster is completed, we calculate a similarity item in each inner cluster. And the index is saved in the database for the fast access. We apply the creating index to predict the preference for new items. To estimate the performance, the suggested method is compared with existing collaborative filtering techniques. As a result, the proposed method is efficient for improving the accuracy of prediction through solving problems of existing collaborative filtering techniques.

내용 기반 여과와 협력적 여과의 병합을 통한 추천 시스템에서 조화 평균 가중치

정경용(Kyung-Yong Jung),류중경(Joong-Kyung Ryu),강운구(Kang-Un Gu),이정현(Jung-Hyun Lee) 한국정보과학회 2003 정보과학회논문지 : 소프트웨어 및 응용 Vol.30 No.3·4

Recent recommender system uses a method of combining collaborative filtering system and content based filtering system in order to slove the problem of the Sparsity and First-Rater in collaborative filtering system. In this paper, to make up for the prediction accuracy in hybrid Recommender system, the harmonic mean weight(CBCF_harmonic_mean) is used for calculating the user similarity weight. After setting up the threshold as 45 considering the performance of content based filtering, we apply significance weight of n/45 to user similarity weight. To estimate the performance of the proposed method, it is compared with that of combing both the existing collaborative filtering system and the content-based filtering system. As a result, it confirms that the suggested method is efficient at improving the prediction accuracy as solving problems of the exiting collaborative filtering system. 전자 상거래 분야에서 증가하고 있는 정보들 중에 사용자가 자신의 기호에 맞는 정보들 만을 선택하기 위해서 각 정보를 일일이 검토하기 어려운 일이다. 이를 보완하기 위해 정보 여과 기술이 사용되는데 최근 추천 시스템은 협력적 여과 시스템의 희박성과 초기 평가 문제를 해결하기 위해서 내용 기반 여과 시스템과 협력적 여과 시스템을 병합하는 방법을 사용한다. 본 논문에서는 혼합형 추천 시스템에서의 예측의 정확도를 향상시키기 위해서 조화 평균 가중치(CBCF_harmonic_mean)를 사용자 유사도 가중치를 구할 때 사용한다. 내용 기반의 성능을 고려하여 임계치 값을 45로 설정한 후, n/45의 Significance weight을 사용자 유사도 가중치에 적용한다. 제안된 방법의 성능을 평가하기 위해서 기존의 협력적 여과 시스템과 내용 기반 여과 시스템을 병합한 방법과 비교 평가 하였다. 그 결과 기존의 협력적 여과 시스템의 문제점을 해결하여 예측의 정확도를 높이는데 효과적임을 확인하였다.

사용자 선호도 예측과 Textile 기반의 협력적 필터링 기술을 이용한 섬유패션 디자인 추천 에이전트

정경용 ( Kyung Yong Jung ),김진현 ( Jin Hyun Kim ),나영주 ( Young Joo Na ) 한국감성과학회 2002 추계학술대회 Vol.2002 No.-

제품의 품질 및 가격 뿐만 아니라 물질적 풍요로움과 더불어 다변화 되어가는 생활 환경 속에서 소비자의 감성과 선호도를 파악하는 것은 제품 판매 전략의 중요한 성공요소가 되고 있다. 이를 위하여 제품의 기능적 측면 뿐만 아니라 개개인의 정서적 감정과 선호도가 반영된 제품의 설계나 디자인 또한 요구되고 있다. 본 연구에서는 소재 개발의 프로세스가 고객 중심으로 변화하는 것에 대응하여 사용자의 감성과 선호도를 중심으로 소재를 개발하는 방법의 하나로 협력적 필터링 개인화 기법을 응용하여 섬유 패션 디자인 추천 시스템을 제안한다. Textile 기반의 협력적 필터링 시스템에서 예측에 사용될 이웃의 수를 결정하기 위해서 Representative Attribute-Neighborhood를 사용한다. 이웃들간의 사용자 유사도 가중치는 피어슨 상관 계수(Pearson Correlation Coefficient)를 사용한다. 소재에 대한 사용자의 감성이나 선호도에 대한 Textile의 대표 감성 형용사를 추출함으로써 소재 개발을 위한 감성 형용사 데이터 베이스를 구축한다. 구축된 감성 형용사 데이터 베이스를 기반으로 성향이 비슷한 사용자에게 Textile을 추천한다. 사용자 선호도 예측과 Textile 기반의 협력적 필터링 기술을 이용한 섬유 패션 디자인 추천 에이전트를 구축하여 시스템의 논리적 타당성과 유효성을 검증하기 위해 실험적인 적용을 시도하고자 한다.

텍스타일 기반의 협력적 필터링 기술과 디자인 요소에 따른 감성 분석을 이용한 패션 디자인 추천 에이전트 시스템

정경용(Kyung-Yong Jung),나영주(Young-Joo Na),이정현(Jung-Hyun Lee) 한국정보과학회 2004 정보과학회 컴퓨팅의 실제 논문지 Vol.10 No.2

제품의 품질 및 가격뿐만 아니라 물질적 풍요로움과 더불어 다변화 되어가는 생활 환경 속에서 소비자의 감성과 선호도를 파악하는 것은 제품 판매 전략의 중요한 성공요소가 되고 있다. 이를 위하여 제품의 기능적 측면뿐만 아니라 개개인의 정서적 감정과 선호도가 반영된 제품의 설계나 디자인 또한 요구되고 있다. 본 연구에서는 사용자의 감성과 선호도를 중심으로 소재를 개발하는 방법의 하나로 협력적 필터링 개인화 기법을 응용하여 패션 디자인 추천 에이전트 시스템(FDRAS-pro)을 제안한다. 텍스타일 기반의 협력적 필터링 기술에서, 예측에 사용될 이웃의 수를 결정하기 위해서 Representative Attribute-Neighborhood 방법을 사용한다. 사용자들간의 유사도 가중치를 계산하기 위해서 피어슨 상관계수(Pearson Correlation Coefficient)를 사용한다. 소재에 대한 사용자의 감성이나 선호도에 대한 텍스타일의 대표 감성 어휘를 추출함으로써 소재 개발을 위한 감성 어휘 데이타베이스를 구축한다. FDRAS-pro는 구축된 감성 어휘 데이타베이스를 기반으로 성향이 비슷한 사용자에게 텍스타일 디자인을 추천한다. 디자인 요소에 따른 감성 분석을 하기 위해서, 텍스타일 디자인을 9가지 디자인 요소(디자인 소재, 모티브대 배경비율, 모티브의 변화도, 해석법, 모티브의 배열, 모티브의 명료성, 명도차, 색상차, 채도차)에 따라 분석하였다. 패션 디자인 추천 시스템으로 개발하여 시스템의 논리적 타당성과 유효성을 검증하기 위해 실험적인 적용을 시도하고자 한다. In the life environment changed with not only the quality and the price of the products but also the material abundance, it is the most crucial factor for the strategy of product sales to investigate consumer's sensibility and preference degree. In this perspective, it is necessary to design and merchandise the products in cope with each consumer's sensibility and needs as well as its functional aspects. In this paper, we propose the Fashion Design Recommender Agent System (FDRAS-pro) for textile design applying collaborative filtering personalization technique as one of the methods of material development centered on consumer's sensibility and preference. For a collaborative filtering system based on textile, Representative-Attribute Neighborhood is adopted to determine the number of neighbors that will be used for preferences estimation. Pearson’s Correlation Coefficient is used to calculate similarity weights among users. We build a database founded on the sensibility adjectives to develop textile designs by extracting the representative sensibility adjectives from users’ sensibility and preferences about textile designs. FDRAS-pro recommends textile designs to a customer who has a similar propensity about textile. To investigate the sensibility and emotion according to the effect of design factors, textile designs were analyzed in terms of 9 design factors, such as, motif source, motif-background ratio, motif variation, motif interpretation, motif arrangement, motif articulation, hue contrast, value contrast, chroma contrast. Finally, we plan to conduct empirical applications to verify the adequacy and the validity of our system.

클라이언트 - 서버 모델 기반의 개인화 텍스타일 감성 디자인 추천 시스템의 성능 평가

정경용(Kyung-Yong Jung),김종훈(Jong-Hun Kim),나영주(Young-Joo Na),이정현(Jung-Hyun Lee) 한국정보과학회 2005 정보과학회 컴퓨팅의 실제 논문지 Vol.11 No.2

최근의 전자상거래 사이트들은 사용자 만족을 극대화 시키기 위해 사용자별로 개인화된 서비스를 제공하고 있다. 협력적 필터링은 개인화된 아이템 실시간 추천을 위하여 고안된 알고리즘이며 예측의 정확도와 성능을 증대시키기 위해서 다양한 보완 방법들이 제시되고 있다. 유용한 추천 시스템을 구축하기 위해서는 두 가지 문제를 동시에 고려해야 한다. 그러나, 협력적 필터링 기술에 관한 연구는 정확도 향상에 관한 연구가 주로 수행되었고 성능 문제는 간과하여 왔다. 본 연구에서는 추천 에이전트 시스템의 성능을 향상시킬 수 있는 대표 속성을 이용한 이웃 선택, 추천 텍스타일 집합, 유사 군집 요소를 협력적 필터링 기술에 추가하여 실험해 보았다. 패션 디자인 추천 에이전트 시스템(FDRAS)을 개발하여 시스템의 논리적 타당성과 유효성을 검증하기 위해 실험적인 적용을 시도하고자 한다. The latest E-commerce sites provide personalized services to maximize user satisfaction for Internet user. The collaborative filtering is an algorithm for personalized item real-time recommendation. Various supplementary methods are provided for improving the accuracy of prediction and performance. It is important to consider these two things simultaneously to implement a useful recommendation system. However, established studies on collaborative filtering technique deal only with the matter of accuracy improvement and overlook the matter of performance. This study considers representative attribute-neighborhood, recommendation textile set, and similarity grouping that are expected to improve performance to the recommendation agent system. Ultimately, this paper suggests empirical applications to verify the adequacy and the validity on this system with the development of Fashion Design Recommendation Agent System (FDRAS).

연관 마이닝을 이용한 고객 관계 관리 적용

정경용(Kyung-Yong Chung),김종훈(Jong-Hun Kim),류중경(Joong-Kyung Ryu),임기욱(Kee-Wook Rim),이정현(Jung-Hyun Lee) 한국콘텐츠학회 2008 한국콘텐츠학회논문지 Vol.8 No.6

유비쿼터스 상거래에서 회사가 정보를 효율적으로 이용할 수 있도록 제어하고 필터링하는 일을 도와주는 고객 관계 마케팅이 등장하였으며, 더 나아가 고객이 원하는 제품을 예측하고 추천해주고 있으며 이를 위해 데이터 마이닝 기술을 적용하고 있다. 본 논문에서는 연관 마이닝을 이용한 고객 관계 관리 적용 사례 연구를 제안하였다. 제안된 방법으로는 연관 마이닝을 이용하여 후보 고객 집합으로 빈발 고객을 구성하고 연관 고객 규칙을 생성한다. 생성된 연관 규칙의 향상도에 따라서 하이퍼 그래프 분할을 이용하여 효율적인 구매고객들의 특성을 분석한다. 그러므로 기존 고객에 대한 교차 판매와 격상 판매의 전략들을 도출하게 된다. 성능평가를 위해 설문조사 데이터 집합에서 기존의 방법과 비교 평가하였다. 실험 결과 제안한 방법이 기존의 다른 방법들보다 정확도면에서 우수함을 확인하였다. The customer relation marketing in which companies can utilize to control and to get the filtered information efficiently has appeared in ubiquitous commerce. It is applying data mining technique to build the management that can even predict and recommend products to customers. In this paper, we proposed the case of customer relation management application using the associative mining. The proposed method uses the associative mining composes frequent customers with occurrence of candidate customer-set creates the association rules. We analyzed the efficient the feature of purchase customers using the hypergraph partition according to the lift of creative association rules. Therefore, we discovered strategies of the cross-selling and the up-selling. To estimate the performance, the suggested method is compared with the existing methods in the questionnaire dataset. The results have shown that the proposed method significantly outperforms the accuracy than the previous methods.

베이지안 추정치가 부여된 유사도 가중치와 연관 사용자 군집을 이용한 선호도 예측 시스템

정경용(Kyung-Yong Jung),최성용(Seong-Yong Choi),임기욱(Kee-Wook Rim),이정현(Jung-Hyun Lee) 한국정보과학회 2003 정보과학회논문지 : 소프트웨어 및 응용 Vol.30 No.3·4

기존의 협력적 필터링 기술을 이용한 사용자 선호도 예측 방법에서는 피어슨 상관 계수에 의해 사용자의 유사도를 구하고, 아이템에 대한 사용자의 선호도를 기반으로 이웃 선정 방법을 사용하므로 아이템에 대한 내용을 반영하지 못할 뿐만 아니라 희박성 문제를 해결하지 못하였다. 본 논문에서는 기존의 사용자 선호도 예측 방법의 문제점을 보완하기 위하여 베이지안 추정치가 부여된 유사도 가중치와 연관 사용자 군집을 이용한 선호도 예측 시스템을 제안한다. 제안한 방법에서는 협력적 필터링 시스템에서의 희박성 문제를 해결하기 위하여 Association Rule Hypergraph Partitioning 알고리즘을 사용하여 사용자를 장르별로 군집하며 새로운 사용자는 Naive Bayes 분류자에 의해 이들 장르 중 하나로 분류된다. 또한, 분류된 장르 내에 속한 사용자들과 새로운 사용자의 유사도를 구하기 위해 Naive Bayes 학습을 통해 사용자가 평가한 아이템에 추정치를 달리 부여한다. 추정치가 부여된 선호도를 기존의 피어슨 상관 관계에 적용할 경우 결측치(Missing Value)로 인한 예측의 오류를 적게하여 예측의 정확도를 높일 수 있다. 제안된 방법의 성능을 평가하기 위해서 기존의 협력적 필터링 기술과 비교 평가하였다. 그 결과 기존의 협력적 필터링 기술의 문제점을 해결하여 예측의 정확도를 높이는데 효과적임을 확인하였다. ABSTRACT A user preference prediction method using an exiting collaborative filtering technique has used the nearest-neighborhood method based on the user preference about items and has sought the user's similarity from the Pearson correlation coefficient. Therefore, it does not reflect any contents about items and also solve the problem of the sparsity. This study suggests the preference prediction system using the similarity weight granted Bayesian estimated value and the associative user clustering to complement problems of an exiting collaborative preference prediction method. This method suggested in this paper groups the user according to the Genre by using Association Rule Hypergraph Partitioning Algorithm and the new user is classified into one of these Genres by Naive Bayes classifier to slove the problem of sparsity in the collaborative filtering system. Besides, for get the similarity between users belonged to the classified genre and new users, this study allows the different estimated value to item which user vote through Naive Bayes learning. If the preference with estimated value is applied to the exiting Pearson correlation coefficient, it is able to promote the precision of the prediction by reducing the error of the prediction because of missing value. To estimate the performance of suggested method, the suggested method is compared with existing collaborative filtering techniques. As a result, the proposed method is efficient for improving the accuracy of prediction through solving problems of existing collaborative filtering t echniques.

단어 빈도와 α-cut에 의한 연관 웹문서 분류를 이용한 추천 시스템

정경용(Kyung-Yong Jung),하원식(Won-Shik Ha) 한국콘텐츠학회 2008 한국콘텐츠학회논문지 Vol.8 No.1

협력적 필터링을 개선하기 위하여 많은 기술들이 개발되고 실용화되었으나 아이템의 연관 관계를 정확하게 반영하지는 못한다. 본 논문에서는 협력적 필터링의 문제점을 보완하기 위하여 단어 빈도와 α-cut에 의한 연관 웹문서 분류를 이용한 추천 시스템을 제안한다. 제안된 방법은 형태소 분석을 통한 웹문서에서 단어를 추출하고 빈도 가중치를 계산한다. 추출된 단어를 Apriori 알고리즘을 이용해서 연관 규칙을 생성하고 신뢰도에 단어 빈도 가중치를 적용한다. 그리고 연관 규칙 하이퍼그래프 분할을 이용하여 연관 단어간의 유사도를 계산한다. 마지막으로 유사 클래스를 기반으로 연관 웹문서를 α-cut을 이용하여 분류하고 개선된 코사인 유사도를 이용하여 유사도를 계산한다. 실험 결과 제안한 방법이 기존의 방법들보다 우수함을 확인하였다. Although there were some technological developments in improving the collaborative filtering, they have yet to fully reflect the actual relation of the items. In this paper, we propose the recommendation system using associative web document classification by word frequency and a-cut to address the short comings of the collaborative filtering. The proposed method extracts words from web documents through the morpheme analysis and accumulates the weight of term frequency. It makes associative rules and applies the weight of term frequency to its confidence by using Apriori algorithm. And it calculates the similarity among the words using the hypergraph partition. Lastly, it classifies related web document by using a-cut and calculates similarity by using adjusted cosine similarity. The results show that the proposed method significantly outperforms the existing methods.