Tablet PC기반의 AAC중재가 통합된 중도장애 학생의 의사소통행동과 비장애 학생의 인식에 미치는 영향 = (The) effects of tablet PC based AAC intervention on the communication of integrated students with severe disabilities and the perception of non disabled peers

국문 초록 (Abstract)

언어 및 의사소통 기술은 매일의 사회적, 학습적 상호작용을 하는데 필수적이며 구어 의사소통의 어려움은 중도장애 학생들의 통합교육 실행에도 큰 장애로 작용한다. 의사소통에 어려움이 있는 중도장애 학생은 자신의 생각이나 의견, 감정, 요구 등을 표현하기 위해 보완대체의사소통(Augmentative and Alternative Communication: 이하 AAC) 방법을 사용할 수 있다. 지금까지 중도장애 학생을 대상으로 하는 국내의 AAC 연구는 특수학교나 특수학급과 같이 분리된 환경에서 주로 이루어져 왔고 비장애 학생 또래와의 상호작용 보다는 성인과의 상호작용에서 성과를 측정하는 경우가 많았다. 또한 사용하는 도구도 로우테크 위주로 되어있어 메시지를 확장하거나 여러 환경에서 일반적으로 적용하기에 여러 가지 제한점이 있었다.
통합된 중도장애 학생을 위한 AAC중재는 의사소통 기회 제공을 통한 사회적 참여와 관련하여 중요한 의미를 갖는다. 또한 선행 연구에 따르면 교수적 영역에서도 AAC 중재를 통해 중도장애 학생이 일반교육과정에 접근하는 것을 도와줄 수 있고 교사나 비장애 학생들에게 중도장애 학생에 대한 높은 학업적 기대치를 가지게 하는 데에도 효과적이라는 결과가 있었다. 이를 위해 통합환경에서 AAC 중재를 효과적으로 제공하기 위해 중도장애 학생이 일반학급 활동이나 교사, 비장애 학생과의 상호작용에 참여하는 데 어려움이 되는 참여장벽을 평가하고 이에 대한 지원을 제공하는 것이 필요하다.
본 연구에서는 통합환경에서 AAC 중재를 통해 의사소통에 어려움이 있는 중도장애 학생의 의사소통행동과 중도장애 학생에 대한 비장애 학생의 인식변화를 알아보았다. 이를 위해 통합된 중도장애 학생의 일반학급 참여형태와 의사소통 요구를 판별하여 1) 일반학급 교사를 지원하고 비장애 학생을 교수하는 일반학급 지원과, 2) 중도장애 학생에게 AAC 프로그램 훈련, 어휘·상징교수, 상호작용 교수를 제공하는 AAC 훈련으로 이루어진 중재를 제공하였다.
중재 도구로는 하이테크 AAC 도구의 특성을 가진 ‘마이토키’를 8.9인치 Tablet PC에 설치하여 사용하였다. ‘마이토키’는 국내에서 개발 중인 AAC 프로그램으로 다이나믹 디스플레이 형태를 가지고 있어 중도장애 학생에게 다양한 어휘 표현을 학습하도록 하는데 유용하며 개별화된 선택 옵션을 제공해줄 수 있는 기능을 가지고 있다.
연구 참여자는 서울과 경기도에 위치한 초등학교에 재학 중인 중도장애 학생 3명과 각 대상학생이 속한 학급의 비장애 학생 75명이었다. 중도장애 학생에 대한 AAC 중재는 대상자간 중다간헐기초선설계에 의하여 예비관찰, 기초선, 중재, 유지로 진행되었다. 중도장애 학생의 의사소통행동은 총 빈도변화와 기능변화, 양식변화로 나누어 분석하였다. 발생빈도는 쉬는시간, 점심시간, 교과시간 10분씩 총 30분을 1회기로 하여 관찰 후 측정하였고 기능은 홍기훈·김영태(2001)의 7가지 기능분류표(요구하기, 반응하기, 객관적 언급, 주관적 진술, 메시지수신표현, 구성요소, 발전된 표현)를 이용하여 분석하였다. 의사소통 양식은 4가지(구어, 제스처, 발성, AAC)로 나누어 분석하였다.
비장애 학생의 인식변화를 알아보기 위해서는 보완대체의사소통에 대한 태도평가지(AATAAC)를 번안하여 전문가 타당도를 거친 후 단일집단 사전사후 검사설계를 사용하여 검증하였다. 이와 함께 보충 자료로 사전사후 Sociometric 검사지 결과를 활용하였다.
본 연구의 결과는 다음과 같다.
첫째, Tablet PC기반의 AAC 중재를 받은 세 학생 모두 의사소통행동의 빈도가 증가하였고 유지에서도 중재 후반의 수행율에 해당하는 비교적 안정된 효과를 보였다. 의사소통의 기능변화에서는 세 학생 모두 의사소통 기능이 중재기간 동안 기초선에 비해 다양해졌으며 유지기간에도 기초선보다 높은 정도의 다양성을 보였다. 하위 기능에 있어 세 학생 모두 2-3개의 의사소통 기능이 증가한 것으로 나타났다. 의사소통 양식에서는 기초선 기간에는 나타나지 않았던 AAC양식의 사용빈도가 중재기간동안 지속적인 상승세를 보이며 세 학생 모두 네 가지 양식 중에서 가장 많이 사용한 것으로 나타났다. 이러한 경향은 유지에서도 동일하게 나타났으며 세 학생 모두 중재기간 동안 구어사용도 증가했음이 나타났다.
둘째, 비장애 학생의 인식에 대해 AATAAC검사의 사전사후검사를 실시한 결과 세 학급 모두 장애 학생에 대한 인식이 통계적으로 유의하게 향상되었음을 알 수 있다. 보충적인 자료로 활용한 Sociometric검사에서도 대상자에 대한 긍정적인 지목이 증가된 것으로 나타났다.
이상의 연구결과를 통해 Tablet PC기반의 AAC 중재가 중도장애 학생의 의사소통행동 빈도를 증가시키고 기능을 다양화하며 AAC 사용과 함께 구어사용도 함께 증가시킨다는 것을 알 수 있었다. 또한 중도장애 학생에 대한 비장애 학생의 긍정적인 인식 향상에 영향을 미쳤음을 확인할 수 있었다.
본 연구는 통합환경에서 일반학급 지원을 포함한 복합적인 중재요소를 도입하여 중도장애 학생의 의사소통행동과 비장애 학생의 인식 변화에 대한 중재의 효과를 입증했다는 데에 의의가 있다. 중도장애 학생들의 통합이 잘 이루어지고 있지 않은 국내 현실에서 의사소통장애를 포함한 하나 이상의 심한 장애를 중복으로 가지고 있는 중도장애 학생들도 하이테크를 포함한 적절한 의사소통적 지원이 제공되면 성공적으로 비장애 학생과의 상호작용에 참여할 수 있음을 보여주었다는 점에서 본 연구의 의의를 찾을 수 있다.

다국어 초록 (Multilingual Abstract)

In Korea, most of AAC interventions have implemented to enhance communication capability of individuals with cerebral palsy. But except only one study done in inclusive preschool(Lee & Park, 2007), the rest of intervention studies were taken place in segregated settings such as a special school or special education classroom. In consequence, dependent variables of the studies were mostly about the interaction with adults such as a researcher or a teacher. Considering that communication should be functional and meaningful skills, more effort is required to teach AAC within inclusive education environment focusing on the interaction with nondisabled peers in natural school activities. Part of the reasons for this lack of AAC studies in inclusive settings is that both general educators and special educators do not yet welcome the students with severe and multiple disabilities in inclusive classroom, compared to students with cognitive disabilities alone.
This research was the first attempt to apply high-tech AAC for students with severe disabilities in Korean inclusive elementary school. Multiple baseline across subject design was used. Participants were 3 elementary students with severe and multiple disabilities who have difficulty to interact with peers verbally. They were educated in general classrooms about 50~70.5% of their school day.
Independent variable of this study was tablet PC based AAC intervention which has several important features. First, communication partner training for nondisabled peers and general educators as well as special educators who support the students with disabilities, were included. Second, AAC program used in this study was the newly developed Korean AAC software. Tablet PC was used in order to reduce cognitive and motoric difficulties in operating the system.
Dependent variable of this study was the frequency of communicative behaviour of the students with disabilities in natural school routines. Both communicative behaviour using AAC device and the other modes such as gesture, vocalization and oral were included and separately analysed. Treatment fidelity and social validity was presented. Maintenance data were measured 3 weeks after the intervention was over. Data were analysed according to the communicative functions and modes of communication.
The results of this research are as follows;
First, Tablet PC based intervention enhanced number of the communication behaviour, functions and modes.
Second, the enhanced communication behaviour was maintained after stopping the intervention.
Third, Tablet PC based intervention enhanced the cognition of non disabled peers toward students with severe disabilities.
These results show that Tablet PC based AAC intervention through supporting integrated classroom and providing AAC instruction to students with severe disabilities enhanced communication behaviors of students with disabilities. Implications and suggestions for future research were presented.

목차 (Table of Contents)

• I. 서론 1
• A. 연구의 필요성 및 목적 1
• B. 연구문제 7
• C. 용어의 정의 7
• Ⅱ. 이론적 배경 10
• A. 중도장애 학생의 의사소통 10
• 1. 중도장애 학생의 언어 및 의사소통 특성 10
• 2. 중도장애 학생의 AAC 중재 14
• B. 통합환경에서의 AAC 중재 16
• 1. 일반교육 교사와 비장애 학생의 지식과 태도 19
• 2. 통합된 AAC사용학생 지원방안 21
• C. AAC 도구와 중재 23
• 1. 하이테크 AAC 도구를 이용한 중재의 고려사항 24
• 2. 하이테크 AAC 중재 선행연구 29
• Ⅲ. 연구방법 33
• A. 연구참여자 33
• B. 실험기간 36
• C. 실험환경 37
• D. 실험설계 37
• 1. 연구문제 1의 실험설계 37
• 2. 연구문제 2의 실험설계 38
• E. 실험절차 38
• 1. 연구문제 1의 실험절차 38
• 2. 연구문제 2의 실험절차 41
• F. 독립변인 42
• 1. 일반학급 지원 43
• 2. 중도장애 학생 AAC 훈련 46
• G. 관찰 및 측정 53
• 1. 의사소통행동 53
• 2. 비장애 학생의 인식 57
• 3. 자료처리 57
• H. 관찰자간 신뢰도 58
• 1. 관찰자 훈련 58
• 2. 관찰자간 신뢰도 59
• I. 중재충실도 60
• J. 사회적 타당도 61
• Ⅳ. 연구결과 63
• A. AAC중재에 의한 의사소통행동의 변화 63
• 1. 의사소통행동 발생빈도의 변화 63
• 2. 의사소통행동 기능의 변화 67
• 3. 의사소통행동 양식의 변화 73
• B. AAC중재에 의한 비장애 학생의 인식변화 79
• 1. AATAAC 사전사후 검사결과 79
• Ⅴ. 논의 및 제언 80
• A. 논의 81
• 1. Tablet PC기반의 AAC중재가 의사소통행동에 미친 영향 81
• 2. 비장애 학생의 인식에 대한 논의 86
• B. 제한점 88
• C. 제언 89
• 참고문헌 92
• 부록 105
• Abstract 131

참고문헌 (Reference)

1. Cerebral palsy, Phelps, Cerebral Palsy, , 1984

2. 연구방법론, 성태제, 학지사, , 2006

3. 특수아동교육, 이소현, 학지사, , 2006

4. 지체장애아 교육, 김정연, Nandini,S., , 2010

5. 특수교육 연차보고서, 교육과학기술부, 특수교육연차보고서, , 2011

6. Conversation and brain damage, Goodwin, Charles, Oxford University Press, , 2003

7. 아동언어장애의 진단 및 치료, 김영태, 학지사, , 2014

8. 통합교육의 최근 이슈와 동향, 이신동, 김경희, 한국통합교육학회, "통합교육연구, , 2006

9. Case study design. In D. de Vaus(Vol Ed.), de Vaus, , 2006

10. Friendship and peer relations in children, Erwin, Phil, Wiley, , 1993

11. Language intervention with young children, Fey, Marc E., College-Hill Press, , 1986

12. 현대 기초통계학의 이해와 적용, 성태제, 교육과학사, 현대기초통계학의 이해와 적용, , 2004

13. 장애학생을 위한 보완대체 의사소통, Nandini,S., 이정은, , 2000

14. Qualitative data analysis : an expanded sourcebook, Miles, Matthew B, Sage Publications, Qualitative data analysis: An expanded source book, , 1994

15. Key principles underlying research and practice in AAC, Wilkins, Williams, Blackstone, , 2007

16. 지체부자유아에 대한 초·중등학생의 태도, 박재국, 손상희, , 2004

17. Common questions about AAC services in early intervention, Marvin C.A, Cress, , 2003

18. 아동의 의사소통의도 습득에 대한 종단연구, 김영태, 홍경훈, 한국언어청각임상학회, "언어청각장애연구, , 2001

19. The Bridge School: Education inclusion outcomes over 15 years, Hunt-Berg, M., Hunt-Berg, , 2005

20. Assessing nonoriginal clients for assistive communication devices, Coleman, Cook, Meyers, , 1980

21. 보완-대체의사소통 중재를 위한 연구방법론 고찰, 박은혜, 한국언어청각임상학회, 보완·대체의사소통 중재를 위한 연구방법론 고찰, , 2003

22. Augmentative and alternative communication : An historic perspective, Zangari, Llyod, Vicker, , 1994

23. Teaching every student in digital age: Universal design for learning, Meyer, Rose, , 2002

24. Teaching individuals with physical, health, or multiple disabilities, Bigge, June L, Merrill, "Teaching individuals with physical, , 2001

25. AAC technologies for young children with complex communication needs:, Light, Drager, , 2007

26. Outcome of recommendations for augmentative communication in children, McConachie, Jolleff, , 1998

27. Impact of planning for support services on students who are deaf-blind, Giangreco, Edelman, Nelson, , 1998

28. Breaking the speech barrier: Language development through augmented means, Romski, M. A., Breaking the speech barrier: Language development through augmented means, , 1996

29. Basics of qualitative research : grounded theory procedures and techniques, Strauss Anselm L, Sage Publications, Basics of qualitative research: Grounded theory procedures and techniques, , 1990

30. Teaching communication skills to students with severe disabilities(2nd ed.), Downing, , 2005

31. 지체장애 학생의 통합교육에 대한 연구동향 및 지원방안, 임장현(Lim, Janghyun), 박은혜(Park, Eunhye), 이화여자대학교 특수교육연구소, "특수교육, , 2010

32. Roles of speech output in AAC: An integrative review. In R. W. Schlosser(Ed.), Schlosser, Blischak, Koul, , 2003

33. 수용?표현 어휘력 검사(Receptive & Expressive Vocabulary Test : REVT), 김영태, , 2009

34. Factors that influence the performance of experienced speech recognition users, Koester, , 2006

35. Social validation of intervention in augmentative and alternative communication, Schlosser, , 1999

36. Augmentative and alternative communication. In N. B. Anderson & G. H. Shames(Eds.), Lloyd, Kangas, , 2010

37. Communication Intervention for Children with Autism: A Review of Treatment Efficacy, Goldstein, Communication intervention for children with autism: A review of treatment efficacy, , 2002

38. Conditional use of aided and unaided AAC : a review and clinical case demonstration, Drasgow, Sigafoos, Conditional use of aided and unaided AAC; a review and clinical case demonstration, , 2001

39. Attitudes of children toward a similar-aged child who uses augmentative communication, Beck, Dennis, , 1996

40. The effect of context priming and task type on augmentative communication performance, Adams, Bisantz, Sumn, Yik, Higginbotham, , 2007

41. The effects of peer networks on social-communicative behaviors of student with autism, Kravits, Kamps, Garrison-Harrell, , 1997

42. Roles of speech output in augmentative and alternative communication: Narrative review, Schlosser, , 2003

43. Automaticity. In L. Nadel et al. (Eds.), Encyclopedia of cognitive science(pp. 290-301), Palmeri, "Automaticity. In L. Nadel et al. (Eds.), , 2002

44. 중도 장애학생의 교육Instruction of students with severe disabilities. (6th ed.), Nandini,S., Snell, 한경근, 중도장애학생의 교육. Instruction of students with severe disabilities. (6th ed.), , 2008

45. KIDS VOICE를 활용한 AAC 중재가 뇌성마비 아동의 어휘표현에 미치는 효과, 고진복, 전병운, KIDS VOICE를 활용한 AAC 중재가 뇌성마비 아동의 어휘 표현에 미치는 효과, , 2006

46. Training school teams to use the participation Model: Evaluation of a train-the-trainer model, Blackstien-Adler, , 2003

47. 중도 뇌성마비 아동의 의사소통 기술 증진을 위한 AAC 대화상대자 훈련, Nandini,S., 김정연, 중도 뇌성마비 아동의 의사소통 기술 증진을 위한 AAC 대화 상대자 훈련, , 2003

48. Comprehensive lifestyle support for adults with challenging behavior: From rhetoric to reality, Turnbull, , 1999

49. AAC performance and usability issues: The effect of AAC technology on the communicative process, Caves, Higginbotham, , 2002

50. Relevance and speed of message delivery trade-offs in augmentative and alternative communication, McCoy, Hoag, Bedrosian, , 2004

51. Attitudes of children toward an unfamiliar peer using an AAC device with and without voice output, Alant, Lilienfeld, , 2002

52. Supporting youngchildren's IEP goals in inclusive settings through embedded learningopportunities, Horn, Lieber, Schwartz, Sandall, , 2000

53. Improving the design of augmentative and alternative communication technologies for young children, Light, Drager, , 2002

54. Promoting interaction with children using augmentative communication through peer-directed intervention, Carter, Maxwell, , 1998

55. Professional skills for serving students who use AAC in general education classrooms: A team perspective, Hunt, Muller, Goetz, Soto, , 2001

56. 보완?대체의사소통 조기 중재의 가능성 탐색과 중재 시 고려 사항에 관한 고찰, 한경임, , 2007

57. 정신지체 초등학생의 일반교육과정 참여에 대한 통합학급 교사의 인식과 실제, 정주영, 국립특수교육원, "특수교육연구, , 2004

58. Multiple perspectives for determining the roles of speech-language pathologists in inclusionary classroom, Prelock, , 2000

59. 스크립트를 이용한 AAC 중재가 중도장애아동의 의사소통 기능습득에 미치는 효과, Nandini,S., 김경양, 스크립트를 이용한 AAC 중재가 중도장애 아동의 의사소통 기능 습득에 미치는 효과, , 2001

60. Classroom-based assessment of a collaborative intervention programwith kindergarten and first-grade students, Klein, Farber, , 1999

61. Developing augmented language in children with severe mental retardation. In S. F. Warren & J. Reichle (Eds.), Sevcik, Romski, , 1992

62. 중도장애아동을 위한 보완? 대체의사소통도구 개발 및 교사 지원에 관한 연구조사, 김정연, Nandini,S., 김주혜, , 2005

63. 형제에 대한 상호작용 기술 훈련이 뇌성마비 아동의 의사소통 향상에 미치는 효과, 임민숙, 한경임, , 2006

64. Effectiveness of a collaborative consultation approach to basic concept instruction with kindergarten children, Ellis, Schlaudecker, Regimbal, , 1995

65. Teaching functional communication skills using augmentative and alternative communication in inclusive setting, Magnavito, Nelson, McDonnell, Johnston, , 2003

66. The effects of trainer-implemented Enhanced Milieu Teaching on the social communication of children with autism, Hancock, Kaiser, , 2002

67. 보완,대체 의사소통에 의한 언어중재 유형이 중도장애아의 언어습득에 미치는 영향, 박선애 ( Sun Ae Park ), 여광응 ( Kwang Eung Yeo ), 박현옥 ( Hyeon Ok Park ), 한국특수교육문제연구소, , 2007

68. 지역사회 상황에서 중도 뇌성마비 학생의 PDA 활용 보완·대체 의사소통 중재의 효과, 한경임, 강우정, 한국지체중복건강장애교육학회, , 2010

69. The effects of information and augmentative communication technique on attitudes towards nonspeaking individuals, Gorenflo, , 1991

70. The development of model for automated performance measurement and the establishment under two sampling conditions, Hill, , 2001

71. Augmentative and Alternative communication: Supporting Children and Adults with Complex Communication Needs(3rd ed.), Mirenda, Beukelman, , 2005

72. Effects of pull-in and pull-out approaches to reading instruction for special education and remedial reading students, Gelzheiser, Pruzek, , 1992

73. General education teachers' experiences with inclusion of students sho use augmentative and alternative communication, Light, Kent-Walsh, , 2003

74. Augmentative and alternative communication (AAC) and inclusive education for students with the most severe disabilities, Calculator, , 2009

75. Facilitating oral language and literacy development during general education activities. In D. L. Ryndak & S. Alper(Eds.), Smith, Mirenda, Fossett, , 2003

76. Fostering early language acquisition and AAC use: Exploring reciprocal influences between children and their environments, Calculator, , 1997

77. Do augmentative and alternative communication interventions really make a difference?: The challenges of efficacy research, Light, , 1999

78. 통합된 여가프로그램이 중도 지체장애학생에 대한 일반중학생의 태도와 인식에 미치는 영향, 김정연 ( Jeong Youn Kim ), 유선화 ( Sun Hwa Ryou ), 한국지체부자유아교육학회, 통합된 여가프로그램이 중도 지체장애학생에 대한 일반중학생의 태도와 인식에 미치는 영향, , 2009

79. Collaborative teaming to support students withaugmentative and alternative communication needs in general education classrooms, Hunt, Goetz, Collaborative teaming to support students with augmentative and alternative communication needs in general education classrooms, , 2002

80. Mainstreaming a therapeutic focus and sharing responsibility for student success: Key to in-classroom speech-language services, Ehren, , 2000

81. Barriers to collaboration: An analysis of systemic barriers to collaboration between teachers and speech and laguage therapists, McCartney, , 1999

82. Interaction involving individuals using augmentative and alternative communication systems: State of the art and future directions, Light, Interaction involving individuals using augmentative and alternative communication systems: state of the art and future directions, , 1988

83. 다중양식체계를 이용한 의사소통 중재가 뇌성마비 고등학생의 수업 중 의사소통행동에 미치는 영향, 박은혜(Park, Eunhye), 김정연(Kim, Jeongyoun), 한국특수교육학회, "특수교육학연구, , 2006

84. 음성산출 의사소통 콘텐츠 및 시스템 개발 기초연구: AAC 관련전문가의 경험 및 요구분석을 중심으로, 박은혜(Eun Hye Park), 김경양(Kyung Yang Kim), 김정연 ( Jung Yeon Kim ), 한국특수교육문제연구소, , 2010

85. Roles and responsibilities of speech-language pathologists with respect to augmentative and alternative communication: Technical report, American Speech-Language-Hearing Association, , 2004

86. 특수교사와 치료교사 간 협력적 접근을 통한 교실중심언어중재가 장애 유아의 의사소통에 미치는 영향, 강혜경, 강혜경, 이화여자대학교 대학원, 이화여자대학교 대학원 박사학위논문 서울: 이화여자대학교, , 2005

87. Mother-child interaction revisited and in-depth study of the communication with non-speaking physically disabled children and their mothers, McConachie, Pennington, , 1999

88. Patterns of interaction between children with physical disabilities using augmentative and alternative communication systems and their peers, Clarke, Kirton, , 2003

89. 음성출력 의사소통 도구(VOCA)를 이용한 이야기책 읽기 중재가 중도장애 아동의 초기 문해력에 미치는 영향, Nandini,S., 임미화, 김정연, , 2006

90. VOCA를 활용한통합적인 AAC 중재가 중도 뇌성마비 학생의 의사소통행동 기능,양식 및 상징조합에 미치는 효과, 박은혜, 표윤희, 한국특수아동학회, "VOCA를 활용한 통합적인 AAC 중재가 중도 뇌성마비학생의 의사소통행동, , 2007

91. 시간 지연 및 요구-모델 방법을 이용한 AAC 중재가 뇌성마비 아동의 의사소통 행동과 통문자 습득에 미치는 효과, 박나리, 채수정, , 2007

92. 또래중재를 위한 보완대체 의사소통 대화상대자 훈련이 중도 지체장애 유아의 또래와의 상호작용에 미치는 영향, 박은혜(Park, Eunhye), 이명희(Lee Myung-Hee), 한국유아특수교육학회, "유아특수교육연구, , 2006

93. A comparative study of attitudes of teachers at special and educationally inclusive schools towards learners with little or no functional speech using communication devices, Alant, Dada, , 2002

94. Teaching partner focused questions to individuals who use augmentative and alternative communication to enhance the communicative competence. Journal of Speech and Hearing Research, 42, 241-255, Ramsay, Agate, Binger, Light, "Teaching partner focused questions to individuals who use augmentative and alternative communication to enhance the communicative competence. Journal of Speech and Hearing Research, , 1999