ლიანა ლორთქიფანიძე

ქართული დიალექტური კორპუსის შექმნის მიმდინარე ეტაპი გულისხმობს მორფოლოგიური ანოტირებისა და გრამატიკული ომონიმიის დაძლევის კონცეპტუალური და პრაქტიკული საკითხების გადაწყვეტას.

ქდკ-ს მორფოლოგიური ანალიზისთვის ჩვენ ვიყენებთ სისტემა `GeoTrans~-ს, რომლის საშუალებითაც მუშავდება კორპუსის საერთო სიტყვანი.

კორპუსის საერთო სიტყვანი მოიცავს ორ სხვადასხვა მონაცემს: ტექსტურსა და სალექსიკონოს. ტექსტური მონაცემი წარმოადგენს ყველა კონტექსტით წარმოდგენილ სიტყვაფორმას, ხოლო სალექსიკონო _ ლექსიკონის მთავარ ფორმას (ლემას), მის ფონეტიკურ, გრამატიკულ და სიტყვაწარმოებით ვარიაციებს. შესაბამისად, მეორე ჯგუფის სიტყვანში წარმოდგენილ მასალას ახლავს გრამატიკული ინფორმაციაც: ლემა მონიშნულია პირველი იერარქიის მარკერით (გრამატიკული ჯგუფის მარკერი), გრამატიკულ და სიტყვაწარმოებით ვარიაციებზე კი მიწერილია როგორც მეტყველების ნაწილის აღმნიშვნელი, ისე პარადიგმის აღმწერი მარკერები, აგრეთვე თანდებულები, ნაწილაკები, სავრცობი ხმოვანი და ზოგჯერ სემანტიკური ჯგუფის ნიშნებიც.

ტექსტური წარმომავლობის სიტყვანისა და სალექსიკონო მონაცემთა ერთობლივად დამუშავების მეთოდი დიალექტურ ფორმათა იდენტიფიკაციის საშუალებას იძლევა.

ქდკ-ს კონცეფციით მორფოლოგიური ანალიზი ავტომატური, ნახევრადავტომატური და ხელით ანოტირების პროცესთა თანმიმდევრულ ერთიანობას გულისხმობს.

მოხსენებაში აღწერილია მორფოლოგიური ანალიზის ტექნოლოგიური სისტემის თავისებურება, წარმოდგენილია პირველადი ავტომატური ანალიზის შედეგები, განხილულია ავტომატურად ანოტირებული არაომონიმური და ომონიმური გრამატიკული მნიშვნელობის მქონე სიტყვათა სიების ტესტირებისა და კორპუსში (კონტექსტებში) მარკერთა საბოლოო მინიჭების პროცესი. უნდა აღინიშნოს, რომ სავარაუდოდ, პირველადი ავტომატური ანალიზის შედეგად მთელი კორპუსული ტექსტური მასალის დაახლოებით 20-30 პროცენტის ანოტირებაა შესაძლებელი. ამჟამად მიმდინარეობს ხუთი დიალექტისთვის ამ ეტაპზე შესრულებული ანალიზის ტესტირება, ომონიმიის ხელით მოხსნა და კონტექსტებში სწორი ანალიზის შედეგების ავტომატურად ასახვა.

ცალკეა განხილული სიხშირული ანალიზის ექსპერიმენტი, რომელიც გულისხმობდა 1000-ზე მეტ კონტექსტში რეალიზებული სიტყვების სიის გამოყოფას და ცალკე დამუშავებას. 

ტექნიკის განვითარების დღევანდელ ეტაპზე კომპიუტერის მეშვეობით მრავალი ინტელექტუალური სისტემაა შექმნილი და რეალიზებული. მათ შორის მნიშვნელოვანია კომპიუტერული ენობრივი სისტემები, რომელთა ღრმა თეორიულ საფუძველს წარმოადგენს ენის მოდელირება, ანუ ისეთი ხელოვნური სისტემები, რომლებიც გაიმეორებენ ენობრივი ქცევის ძირითად ასპექტებს: ენის ცოდნას, ცოდნის გამოყენებას გამონათქვამების ანალიზი-სინთეზისთვის და ცოდნის შეძენას. სწორედ ცოდნის შეძენის პრაქტიკულ რეალიზაციაზეა ორიენტირებული წარმოდგენილი სისტემა.

ენის სწავლების კომპიუტერული სისტემის აგების ამოსავალ პუნქტად ლექსიკონის კომპიუტერიზაციაა გამოყენებული. მიუხედავად იმისა, რომ ამოცანის გადასაჭრელად ჩვეულებრივი "წიგნური" ლექსიკონები ძალიან ფასეულია, მათ ორი სერიოზული ნაკლი აქვთ: ინფორმაციის ნაკლებობა და "პასიურობა". აღსანიშნავია, რომ ჩვეულებრივ ლექსიკონში ყოველი სალექსიკონო ერთეული მონიშნულია მისი პარადიგმის მხოლოდ ერთადერთი საწყისი სიტყვაფორმით (ლემით), რომლიდანაც სრული პარადიგმის წარმოდგენა რთულია, განსაკუთრებით ქართული ენისთვის. განვითარებულმა ქვეყნებმა უკვე დიდი ხანია დაიწყეს გრამატიკულ ონლაინ ლექსიკონებზე მუშაობა და ისინი თითქმის ყველა საერთაშორისო ენისთვისაა რეალიზებული (როგორიცაა მაგალითად: რუსული

– http://www.morfologija.ru/словоформа/олень, გერმანული _ http:// www.canoo.net/services/Controller?input=mami&service=inflection). ამ სახის სისტემები ძალიან პოპულარულია საზოგადოების ყველა ფენაში. ინტერნეტსივრცეში, ორენოვანი ლექსიკონების გვერდით, უცხო ენების სწავლებად სისტემებს მნიშვნელოვანი ადგილი უკავია. ენის კომპიუტერული სწავლებადი სისტემებისათვის გრამატიკული ლექსიკონი საბაზისო ელემენტს წარმოადგენს. ამჟამად მის შექმნაზე ბევრი ჯგუფი მუშაობს საქართველოშიც და საზღვარგარეთაც. მაგრამ დღესდღეობით ინტერნეტსივრცეში არ გამოჩენილა არც ერთი პროდუქტი, რომელიც ძირეულად მოიცავდა ქართული ენის ლექსიკას და მის მორფოლოგიურ გენერატორს. ჩვენი პროდუქცია ქართული ენის შესასწავლი პირველი ინტერაქტიური ონლაინ-პროგრამა იქნება, რომელსაც შეეძლება ენის შემსწავლელს მიაწოდოს ფუნდამენტური ცოდნა ენის ლექსიკისა და სიტყვების გრამატიკული ვარიაციების შესახებ.

ამჟამად იქმნება პროგრამული ინსტრუმენტების პაკეტი, რომელიც მომხმარებელს დაეხმარება განახორციელოს ქართული სიტყვაფორმის ანალიზი და სინთეზი ინტერნეტ-სივრცეში როგორც ფორმაწარმოების, ისე სიტყვაწარმოების დონეზე. ონლაინ ლექსიკონი ნებისმიერი სიტყვისთვის უზრუნველყოფს მისი შესაბამისი სალექსიკონო საბაზისო ლემის ძიებას და წარმოადგენს შესაბამისი პარადიგმის ყველა წევრს.

სალექსიკონო ბაზაში უკვე შესულია 100.000 საწყისი სიტყვა და მათი ფორმაწარმოების ყველა წესი. ჩვენ მიერ შექმნილი, და არა ერთ ამოცანაზე აპრობირებული, Gეოთრანს სისტემა საშუალებას მოგვცემს დინამიურად გავზარდოთ ლექსიკონის საწყის სიტყვათა რაოდენობა ნებისმიერ მომენტში, თეორიულად უსასრულოდ, რასაც დიდი ყურადღება ექცევა უცხოური ენების მსგავს სისტემებში.

მოხსენებაში აღწერილია ენის სემანტიკური ვექტორების ფორმირების ძირითადი ეტაპები. განხილულია სიტყვათა სემანტიკური სიახლოვის ამსახველი მრავალგანზომილებიანი ვექტორის ფორმირების მეთოდი. მოყვანილია ვექტორული სივრცის განზოგადოებული მოდელების ზოგადი მიმოხილვა. ჩამოყალიბებულია ტექსტური ინფორმაციის დამუშავების ვექტორული მოდელის ალგორითმიზაციისა და პროგრამული მხარდაჭერის ზოგადი სქემა.

მოხსენებაში აღწერილია ქართული WordNet თესაურუსის — GeWordNet-ის შემუშავების მეთოდიკა. ახსნილია განსხვავება ტრადიციული ლექსიკონებისა და თესაურუსებისა WordNet თესაურუსთან შედარებით. ჩამოთვლილია ძირითადი პრინციპები, რომლებიც იყო გამოყენებული პრინსტონის WordNet თესაურუსში. განხილულია ენის სისტემის შესახებ ინფორმაციის წარმოსადგენად აუცილებელი ლინგვისტური წყაროების ჯგუფები. დახასიათებულია WordNet-თესაურუსების შემუშავების სტანდარტები: მნიშვნელობათა ანალიზის დეფინიციური, კონტექსტური და სიტყვაწარმოებითი მეთოდები. აღწერილია თესაურუსში გამოყენებული სემანტიკური, პარადიგმატიკული და სინტაგმატიკური კავშირების სახეები. 

მოხსენებაში განხილულია ქართული ენის ავტომატური სინტაქსური ანალიზატორი. ეს პროგრამა განკუთვნილია ქართულენოვანი ტექსტების ავტომატური სინტაქსური მონიშვნისთვის. მასში რეალიზებულია ქართული ენის მოდელის როგორც სინტაქსური, ისე მორფოლოგიური დონე.

პროგრამას შესავალში მიეწოდება ტექსტური კორპუსი. მომხმარებელი გამოსავალში ღებულობს წინადადებებად დაყოფილ ტექსტს, სადაც თითოეულ სიტყვაფორმას მიწერილი აქვს მისი ამოსავალი ფორმა, გრამატიკული და სინტაქსური მახასიათებლები. სიტყვაფორმის სინტაქსურ მახასიათებელს განაპირობებს ის მიმართებები, რომლებითაც სიტყვაფორმა დაკავშირებულია წინადადების სხვა წევრებთან. სინტაქსური აღწერისას ჩვენ ვიყენებთ უშუალო შემადგენლების ხის და სინტაქსური როლებრივი სტრუქტურების აღწერას.

სინტაქსური გარჩევის ხე წარმოდგენელია სიტყვებს შორის ბინარული ურთიერთორიენტირებული კავშირებით. თითოეულ კავშირში მოცემულია მშობელი სიტყვა და მემკვიდრე სიტყვა. იმისათვის რომ შედეგად მიღებული გრაფი იყოს სინტაქსური გარჩევის ხე, დაცულია სინტაქსური ხის სტრუქტურირების წესები. ამ წესებზე დაყრდნობით და ქართული ენის სინტაქსური კავშირების წესების გათვალისწინებით შევადგინეთ წინადადებაში ყველა შესაძლო სახის კავშირებისა და სტრუქტურებისათვის ურთიერთმიმართების როლებრივი სინტაქსური კავშირების აღწერა ცხრილის სახით. აღნიშნულ ცხრილს შეგვიძლია ვუწოდოთ „ქართული ენის სინტაქსური როლებრივი სტრუქტურების ლექსიკონი“ (აღვნიშნოთ GLSRSV). ლექსიკონის ერთეულში შედის: განხილულ სინტაქსურ კონსტრუქციაში მემკვიდრე სიტყვის სინტაქსური როლის სახელწოდების მარკერი (აბრევიატურა), შესაბამისი მემკვიდრე სიტყვის სინტაქსური როლის მარკერი, შესაბამისი მშობელი სიტყვის სინტაქსური როლის მარკერი, მემკვიდრე სიტყვის მორფოლოგიური მახასიათებლები და სხვ.

ტექსტური კორპუსის სინტაქსური ანოტირების სისტემა შედგება რამდენიმე მოდულისაგან: გრაფომეტრული ანალიზატორი, მორფოლოგიური ანალიზატორი, GLSRSV ლექსიკონი, სავარაუდო სინტაქსური ხეების კონსტრუქტორი. მოხსენებაში განხილული იქნება ამ მოდულების ურთიერთკავშირის ალგორითმზე აგებული პროგრამის მუშაობის პრინციპები და წინადადების ავტომატური გარჩევის მაგალითები.

მოხსენებაში განხილული იქნება ქართული წინადადების სინტაქსური ანოტირების სტრუქტურა ლინგვისტური კონსტრუქციების ბინარული მიმართებების მიხედვით, სადაც თითოეულ სიტყვასთან მითითებულია მისი როლი სიტყვათა კავშირში. წინადადებაში სიტყვათა შორის სინტაქსური კავშირები შესაბამისობაშია სინტაქსური ხის სტრუქტურასთან. წინადადების წევრები (სიტყვები) წარმოდგენილია სახელური (NP) და ზმნური (VP) ფრაზების ელემენტებად. ხის სტრუქტურის ერთიანობის შესანარჩუნებლად შემოდის ნულოვანი კვანძის ცნება (S-წინადადება), რომელიც უპირო ზმნის შემთხვევაში მხოლოდ VP-ზმნური ფრაზის, ხოლო სხვა შემთხვევაში კი NP-ს და VP-ს მშობელია. აღწერილია წინადადების ყველა წევრი (მთავარიც და არამთავარიც). თითოეულ მათგანთან აუცილებლად მითითებულია მისი სინტაქსური როლი: ეს არის სინტაქსური მშობლისა და სინტაქსური მემკვიდრის როლი. მშობლის როლში შეიძლება იყოს როგორც სახელური ფრაზა, ასევე ზმნური ფრაზაც. ეს ფრაზები თავისუფლად შეიძლება მონაწილეობდნენ მემკვიდრის როლშიც. ნაჩვენებია აგრეთვე, რომელ სინტაქსურ კონსტრუქციაში მონაწილეობს წინადადების ესა თუ ის წევრი, რომელსაც, თავის მხრივ, მიწერილი აქვს ყველა შესაძლო როლი სათანადო გრამატიკული მახასიათებლებით. მაგალითად, პირდაპირი დამატება არის VP ზმნური ფრაზის მემკვიდრე (VP=V+N). ის შეიძლება გადმოცემული იყოს სახელით (არსებითი, ზედსართავი, რიცხვითი, ნაცვალსახელი, სახელზმნა) მხოლობითსა და მრავლობით რიცხვში. მისი ბრუნვებია სახელობითი და მიცემითი. დაირთავს თანდებულებს (ვით, თან, ზე, ში) და ნაწილაკებს (-ც, -ღა, -ვე), ასევე სხვათა სიტყვის ნაწილაკებს (ო, მეთქი, თქო). ქართული წინადადების სინტაქსური ანოტირების სტრუქტურაში მნიშვნელოვან როლს ასრულებს მორფოლოგიური ანალიზის შედეგად დაგროვილი ცოდნა, რომელიც ამომწურავ სინტაქსურ ინფორმაციას გვაწვდის. მაგალითად, მოთხრობითი ბრუნვით გადმოცემული სახელი მხოლოდ ქვემდებარე შეიძლება იყოს და ა.შ. ასეთი სტრუქტურის მქონე სინტაქსური ანოტირების სისტემა გრამატიკული მახასიათებლების მეშვეობით ქართული წინადადების სრულყოფილი აღწერის საშუალებას იძლევა. 

ლინგვისტური ტექსტური კორპუსების მთავარი დანიშნულებაა ენის ლექსიკასა და გრამატიკაში სამეცნიერო კვლევების უზრუნველყოფა. კორპუსის ანოტირების შედეგად შესაძლებელია ტექსტის შესახებ ნებისმიერი ტიპის ანალიტიკური ინფორმაციის მიღება. კორპუსის კვლევის ინსტრუმენტის – კორპუსის მენეჯერის კომპილირებისთვის აუცილებელია მასში შესული ტექსტების მორფოლოგიური მონიშვნა (ანოტირება). რაც განსაკუთრებით რთულია ქართული ენის სხვადასხვა ქვესისტემების შემთხვევაში. მოხსენება შეეხება ქართული ენის ქვესისტემების მორფოლოგიური ანალიზატორის შემუშავებას. ნაგულისხმებია, რომ ყოველი ტექსტური ერთეული, რომლის ანალიზი თანამედროვე ქართული ენის მორფოლოგიური ლექსიკონის მიხედვით უარყოფით შედეგს იძლევა, ეკუთვნის ენის ქვესისტემას (დიალექტს). შესაბამისად შემუშავებულია სხვადასხვა დიალექტების მორფოლოგიური ლექსიკონების შევსება/გამდიდრების მეთოდი. ენის გარკვეული ქვესისტემისთვის ლექსიკონის შედგენის პროცედურა ოთხი ეტაპისაგან შედგება: 1. ლემათა (საბაზისო ფორმათა) ლექსიკონის შევსება უკვე არსებული დიალექტური ლექსიკონების (თუკი ასეთი არსებობს) დახმარებით; 2. მორფოლოგიური ანოტირება ლიტერატურულ და დიალექტურ ლექსიკონებზე დაყრდნობით; 3. ყველა ამოუცნობი სიტყვაფორმების კლასტერებად გაერთიანება, რომლებსაც შემდგომ შეეფარდებათ და მიეწერებათ ლექსემის ყალიბიდან გამომდინარე ჰიპოთეზური ინფორმაცია გრამატიკული მეტყველების ნაწილის, ლემის და სხვა მახასიათებლების შესახებ; 4. ყველაზე სწორი ჰიპოთზების შეფასება და მოცემული დიალექტის მორფოლოგიური ანალიზატორის ლექსიკონში ახალი ლემებისა და ფორმაწარმოებითი წესების დამატება

В современном языкознании создание лингвистических корпусов осознается как одна из актуальных задач. Проектирование менеджера корпуса Грузинских литературных текстов в первую очередь требует разработки морфологического, синтаксического и семантического анализаторов, а так же создания поисковых программ для работы с текстамы литературных произведений Грузинских авторов.

В рамках проекта «Система полного (морфологического, синтаксического и семантического) аннотирования корпуса Грузинского языка» ведутся работы по созданию Программного Комплекса GeoTrans, поддерживающего системное обеспечениеменеджера корпуса. Программная система предостовляет доступ к единой базе данных, хранящей морфологические, синтаксические и семантические разборы литературных текстов. Общая схема ПК GeoTrans представлена на рис. 1. Он состоит из Базы Данных, системы подготовки данных и системы доступа к БД.Для хранения базы данных используется СУБД MySQL.

С помощью системы подготовки данных ПК GeoTrans ведётся обработка текстов из БД, которая состоит из нескольких стадий:

Добавление нового текста в БД, графометрическое разделение текста и распределение информации по таблицам;

Морфологическое аннотирование текста;

Семантическое аннотирование текста;

Синтаксическое аннотирование текста;

Снятие омонимии.

Для обеспечения представительности национального корпуса обязательно требуется отображение в нём определённого сегмента метаязыка различных научных дисциплин. Метаязык науки является значительным фрагментом языка. В статье рассматривается создание грузинского корпуса метаязыка лингвистики на основе электронной библиотеки трудов Виссариона Аркадьевича Джорбенадзе (1942-1992), одного из видных грузинских языковедов 20-го века.

Система будет создана как WEB аппликация, размещена на сервере и доступна для любого авторизованного пользователя с помощью интернета. У нашего многокомпонентного продукта будет как научная, так и учебная функция.

В докладе обсуждаются пути решения поставленных задач, которые представляются в следующем виде:

1. Создание текстового электронного банка

2. Техническое обеспечение

3. Создание рабочего интерфейса корпуса и хрестоматии

There is no large representative corpus for the Georgian language, which is the official language of Georgia and belongs to Kartvelian family. In this joint project between the Tbilisi State University and the University of Leeds, we build KaWac, which designed to be a large and diverse Georgian Corpus from the Internet. The process started with identification of the more popular resources (over 1000 links) and crawling from them using wget, with further processing by webpage cleaning and deduplication based on BootCat tools. We estimate a corpus of 150 million words, 200,000 webpages.

By selecting the diverse initial links, we are trying to ensure that KaWaC covers a wide range of text types, topics and regions. The text types are described using Functional Genre Dimensions, such as Argumentative, Instructional, Legalistic, etc. The corpus will be morphologically annotated and lemmatised using the morphological analyzer GeoTrans developed by Georgian computational linguist at Tbilisi State University.

Challenges in processing: Highly inflected morphological variation, mainly in verbs, adjectives and nouns (e.g. seven cases, three series of verbs divided into ten classes etc.), fragments of texts in other languages (English, Russian), barbarisms in informal language, namely, in texts from personal blogs and forums.

KaWac is developed to be the primary resource for corpus based lexicography for Georgian. It will be also used to promote creation of grammar and other language teaching materials. KaWac will be a great resource for linguists to study the regional varieties, as well as both formal, planned and spontaneous, unplanned language.

არ არსებობს ბუნებრივი ენების სრული ლექსიკონები. აგრეთვე შეუძლებელია გადაითვალოს რიცხვების უსასრულო სიმრავლე, ან დასახელდეს ყველა არსებული საკუთარი სახელი და გვარი. დროთა განმავლობაში ყველა ენა იცვლება. იცვლება მისი ლექსიკონიც. ენის ყოველ ქვესისტემას თავისი საკუთარი გამოხატვა აქვს და შეუძლებელია ენის ლექსიკონში შევიდეს მისი ყველა ცალკეული ქვესისტემის სრული ლექსიკა. ქართული ენა 17-მდე დიალექტითაა წარმოდგენილი. მიმდინარეობს მუშაობა ქართული ენის დიალექტების კორპუსზე. კორპუსის სამუშაოთა ტექნოლოგიური ჯაჭვის ერთი ნაწილია მოხსენებაში დასმული საკითხი.

ამჯერად ყურადღება გვინდა გავამახვილოთ ენის დიალექტური მორფოლოგიური პროცესორის კომპილირებაზე.

ჩვენ წარმოგიდგენთ საკმაოდ მარტივ და, ამავე დროს, სრულყოფილ ტექნიკას, რომელიც 

სალიტერატურო ენის უკვე არსებული მორფოლოგიური პროცესორის ადაპტაციით იძლევა დიალექტური ენის პროცესორის კომპილირების საშუალებას. ჩვენი კომპიუტერული პროგრამის ინსტრუმენტების (ხელსაწყოების) დახმარებით ხდება ენის სხვადასხვა დიალექტისთვის სისტემის გაწვრთნა (ტრეინინგი) ცნობილი მორფო-ფონემური წესების გამოყენებით.

ჩვენი მეთოდის შესამოწმებლად შევარჩიეთ ქართული ენის დიალექტების კორპუსი. ქართული სალიტერატურო ენის მორფოლოგიურ მოდელზე დაყრდნობით მოვახდინეთ მორფოლოგიური პროცესორის ადაპტაცია და შემდეგ მოვსინჯეთ დიალექტური კორპუსის ლემატიზაცია და ზედაპირული ანოტირება.

ნაშრომის მე-2-ე პარაგრაფში განხილული იქნება ენის მორფოლოგიური პროცესორის

კომპილირების სისტემა ქართული ენის მაგალითზე, მე-3-ე პარაგრაფში განვიხილავთ ლიტერატურული ენის პროცესორის ადაპტაციის ტექნიკას დიალექტური ქვესისტემებისთვის, მე-4-ე პარაგრაფში აღწერილი იქნება მორფოლოგიური ანალიზატორი და მე-5-ე პარაგრაფში შევეხებით მსგავს სამუშაოებს. 

ქართული დიალექტური კორპუსის შექმნის პირველი ეტაპი მოიცავდა ძირითადი ტექსტური მასივის, მეტატექსტური ანოტირების სისტემისა და მასზე დამყარებული საძიებო-საცნობარო სისტემის დამუშავებას. კორპუსის გრამატიკული მონიშვნა და ლექსიკოგრაფიული კომპონენტი მხოლოდ კონცეფციურ დონეზე განიხილებოდა.  

პროექტის მიმდინარე ეტაპი გულისხმობს კორპუსის მორფოლოგიურ მონიშვნასა და ლექსიკოგრაფიული ბაზის ფორმირებას. შესაბამისად, გადამუშავდა კონცეფციის „ლექსიკოგრაფიული“ ნაწილიც. 

ქართული დიალექტური კორპუსის ახალ ლექსიკოგრაფიულ რედაქტორში გათვალისწი-

ნებულია „ქაღალდის ლექსიკონების“ ყველა თავისებურება. ამასთან, ის წარმოადგენს ძველი ლექსიკონების მნიშვნელოვანი დამატებითი ინფორმაციით აღჭურვისა და ახალი ლექსიკონის შექმნის მოქნილ და ეფექტურ საშუალებას.  

ლექსიკონების ახალი რედაქტორით შესაძლებელია: 1. მთავარ სიტყვას მიეწეროს გრამატიკული კლასის მახასიათებელი; 2. აღიწეროს ფონეტიკური ვარიაცია – რაც კორპუსში ვარიანტების ავტომატური ნიშანდების საშუალებას იძლევა; 3. შეიქმნას ინფორმაცია ლექსემის გრამატიკულ (ფორმაწარმოებით) ვარიაციაზე; 4. შეიქმნას ფრაზეოლოგიზმებისა და მყარი სიტყვაშეხამებების ლექსიკონები, რომლებიც კორპუსში ასეთი მასალის ნიშანდებისა და, შესაბამისად, ძიების საშუალებას მოგვცემს. 5. შეიქმნას დიალექტურ ფორმაუცვლელ სიტყვათა და მათი მრავალრიცხოვანი ფონეტიკური ვარიანტების ლექსიკონები, რომლებიც ასევე გამოყენებული იქნება კორპუსში ავტომატური ანოტაციისათვის.

პრინციპულად მიგვაჩნია, რომ გრამატიკული სტანდარტი ქდკ-ში მაქსიმალურად ითვალისწინებდეს ტრადიციულ ლინგვისტიკურ ნააზრევს. შემუშავდა გრამატიკული მახასიათებლების სია და მათი ლათინური ასოებისგან შემდგარი აბრევიატურები, რომლებიც შეესაბამება ყველაზე ცნობილ სტანდარტებს (EAGLES, Leipzig Glossing Rules...), თუმცა მთლიანად მაინც ვერ ეყრდნობა მათ და ორიენტირებულია ქართული ენის თავისებურებისა და ქართული საენათმეცნიერო ტრადიციის სრულყოფილად ასახვაზე. 

ახალი რედაქტორი სალექსიკონო სტატიას მონაცემთა ბაზის სახით ინახავს, რომელიც

დაკავშირებულია ცალკე კონფიგურირებადი სიების სახით არსებულ სხვადასხვა მახასიათებელთა სიმრავლესთან.

მეთაური სიტყვა უკავშირდება ყველა არსებულ დიალექტურ ლექსიკონსა და აგრეთვე ტექსტურ ბაზას. ეს იმას ნიშნავს, რომ ყველა სალექსიკონო სტატია, რომელშიც დასტურდება ეს სიტყვა მთავარ ფორმად და ყველა კონტექსტი, რომელშიც ეს სიტყვა შედის ტექსტურ ბაზაში _ ერთიანი კონკორდანსითაა გამთლიანებული. 

ისევე როგორც მეთაურ სიტყვას, გრამატიკული ვარიაციის ველსაც აქვს კავშირი გრამატიკულ მახასიათებელთა სიებთან.

ამრიგად, ქდკ-ს ახალ ლექსიკოგრაფიულ რედაქტორში შექმნილი სალექსიკონო სტატია

მოიცავს საკმაო ლინგვისტიკურ ინფორმაციას იმისთვის, რომ ის კორპუსში გრამატიკული ნიშანდების ერთ-ერთ საშუალებად იქნეს გამოყენებული.

ქდკ-ს ახალი ლექსიკოგრაფიული კონცეფცია კორპუსზე დაყრდნობილი და კორპუსით „მართული“ ლექსიკონების შექმნის ეფექტური საშუალებაც იქნება. 

საქართველოს ტექნიკური უნივერსიტეტის არჩილ ელიაშვილის მართვის სისტემების ინსტიტუტში გასული საუკუნის 50–იანი წლების ბოლოდან დაწყებული დღემდე კომპიუტერული ლინგვისტიკის მიმართულებით მეცნიერული ფუნდამენტური კვლევები მიმდინარეობს.

მოხსენებაში განხილული იყო ენობრივი და სამეტყველო მოდელირების განყოფილების კავშირები და თანამშრომლობა სხვადასხვა ქვეყნების ლინგვისტურ სკოლასთან. ჩამოთვლილი იყო განყოფილებაში შემუშავებული ალგორითმები და მათი პროგრამული უზრუნველყოფა.

წარმოდგენილი იყო განყოფილებაში განხორციელებული ადგილობრივი და საერთაშორისო პროექტები და მათ ფარგლებში რეალიზებული პროგრამული პროდუქტები.

The Georgian Dialect Corpus (http://mygeorgia.ge/gdc) is being developed as an instrument for the study and documentation of the geo-graphical varieties of Georgian. The strategy for the development of the GDC was based on one hand, on the international corpus experience, and on the traditions of Georgian dialectology and dialectography, on the other hand. In the corpus designing process we did our best to take into account the Georgian national linguistic and cultural space peculiarities.      

In the Georgian Dialect Corpus, dictionaries are applied to accomplish two goals: to achieve representativeness and for morphological annotation. The present paper gives the detailed description how the above mentioned functions are realized.

New texts are continuously being added to the corpus, and at the same time, the morphological annotation of the data is under processing; therefore, so far, the corpus can only be queried according to the following meta-textual (non-linguistic) features:

• Language and dialect

• Place of recording

• The informant’s identity

• Thematic and chronological features of a text

• Text type (narrative, poetry, conversation…)

  The structure of the corpus has been entirely determined by the fact that its technological chain comprises the whole cycle of text processing, beginning from data recording till their integration in the text base of the corpus. Hence, when the planning of field activities outline the occurrence of such components of the corpus as a block of administrative units, information blocks of chronological, thematic, sociologic, etc. features.

In order to facilitate the morphological annotation of the corpus, we presented the dialect dictionaries as “partially grammatical” dictionaries and applied them in the lemmatization and linguistic annotation processes. We decided to use the data of Georgian dialect lexicography in order to increase the lexical database (textual base) of the corpus as well.

The Georgian Dialect Corpus is a part of a comprehensive project Linguistic Portrait of Georgia. The team started working on the project in the late past century and, initially, it was primarily aimed at large-scale computer documenting of Georgia’s linguistic diversity. For the sake of implementing the project we chose the most effective strategy for language documentation – the corpus strategy.

The Georgian Dialect Corpus is created as a significant segment of the Georgian national communicative pattern. It is conceived as a sub-corpus of “a comprehensive Georgian corpus” and is designed for a wide interdisciplinary use.

Presently, two directions are identified in the corpus representation of dialect data: one is aimed at creating a fragmental corpus of a general character, being mostly illustrational and designed for making an impression about a diversity of language subsystems rather than for providing complete linguistic knowledge. Such an approach has been sustained in the Russian National Corpus. There is a completely different approach, in accordance with which dialect data should become a scholarly source of a new type to represent and study not only language but also a linguistic communicative pattern. Corpora of the former type have a function of illustrating and popularizing while others incorporate many other functions, among them,

In the corpus, each dialect (or any other language subsystem) is presented as an individual sub- corpus. This provides an opportunity to discuss linguistic phenomena and/or cultural artifacts both within the integral cultural field and within an individual communicative space or a regional cultural area.

Presently, the corpus incorporates texts from all Georgian dialects (among them, data of the dialects, spread in Iran, Turkey, and Azerbaijan); intensive activities for corpus processing of the Laz text collection are under way.

თანამედროვეობის ყველაზე ავტორიტეტული ლექსიკონები კორპუსებზეა დაყრდნობილი. არსებობს „უკუკავშირიც“ - ლექსიკოგრაფიული და გრამატიკული ნააზრევი კორპუსში აისახება კორპუსის ლინგვისტური ანოტირების სისტემის დამუშავებისას. თანამედროვე კორპუსების შედგენისას ლექსიკოგრაფიული კომპონენტი, როგორც ტექსტური ბაზის ნაწილი, გათვალისწინებული არ არის.

„ქართული დიალექტების კორპუსზე“ მუშაობის დაწყებისთანავე დავგეგმეთ მასში დიალექტური ლექსიკონების, როგორც ტექსტური მონაცემის, ინტეგრაცია. ლექსიკონების რედაქტორი ორი სახის ლექსიკოგრაფიულ ინფორმაციას მოიცავს: არსებულ დიალექტურ ლექსიკონებს და კორპუსის კონკორდანსზე დაყრდნობილ ლექსიკურ მასალას. შესაბამისად, ლექსიკოგრაფიული ელემენტი კორპუსში ორი ფუნქციით წარმოგვიდგება: როგორც პროდუქტი და როგორც ინსტრუმენტი.

ლექსიკონი, როგორც პროდუქტი ტექსტების მასივსა და სხვა ლექსიკონების კრებსით სიტყვიერ მასალაზე დაყრდნობით იქმნება და ახალ ლექსიკოგრაფიულ წყაროს წარმოადგენს, ხოლო მისი შექმნისას ჩატარებული სამუშაოების ნაწილი კორპუსის პირველადი მორფოლოგიური და სემანტიკური ანოტირების ინსტრუმენტად აქცევს მას.

მოხსენებაში წარმოდგენილი იქნება ქართული დიალექტური კორპუსის ახალი დონეები - ლემატიზაციისა და ლექსიკონის რედაქტორები.

ეს ორი დონე პირდაპირ არის დაკავშირებული კორპუსის სამუშაოთა დასკვნით ეტაპთან - მორფოლოგურ ანოტირებასთან.

დიალექტური კორპუსის მორფოლოგიური ანოტირების კონცეფცია ორიენტირებულია ქართული ენის მორფოლოგიური პროცესორის გამოყენებაზე - მისი დამატებითი „მორფოლოგიური ცოდნით“ აღჭურვაზე და შესაბამისად, დიალექტურ სიტყვაფორმათა ნახევრადავტომატურ იდენტიფიკაციის (და ამის საფუძველზე - ლემატიზაციის, ზედაპირული და ღრმა ანოტირების) შესაძლებლობაზე.

კორპუსის ლექსიკოგრაფიული დონისთვის დასაყრდენი ერთეულია მთავარი ფორმა. მისთვის მიწერილი პირველადი გრამატიკული და სემანტიკური ინფორმაცია კი კორპუსის ზედაპირული მორფოლოგიური მარკირების საშუალებას იძლევა.

მოხსენებაში წარმოდგენილი იქნება კორპუსის ლემატიზაციისა და ლექსიკონების რედაქტორები და დეტალურად იქნება აღწერილი მათი ადგილი მორფოლოგური ანოტირების პროცესში.

ენის მოდელირება თანამედროვე ლინგვისტიკის ერთ-ერთ მნიშვნელოვან მიმართულებას წარმოადგენს. ენობრივი მოდელებისათვის დამახასიათებელია, ერთი მხრივ, ენობრივი სისტემის დაყოფა რამდენიმე დონედ (მორფოლოგიური, სინტაქსური, სემანტიკური), მეორე მხრივ კი, ამ დონეებს შორის უშუალო კავშირების დამყარება. ქართული ენის მოდელის სხვადასხვა დონეების შეთანხმებული ფუნქციონირებისა და ეფექტური მოქმედებისთვის შესაძლებელია მისი დაფუძნება „განმარტებით-კომბინატორულ ლექსიკონზე“. ქართული ენის კომპიუტერულ განმარტებით-კომბინატორულ ლექსიკონში ლექსემის გარშემო არსებული მთელი ინფორმაცია ზონებადაა დაყოფილი: პირველი - მეთაური სიტყვა, მეორე - სიტყვის განმარტება, მესამე ­ - მორფოლოგიური მოდელი, მეოთხე - სიტყვის სემანტიკურ-სინტაქსური მოდელი; მეხუთე ზონა ეძღვნება სიტყვის ლექსიკური ფუნქციების სიას. შოთა რუსთაველის ეროვნული სამეცნიერო ფონდის მხარდაჭერით შემუშავდა ქართული ენის განმარტებით-კომბინატორული ლექსიკონის გენერატორი. მის შესაქმნელად ვიყენებთ ქართული ენის სინტაქსისა და სემანტიკისადმი თანამედროვე მიდგომას: “ფენოვანი” სინტაქსური სტრუქტურები; ი. მელჩუკის ­- ლექსიკური პარამეტრების თეორია; ი. აპრესიანის - სინონიმური მწკრივების მეთოდი. ქართველოლოგიის თვალსაზრისით ეს არის ქართული ენის აღწერის მეთოდიკის გაფართოება, გაძლიერება და განახლება ახალი საერთაშორისო სტანდარტების შესაბამისად; ზემოხსენებული თანამედროვე თეორიებისთვის - მათი კროსლინგვისტიკური ვარგისიანობის ახალი ტესტირება; კომპიუტერული ლინგვისტიკის კუთხით კი, ეს სამუშაო უზრუნველყოფს მძლავრ საფუძველს ქართული ენის სრულყოფილი ფუნქციონალური მოდელის შესაქმნელად. 

Морфологическая разметка текста важный аспект при создании корпуса языка. В течение последних лет в Отделе Языковых и Речевых Систем Института Систем Управлений Государственного Технического Университета разрабатывается мульти-язычный морфологический процессор для  последующего его использования в широком классе теоретических и прикладных задач. Значительную ценность процессору придает возможность полуавтоматического морфологического аннотирования корпуса.

На основе алгоритма морфологического анализатора в отделе создан пакет программных инструментов - GeoTools. С их помощью пользователь может в конечном итоге получить глубоко-аннотированный корпус. Кроме того, С помощью программных утилит возможно выравнивание и обработка параллельных текстов. Программный продукт имеет возможность установки интерфейса и обработки данных для трех языков – Грузинский, Русский, Английский. При этом пользователь может задавать: уровень разметки (поверхностный или глубокий); описание морфологических характеристик с соответствующими маркерами. Для тех словоформ, которые не описаны в корпусе, алгоритм генерирует её предположительную модель словоизменения – одну или несколько. Также возможно выявление парадигмы одной лексемы; запись и воспроизведение парадигмы заданной лексемы; запись и поиск всех лемм с идентичной парадигмой. Пользователь сможет произвести сортировку слов и лемм, как в нормальном, так и в инверсионном порядке букв (в словоформе); фильтрацию данных по одинаковым признакам и многое другое. В данный момент происходит внедрение в систему компонентов для синтаксической разметки текста.

До настоящего времени для Грузинского языка аннотированных корпусов текстов не существовало вовсе. Используя систему программных инструментов - GeoTools в нашем отделе, в полуавтоматическом режиме, обрабатываются параллельные тексты произведения современного грузинского писателя – Чабуа Амирэджиби – Дата Туташхиа. Также совместно с Отделом Компьютерной Обработки Лингвистических Данных Института Языковедения им. А. Чикобава мы производим работы для аннотирования диалектного корпуса.

В докладе были описаны инструменты GeoTools, этапы и процедуры ввода данных при обработке текстов. Также были изложены основные принципы алгоритмов выравнивания и разметки корпуса.

ქართული დიალექტების კორპუსი იქმნება რუსთაველის ეროვნული სამეცნიერო ფონდის მხარდაჭერით და გულისხმობს ქართული ენის ქვესისტემების ვრცელი, ლინგვისტური და მეტალინგვისტური ანოტირების აპარატით აღჭურვილი კორპუსის შექმნას . ქდკ-ს კონცეფციაში გამორჩეული ადგილი უჭირავს ერთ მნიშვნელოვან მომენტს, რომელიც ჯერჯერობით არ გვხვდება საერთაშორისო კორპუსულ გამოცდილებაში. ეს არის ლექსიკონების, როგორც ტექსტური კომპონენტის ინტეგრირება კორპუსში.

კორპუსის არქიტექტურაში ტექსტების შეტანის რედაქტორთან ერთად გათვალისწინებულია ლექსიკონების დამატების რედაქტორიც, რომელიც შესაძლებლობას იძლევა აისახოს ქართული დიალექტური ლექსიკონების ყველა აღნიშნული ლექსიკოგრაფიული თავისებურება. 

ლექსიკონის (ან სხვადასხვა სახის სალექსიკონო მასალის) შეტანა კორპუსში მისი

რეპრეზენტატულობის ხარისხის გაზრდის ეფექტური საშუალებაა. განსაკუთრებით ეს ითქმის დიალექტურ კორპუსზე, რადგან დიალექტური ტექსტების თემატური, ჟანრობრივი ან სტილური "დაბალანსება" გაცილებით პრობლემურია, ვიდრე სალიტერატურო ენის ტექსტებისა.

ამჟამად ჩვენ ვამუშავებთ მორფოლოგიური ანოტირების სისტემას კორპუსში (ქდკ). ამ გზაზე პირველი ნაბიჯია ლემატიზაცია. თუკი ამომწურავი მორფოლოგიური აღწერილობის მქონე სალიტერატურო ენათა კორპუსებში ავტომატური ლემატიზაცია იოლად გადასაჭრელი და ტრივიალური პრობლემაა, დიალექტურ კორპუსში, რომელშიც 20-მდე ქვესისტემის ვრცელი ტექსტური კოლექციაა ინტეგრირებული, ეს საკმაოდ რთულ ამოცანას წარმოადგენს. დიალექტურ კორპუსთა უმეტესობაში ეს პროცესი ხელით ხორციელდება. 

ლემატიზაციის პროცესი ჩვენს კორპუსში სალიტერატურო ფორმაზეა ორიენტირებული _ ხდება დიალექტური და სალიტერატურო ლემის "გათანაბრება, გაიგივება". ამ საფეხურამდე, ბუნებრივია, გასავლელია თვით დიალექტური ტექსტის ლემატიზაციის საფეხური. პარალელურად ვაწარმოებთ მეტყველების ნაწილის მიხედვით ანოტირებას. 

ჩვენ გადავწყვიტეთ, გამოვიყენოთ დიალექტური ლექსიკონის "მარცხენა მხარე" ნაწილობრივი ლემატიზაციისა და მეტყველების ნაწილების მიხედვით ანოტირებისათვის.

ვფიქრობთ, ლექსიკონის, როგორც ერთგვარი "ინსტრუმენტის", ლემატიზაციისა და

პირველადი ანოტირების პროცესში ჩართვის იდეა შესაძლოა ეფექტურად იქნეს გამოყენებული იმ ენათა ლინგვისტური კორპუსების შექმნისას, რომელთაც არ აქვთ ამომწურავი მორფოლოგიური აღწერილობა (რომელთა კომპიუტერული დამუშავება ჩამორჩება თანამედროვე მოთხოვნებს).

განხილულია ქართულ ენაში ზოგიერთი არსებითი სახელის მრავლობით რიცხვში ბრუნების თავისებურებანი. ენობრივი მოვლენები გარკვეულ კანონზომიერებას ექვემდებარება, მაგრამ ზოგადი წესების გვერდით არსებობს გამონაკლისებიც. ყურადღება გამახვილებულია ზოგიერთი სახელის მრავლობითი რიცხვის წარმოების საკითხზე. უკვე დამკვიდრებული წესის თანახმად, მრავლობით ბრუნვაში არ იხმარება გარკვეული ჯგუფის არსებითი სახელები. მათ არათვლადი სახელები ეწოდება. ასეთებია ნივთიერებათა, აბსტრაქტული, კრებითი არსებითი სახელები, მაგრამ   სხვადასხვა სემანტიკური დატვირთვის დროს არაიშვიათია ასეთი სახელების მრავლობითში ხმარება. ზოგი ზედსართავი სახელი გაარსებითებულია მრავლობითი რიცხვის ფორმით (წითლები, მწვანეები, მდიდრები, ღარიბები და ა.შ.). ნაშრომში საილუსტრაციოდ მრავლადაა მოყვანილი მეტყველებაში უკვე მტკიცედ დამკვიდრებული სიტყვათშეთანხმებები, ისეთები, როგორიცაა „ქართული ღვინოები“ „მარილების დაგროვება“, „მინარალური წყლები“ - (ნივთიერებათა სახელები); „ფიქრები“, „მოტივები“, „არჩევნები“ - (აბსტრაქტული სახელები); „გუნდები“, „კრებები“-(კრებითი სახელები): და სხვა.

The Georgian dialect corpus is created at the Arn. Chikobava Institute of Linguistics. Its purpose is to portray the texts’ collection of all Georgian dialects by the corpus technology. At present, there are narrative and lexicographic data of 16 Georgian dialects placed in the corpus. However, potentially the corpus can present the data of other Kartvelian languages as well.

Morphological annotation of the corpus is one of the most important stages of the work, being now carried out by the working group. Here in this article, the five-level process of morphological annotation developing is discussed and the mechanism of forming and expanding the bases containing the relevant linguistic information is presented.

The Georgian Dialect Corpus (GDC _ http://mygeorgia.ge/gdc ) is the first corpus work in Georgian language. Its test version has become available for the internet users in the last two years and it has appropriate professional responses. Several researchers interested in the Georgian dialects and generally in the Georgian language, have been already working on the bases of the GDC.

We have considered preparation and filling up of the texts’ collection and development of the logical architecture of the corpus, as the priority among the several components. It is implemented the unprecedented quantity of work. As a result, the corpus is already providing the rapid search and the effective investigation of the material. Textual and lexical data of all Georgian dialects are integrated into the corpus.

During morphological annotation the marker of the dialect origin is neglected. Glossary is provided in form of the usual alphabetic concordance in which every acknowledged word form differing from the literary word form is assumed as a dialect form.

The primary morphological annotation or the part-of-speech tagging enables us to divide the word forms represented in the dictionary into several parts – grammar groups.

The Georgian dialect corpus is created at the Arn. Chikobava Institute of Linguistics. Its purpose is to portray the texts’ collection of all Georgian dialects by the corpus technology. At present, there are narrative and lexicographic data of 16 Georgian dialects placed in the corpus. However, potentially the corpus can present the data of other Kartvelian languages as well.

Morphological annotation of the corpus is one of the most important stages of the work, being now carried out by the working group. Here in this article, the five-level process of morphological annotation developing is discussed and the mechanism of forming and expanding the bases containing the relevant linguistic information is presented.

The Georgian Dialect Corpus (GDC _ http://mygeorgia.ge/gdc ) is the first corpus work in Georgian language. Its test version has become available for the internet users in the last two years and it has appropriate professional responses. Several researchers interested in the Georgian dialects and generally in the Georgian language, have been already working on the bases of the GDC.

We have considered preparation and filling up of the texts’ collection and development of the logical architecture of the corpus, as the priority among the several components. It is implemented the unprecedented quantity of work. As a result, the corpus is already providing the rapid search and the effective investigation of the material. Textual and lexical data of all Georgian dialects are integrated into the corpus.

During morphological annotation the marker of the dialect origin is neglected. Glossary is provided in form of the usual alphabetic concordance in which every acknowledged word form differing from the literary word form is assumed as a dialect form.

The primary morphological annotation or the part-of-speech tagging enables us to divide the word forms represented in the dictionary into several parts – grammar groups. 

Nowadays a bilingual corpus of parallel texts is an important instrument for contrastive analyses and various linguistic studies. The concordance is in the centre of corpus linguistics, because it provides access to many important language patterns in texts. An approach to automate the creation of multilingual (Georgian –English – Russian) concordancers is considered. We use a new system called “GeoTrans” for dictionary management and for aligning bilingual parallel texts. The system applies the rule-based morphological system, so it will be possible to generate necessary rules for words not included in “GeoTrans” database, as well. The applied program interface of “GeoTrans” offers acquisition of morphological description depending to word paradigms.

Here technology of expert systems is used, particularly the frame-based representation of Marvin Minsky. In order to describe a given word form in frames, it is necessary to determine the phenomena, connected to the word, the reasons causing these phenomena and the script of the different phenomena. The system creates the library of frames, in which the cause-effect relations of all morphological phenomena are represented. In our “GeoTrans” system "phenomenon" means determination of those "facts", which are carried out on the basic dictionary units, on the “terminals”. The linguistic concepts of these "facts" mean those morphological ways, i.e. procedure (in the terms of expert system), with which help from the “terminal” we get word form.

The system is implemented as much as possible language independent method. The system has been tested on the poem "The Knight in the Tiger's Skin" by the Georgian poet Shota Rustaveli, with the parallel Georgian –English – Russian texts. For today works for creation and correction of the primary and secondary lexical databases supported by researches of linguists at Georgian Ilia Chavchavadze university are being conducted.

კომპიუტერისა და ინტერნეტის საუკუნეში ტრადიციული ბეჭვდითი ლექსიკონი თანდათან უფერულდება და გზას უთმობს თავის ”გატექნოლოგიურებულ” ვირტუალურ ორეულს. დღეს, თუ გადავხედავთ თანამედროვე ინტერნეტ-ლექსიკონებს, აღმოვაჩენთ რომ ბევრი მათგანი არ შემოიფარგლება სალექსიკონო სტატიის მხოლოდ ტრადიციული წარმოდგენით. უმეტესობა ”შეიარაღებულია” თანდართული მორფოლოგიური, სინტაქსური თუ სემანტიკური ანალიზატორით.

მოხსენებაში წარმოგიდგენთ უნივერსალურ მორფოლოგიურ ანალიზატორს, რომელიც სამი ენის (ქართული, ინგლისური, რუსული) მაგალითზე ნათელს ხდის თუ რამდენად მარტივია ნებისმიერი კომპიუტერული ლექსიკონის მორფოლოგიური ანალიზით უზრუნველჰყოფა და სხვადასხვა ლექსიკოგრაფიულ კვლევაში მისი გამოყენება.

ენის მორფოლოგიის შესახებ ცოდნის წარმოდგენა ტრადიციულად მისი ტერმინალების, ანუ ამოსავალი სიტყვების, პარადიგმული აღწერით შეიძლება ჩამოყალიბდეს. ჩვენ მიერ შემოთავაზებულ GeoTrans სისტემაში გამოყენებულია ექსპერტული სისტემების ტექნოლოგია, კერძოდ კი მარვინ მინსკის ფრეიმების წარმოდგენა. იმისათვის რომ მოხდეს გარკვეული სიტყვაფორმის ფრეიმისეული აღწერა, საჭიროა დავადგინოთ მასთან დაკავშირებული მოვლენები, ამ მოვლენების გამომწვევი მიზეზები და სხვადასხვა მოვლენათა სცენარები. ჩვენ მივმართავთ სიტყვის პარადიგმას და ვადგენთ მიზეზშედეგობრივ კავშირებს მოქმედებებსა და შედეგებს შორის. სისტემა ქმნის ფრეიმების ბიბლიოთეკას, რომელშიც აღნუსხულია ყველა მორფოლოგიური მოვლენის მიზეზშედეგობრივი მიმართებები.

ექსპერტულ სისტემაში “მოვლენის გაგება” ნიშნავს იმ „ფაქტების” დადგენას, რომელიც განხორციელებულია ტერმინალებზე - ამოსავალ სალექსიკონო ერთეულზე. “ფაქტები” კი ლინგვისტური გაგებით, ის მორფოლოგიური ხერხებია, ანუ ექსპერტული სისტემების ტერმინებში – პროცედურები, რომლის ტერმინალზე განხორციელების შედეგადაც მიიღება სიტყვაფორმა.

წესები წარმოადგენს პროდუქციათა ერთობლიობას. მასში გაერთიანებულია სათანადოდ კვალიფიცირებული ცალსახა თუ არაცალსახა მარკერები, მარკერთა შეხვედრის პირობები. ნაჩვენებია, რა მორფოლოგიურ კატეგორიებს განარჩევს ესა თუ ის ზმნა, სახელი, მოცემულია კატეგორიათა ინტერპრეტაცია (რიგ შემთხვევაში ტრადიციულიდან განსხვავებული), ახსნილია მარკერთა სინონიმია/ ომონიმია, გამოთქმულია გარკვეული მოსაზრებები ამ მოვლენათა თაობაზე. კერძოდ, მიგვაჩნია რომ სინონიმია მორფოლოგიურ დონეზე (სინტაქსური დონისაგან განსხვავებით) შეზღუდულია, განპირობებულია მორფოლოგიური გარემოცვით (შდრ.: ხატავ-ს და ხატავდ-ა). რაც შეეხება ომონიმურ მოვლენას, ასეთად (ომონიმიად) ჩათვლილია მხოლოდ ისეთი შემთხვევები, რომლებიც არამორფოლოგიურ დონეზე აიხსნებიან. მაგალითად, ამგვარია “დაწერა” ფორმა (დაწერ-ა _ საწყისი, დაწერ-ა – პირიანი ფორმა), რომელიც სინტაქსურ დონეზე სწორ კვალიფიკაციას მიიღებს. რაც შეეხება ი-წერება, ი-წერს, მ-ი-წერს ფორმებში ი-ს შეფასებას, იგი მიგვაჩნია არა ომონიმურ მარკერად, არამედ ენაში უთუოდ არსებულ და მოქმედი ეკონომიურობის კანონის, ენის ყაირათიანობის ნიმუშად – ენა სრულიად უმტკივნეულოდ იყენებს ერთსა და იმავე ენობრივ მასალას სხვადასხვა ინფორმაციის გადმოსაცემად – პრობლემას აგვარებს სიტყვაფორმის სტრუქტურა.

წარმოგიდგენთ ქართული რიცხვითი სახელების კომპიუტერულ რეალიზაციას ენის მოდელირების ექსპერტულ სისტემაში – MESLM.

MESLM სისტემაში მორფოლოგიური ლექსიკონი დაიყო კანონიკურ და წესების ლექსიკონად. კანონიკური ლექსიკონი (CaDic) არის მონაცემთა ბაზის ფაილი, რომელშიც შედის სიტყვის კანონიკურ ფორმასა და მისი მორფოტაქტიკური წესების მარკერებს შორის შესატყვისობები. მორფოტაქტიკური წესები აღწერილია ორ სალექსიკონო მონაცემთა ბაზაში: ფორმაწარმოების (InRuLex) და სიტყვაწარმოების (DeRuLex). სახელების ბრუნება, ზმნების უღლება, პროდუქტიული სიტყვაწარმოება და შერწყმა (სახელების გაერთიანება) უზრუნველყოფილია დამატებითი ლექსიკონებით. ესენია: ფორმაწარმოების (InFeLex) და სიტყვაწარმოების (DeFeLex) გრამატიკული მახასიათებლების ლექსიკონები.

სისტემა რიცხვითი სახელების ფლექსიას ასახავს მარკერებით, რომლებიც აღწერენ რიცხვითი სახელის სახეს და მორფოლოგიურ მახასიათებლებს. იგი ორმიმართულებიანია და შეიძლება გამოყენებული იყოს რომელიმე ბრუნვაში მდგარი რთული რიცხვითი სახელის ანალიზისათვის, ან მარკერებით და ციფრებით ასახული შესაბამისი გამოსახულების გენერირებისათვის.

ქართულ ენაში ციფრების ასახვა რიცხვით სახელებში გაცილებით უფრო რთულია, ვიდრე შესაბამისი გარდაქმნები სხვა ენებში, მაგ., ინგლისურში, ვინაიდან ქართულში რთული რიცხვითი სახელები იბრუნვის, რიცხვების გამოხატვა კი ხდება ოცობით-ათობითი შერეული სისტემით.

ქართულში, ისევე როგორც ბევრ ენაში, რიცხვითი სახელები იყოფა რაოდენობით, რიგობით და წილობით ჯგუფებად. ყველა რაოდენობითი რიცხვითი სახე-ლი ერთიდან ათის ჩათვლით მარტივი რიცხვითი სახელია: 0-ნული, 1-ერთი, 2-ორი, 3-სამი, 4-ოთხი, 5-ხუთი, 6-ექვსი, 7-შვიდი, 8-რვა, 9-ცხრა, 10-ათი. აგრეთვე მარტივია რიცხვითი სახელები: 20-ოცი, 100-ასი, 1,000,000-მილიონი, 1,000,000,000-მილიარდი, 1,000,000,000,000-ტრილიონი.

ქართულში რიცხვები 100-ის შემდეგ გამოიხატება ოცობით-ათობითში, მაგრამ უმრავლეს ენებში რიცხვითი სახელების გამოხატვის ინტერპრეტაცია სქემატურად მსგავსია და აისახება შემდეგი ფორმულით: V = [M • F + R]. რიცხვითი სახელის რიცხვითი სიდიდე V (Value) მიიღება სამრავლის M (Multiplicand) მამრავლზე F (Factor) გადამრავლებით და R (Remainder) ნაშთის მიმატებით. ამ რეკურსიულ სტრუქტურაში M და R კომპონენტები თვითონვე შეიძლება იყვნენ რთული რიცხვითი სახელები, რომლებიც ექვემდებარებიან გარკვეულ შეზღუდვებს.

წილობითობა მარკირებულია სუფიქსით, რომელიც წინ უსწრებს რიცხვისა და ბრუნვის მარკერებს. რიგობითი და წილობითი რიცხვითი სახელები ყოველთვის იწერება როგორც ერთი სიტყვა.

Our aim is to create a system for automatic language generation. We present the work aimed at building the Multilingual Expert System of Language Modeling (MESLM).

The first step for MESLM system is accumulation of knowledge about the morphological level of the language. On the other hand, for acquisition of knowledge about morphology of a language we use Artificial Intelligence (AI) techniques (such are, for example knowledge-based expert systems). Such system solves problems of knowledge acquisition with the help of linguist experts.

MESLM system can be considered as a tool imitating human thoughts and creating morphological rules for any language processor. Although some AI techniques have been applied for processing natural languages, it is very difficult to use them, especially, with inflectional languages because special skills are required for application of expert's knowledge. The expert uses MESLM to derive knowledge from source language without teaching special high-level languages or some formal operators. After the pattern recognition the text will be segmented into words and non-lexical material and the lemma will be determined. The form of each word will be converted as a morphological rule and listed into two lexicons as an entry head (Initial words) and as a rule. 

Morphological representation in the MESLM system can be compared with well-known Finite-State Morphology [2], or Net representation of morphologic processor [1], or other models which use the net representation for generation. In contrasts to them, we have so-called “Morphological Functions” (MF). Briefly, MF operators reflect morphological process just needed for to build a desirable word-form with corresponding grammatical characteristics. A conceptual framework of representation in the MESLM system for derivation is not much distinct from inflexion. In both variants, the interface remains the same and the user plays the role of a linguist from which only natural analytical ability is required.

From some point of view, Language Modeling (LM) can be considered as a some axis of the linguistics. Just in the frames of it, the different basic components of language should be unified and as a result brought into accord and conformity. Just one more, dimension of such relations is here under consideration: that is, we shall here touch the question of a triple relation between aspects of language knowledge, its use and its acquisition. This direction of investigations newly began and as far only some sketches of the language knowledge/use relation are ready for demonstration, though even they are not sufficiently tested and don’t guarantee complete correctness of their functioning.

According to the wide accepted opinion that language knowledge can be represented by a generative grammar the productive components (synthesis and analysis) are based on the morphologic generator Bf→P, which transforms each Basic (dictionary) form into all members of the Paradigm corresponding to the input Bf. Just this component of the scheme is the most accomplished: its object is Russian morphology and it is based on A.A. Zaliznyak dictionary.  As to synthesis it obviously does not create any serious problems in the context of the Bf→P system if we suppose that its input is just Bf’ which is at the same time the generator’s input also; and the choice of the required form is immediately defined by the grammatical part of the input. Essential heavier version of this problem characterizes the analytic component of system. In this case a direct mode of comparison in course of dictionary search is changed by the attempts to find some alikeness between the input Wf and Bf’. Such more specific process exacts some more effective means for reduction of the search area in dictionary and in the generated paradigm both. 

დღესდღეობით რუსული ნაბეჭდი ტექსტების კომპიუტერული დამუშავების სფეროში მრავალი ახალი სამომხმარებლო პროგრამა იქმნება. მათი განხორციელების საქმეში რუსული მორფოლოგიის მოდულს ძირითადი ადგილი უკავია. ტრადიციულად ავტომატური მორფოლოგიური პროცესორის შექმნა, იქნება ეს ანალიზატორი, სინთეზატორი, ტეგერი თუ მთარგმნელი, კომპიუტერული ლინგვისტებისაგან ძირითადად სამი ამოცანის გადაწყვეტას მოითხოვს: პირველია საკვლევი ენის მორფოლოგიის მოდელის ფორმალიზაცია, რაც გულისხმობს ამ ენაში არსებული თითოეული ამოსავალი სიტყვის მიმოხრის ალგორითმიზაციას თავისი საკუთარი სქემის მიხედვით; მეორე – ყველა იმ სიტყვათა ჯგუფების გამოვლენა, რომლებსაც ერთნაირი პარადიგმა აქვთ და მესამე – ისეთი ლექსიკონის შედგენა, რომელშიც თითოეულ ამოსავალ სიტყვას ექნება საკუთარი პარადიგმის ან პარადიგმების (ომონიმების შემთხვევაში) აღმნიშვნელი მახასიათებელი. როგორც ცნობილია,       თანამედროვე რუსულ გრამატიკაში ჯერჯერობით ყველაზე უფრო სრულყოფილად სიტყვის ფლექსიას ასახავს А. А. Зализняк 1977. მასში თითოეულ სიტყვას გააჩნია საკუთარი გრამატიკული ნიშნები და ინდექსები, რომლებიც ცალსახად მიუთითებენ პუნქტებს იმ გრამატიკული ცნობარიდან, სადაც მოცემულია კონკრეტული ამოსავალი სიტყვების კლასებისათვის დამახასიათებელი ბრუნვისა თუ უღლების სქემები. გარდა ამისა, ლექსიკონში გამოყენებულია სიტყვათა მიმდევრობის ინვერსიული რიგი. რის შედეგადაც ერთნაირი პარადიგმების მქონე სიტყვები ერთმანეთის მახლობლობაშია მოქცეული და ამით გაადვილებულია მათი გაერთიანება ერთნაირი მიმოხრის მქონე სიტყვათა მასივებში.

ჩვენს მიერ შემოთავაზებული გამოყენებითი პროგრამის ძირითად მიღწევად შეიძლება ჩაითვალოს А. А. Зализняк 1977 სალექსიკონო სტატიებში შესული ყველა პირობითი ნიშნის სახეთა ამოცნობა და შემდგომ, მათზე დაყრდნობით, ისეთი კომპიუტერული სისტემის შემუშავება, რომელშიც შესაძლებელია ერთნაირი მიმოხრის მქონე სიტყვათა მასივების ავტომატური მოპოვება. სისტემის შემუშავების დროს სალექსიკონო სტატიებში გამოყენებული ჩანანიშნებისა და ინდექსების გარჩევის პროცესის ფორმალიზება გართულებული იყო არა მარტო ამოსავალი სიტყვების სხვადასხვა მახასიათებლების აღმნიშვნელების სიმრავლით (24 სახე-ობიექტი), არამედ მათი მნიშვნელობების არაცალსახობით, რომელსაც განაპირობებს მახასიათებლების რიგი.

ლინგვისტ-მომხმარებელს საშუალება აქვს ნებისმიერი მეტყველების ნაწილის და ძირითადი, თუ დამხმარე მორფოლოგიური მახასიათებლის (ან მახასიათებლების) მიხედვით მოახდინოს ლექსიკონის წინასწარი კლასიფიკაცია, ხოლო გამოვლენილი კლასების მიხედვით ჩაატაროს სასურველი კლასის სალექსიკონო ერთეულების დაჯგუფება მათ ჩანაწერში მითითებული მახასიათებლების ყველა შესაძლო კომბინაციის მიხედვით.

For the operation of an automatic paradigm generation system within the framework of a common Swedish-Georgian project (KTH, Stockholm - ISU AN Georgia, Tbilisi), a dictionary of word forms with morphological information about each word and the selection of lists of words with the same characteristics is required. The dictionary consists of approximately 100,000 words. Moreover, each word has grammatical markers and indices that indicate its own scheme of declension or conjugation of the word. In addition, the dictionary uses the so-called inverse word order, as a result of which, basically, words with the same information about the declension (or conjugation) are located next to each other, which contributes to grouping them into groups with identical characteristics. This type of method is widely used by linguists in the creation of automatic processors.

In preparing our dictionary for work, a number of problems were solved. The system formalizes the method of recognition of morphological characteristics based on the designations adopted in the entries of the dictionary of Russian lexical units. The dictionary highlights 24 main features. For each dictionary unit, a row is recorded in the "RusLex" database, the structure of which makes it possible to further process the dictionary.

An application program ZalDict has been created, which works under Windows'95 and higher. The system is designed for research purposes, in particular, many hours of searching and selecting words for one or more features using the appropriate modes takes only a few seconds.

The main advantage of the system is that with the help of our program it is possible to classify a dictionary according to any combination of given features. Thus, it is possible to search for such classes of words that have the same declension (conjugation) scheme.

ანალიზის, სინთეზის და ტეგირებისა სისტემებში გამოყენებულ მორფოლოგიურ პროცესორებში ვიყენებთ ე.წ. „მორფოლოგიური ფუნქციების ჩაწერის და აღწარმოების“ - MorZaVo მეთოდს. ამ მეთოდზე დაყრდნობით შეიქმნა „ქართულ-რუსულ-ინგლისური სიტყვა-სიტყვითი ინტერპრეტატორი“. მეთოდის ძირითადი ღირსება მისი უნივერსალურობაა. რაც გულისხმობს, რომ ამა თუ იმ ენის პროცესორის და მისი მორფოლოგიური მოდელის შექმნაში მონაწილეობას იღებს თვით ლინგვისტი-მომხმარებელი. MorZaVo სისტემაში ალგორითმიზირებულია არა ცალკეული მორფოლოგიური კატეგორიების და მათი შესაბამისი მორფოლოგიური ნიშნების პროცესირება, არამედ თვითონ ამ კატეგორიების, მათ გამოსახატავად გამოყენებული მორფოლოგიური ხერხებისა და ნიშნების ამოცნობა-დამახსოვრება-აღწარმოება.

MorZaVo მოდელის საშუალებით სხვადასხვა ენების ლექსიკონების შევსების გაადვილებამ გადაგვაწყვეტინა შევჭიდებოდით ავტომატური თარგმანის ურთულეს ამოცანასაც. ჯერ-ჯერობით განხორციელებულია მხოლოდ მორფოლოგიური დონე. ტექსტების დამუშავება და მათი თითოეული ელემენტისთვის შესაბამისი ინფორმაციის მოძიება სისტემის ანალიზის, სინთეზისა და ტეგირების ბლოკების გამოყენებით ხდება, რაც შემდგომში საშუალებას მოგვცემს მოვაგვაროთ ავტომატური თარგმნის სინტაქსისა და სემანტიკის საკითხებიც.

MorZaVo მოდელზე დაყრდნობით შექმნილია „ქართულ-რუსულ-ინგლისური სიტყვა-სიტყვითი ინტერპრეტატორის“ სისტემა, რომელიც ინტეგრირებულია GeoTrans გამოყენებით-სამომხმარებლო პროგრამაში. სისტემის მუშაობის ძირითადი დანიშნულებაა სათარგმნი ენის ნებისმიერ სიტყვაფორმას მოუძებნოს თარგმანის ენაში ყველა შესატყვისობათა ამოსავალი ფორმები.

MorZaVo სისტემის ადაპტაციის დროს შეიქმნა სირთულეები სათარგმნი და თარგმანის ენების ელემენტების შესატყვისობების დადგენისას. მოხდა ისე, რომ დაირღვა სალექსიკონო ერთეულების შესაბამისობის ცალსახობა, ანუ კერძოდ, ერთი ენის ერთ ამოსავალ ფორმას არ მიესადაგა მეორე ენის ერთი ამოსავალი ფორმა. ერთი ენის კომპოზიტის შესატყვისი მეორე ენაში ვერ გუობს ხოლმე მეორე ენაში შესაბამის მნიშვნელობათა მქონე სიტყვაფორმების შერწყმას და მხოლოდ იდიომური შეთავსებით გამოიხატება. ასე მაგალითად ინგლისურში over თავსართით დაწყებული კომპოზიტის overboard, overnight, overlap, overcast overawe და სხვ.) ქართული და რუსული შესატყვისობები უმეტესად რამოდენიმე სიტყვიანი ფრაზით გამოიხატება. ასეთივე სურათია მრავალი ქართული რთული სიტყვის შემთხვევაში (მაგ.: ქვედაპირი, კარღია, კარდაკარ, კარჩაკეტილი, მამიდა, მამინაცვალი და სხვ.). საჭირო გახდა შესაბამისობათა ცხრილებში კომპოზიტების, კონსტრუქციების, იდიომების აღნიშვნისა და „ჩაწერის“ ალგორითმიზაცია. REVFORM (ფორმის დამდგენი) ოპერატორი სისტემისთვის მიწოდებული შესატყვისობების ცხრილების „ჩაწერის“ დროს ადგენს ყველა შესაძლო ვარიანტს და შესაბამისი ნიშნებით ინახავს „მრავალენოვანი ლექსიკონის შესატყვისობათა“ ბაზაში, ხოლო შემდეგ სისტემის „ინტერპრეტატორის“ ბლოკის მუშაობის დროს უკვე CREFORM (ფორმის შემდგენი) ოპერატორი ქმნის შესაბამის კომპოზიტს, კონსტრუქციას თუ იდიომას.

BfP это морфологическая порождающая система (Basic form →Paradigm) которая генерирует для каждой входной базисной формы (Bf) ее полную парадигму (P). В настоящее время эта система тестирована на радигмах русского глагола. Однако, уже в этом неполном виде она оказалась пригодной для создания морфологического компонента системы поддержки печатания русского текста (PSS - Printing support System). В соответствии с органичениям, накладываемыми этой полледной системой, на екране демонстрируются последовательным образом подмножества членов парадигмы, число которых не должно превышать 9 единиц. Высказана гипотеза, что морфологический компонент естественно-языковой системы может функционировать аналогичным образом.

It's obvious that today's linguistic researches require computer record and processing of the object of investigation. The main purpose of our system is a processing of text with the final, though not the single, aim of construction of automatic multilingual dictionaries can be used for:

§ Alignment of text;

§ Record indexing;

§ Division of text into sentences;

§ Calculation of word frequencies;

§ Simulations processing of practically unlimited amount of parallel texts;

§ Addition of new languages;

§ Creative of new and enhancing  of the already present in the system dictionaries;

§ Word analysis;

§ Finding and saving of synonymous equivalents;

§ Comparison of different uses of words.

The core of this approach is the so-called method of "record and reproduction" of morphologic characteristics and rules of word inflections' generation. It means that during the analysis is carried out "reproduction" and adjustment of the already recorded rules to the input word form, comparison of so received basic form with the dictionary list and, if the process does fail, demonstration of the result on the screen. Each time, when the system cannot find in the dictionary same basic form corresponding to the current input word, it proposes to the user to print characteristics of this lexical unit or to define its whole paradigm. After that the system creates automatically, by the means of the "record" – operator, corresponding rule, compares it with already present ones, and, if some identical one is not found, includes in the list of rules a new one.

System is implemented by the means of net representation of morphologic processors. System can supply records of conditions of both right-hand and left-hand labels of morphologic net and thus further automation of this quite work-consuming part of implementation of morphologic processors.

დისერტაციის რეცენზირება

სამაგისტრო ნაშრომების ხელმძღვანელობა

სადოქტორო თემის ხელმძღვანელობა/თანახელმძღვანელობა

უცხოურ ენებზე მონოგრაფიის სამეცნიერო რედაქტირება

ქართულ ენაზე მონოგრაფიის სამეცნიერო რედაქტირება

რეფერირებული ან პროფესიული ჟურნალის/ კრებულის მთავარი რედაქტორობა

სამეცნიერო პროფესიული ჟურნალის/ კრებულის რეცენზენტობა

რეფერირებული სამეცნიერო ან პროფესიული ჟურნალის/ კრებულის სარედაქციო კოლეგიის წევრობა

საერთაშორისო ორგანიზაციის მიერ მხარდაჭერილ პროექტში/გრანტში მონაწილეობა

სახელმწიფო ბიუჯეტის სახსრებით მხარდაჭერილ პროექტში/ გრანტში მონაწილეობა

პატენტის ავტორობა

უფლება ქართულ ან უცხოურ სასაქონლო ნიშანზე, სასარგებლო მოდელზე

საქართველოს მეცნიერებათა ეროვნული აკადემიის ან სოფლის მეურნეობის აკადემიის წევრობა

საერთაშორისო პროფესიული ორგანიზაციის წევრობა

კონფერენციის საორგანიზაციო/ საპროგრამო კომიტეტის წევრობა

ჯილდო ეროვნული/ დარგობრივი პრემია, ორდენი, მედალი და სხვ.

საპატიო წოდება

მონოგრაფია

სახელმძღვანელო

სტატია მაღალ რეიტინგულ და ადგილობრივ ჟურნალებში

პუბლიკაცია სამეცნიერო კონფერენციის მასალებში, რომლებიც ინდექსირებულია Web of Science-ში და Scopus-ში