Search

ÖZET Bu doktora çalışmasında veri sıkıştırma konusunda yapılan diğer çalışmalardan farklı olarak, Türkçe metinlerin biçimbilimsel (morfolojik) olarak incelenmesi yapılmış ve bu inceleme sonucunda elde edilen gövde-kök, hece ve eklere ait istatistiksel verilere göre, yeni bir veri sıkıştırma yöntemi geliştirilmiştir. Sistemin başarımı ve çalışması değişik Türkçe metinlere uygulanarak değerlendirilmiştir. Geliştirilen sistemin en önemli özelliği, var olan sıkıştırma yöntemlerinden farklı olarak, sıkıştırılacak veriyi ikili bilgi yapısında değil, Türkçe dilinin yapısına uygun şekilde hece, gövde-kök ve eklerine ayırarak değerlendirmesidir. Geliştirilen bu sıkıştırma yönteminde Huffman kodlama ağacı temel alınıp ilk olarak kelimenin heceleri, ikinci olarak kelimenin kök ve ekleri, son olarak da kelimenin alınabilen en uzun ilk hecesi ve ekleri için üç ayrı statik şablon oluşturulup, Türkçe bir metnin kayıpsız geri dönüşümü sağlanmıştır. Sıkıştırma verimindeki başarıyı daha da arttırmak amacıyla kelimenin gövde-kök ve ekleri için iki ayrı sözlük kullanarak dinamik Huffman kodlaması gerçekleştirilmiştir. Ayrıca kod çözme işleminde ihtiyaç duyulan Huffman ağaç yapısına ait bilginin, sıkıştırılan metnin önüne konan başlık (header) alanında tuttuğu yer, bu doktora çalışması kapsamında geliştirilen bir yöntem ile n elemanlı bir Huffman ağacının (2n-2) adet bit ile ifade edilmesi sağlanmış olup, sıkıştırma veriminde %1.5'luk bir artış elde edilmiştir. Veri sıkıştırma tekniklerinin test edilmesinde kullanılan Galgary Corpus ve Catenbury Corpus'a uygun olarak 1 4 adet Türkçe metinden oluşan bir test kümesi oluşturulmuş ve sistem başarımı bu test kümesi üzerinde incelenerek değerlendirilmiştir. Türkçe metinler üzerinde yapılan analiz sonucunda, Türkçe bir metin içerisinde geçen kelime kullanım sıklıklarının Zipf kanununa uyum gösterdiği de belirlenmiş ve kullanım sıklıklarına göre matematiksel bir model kurulmuştur. Anahtar kelimeler : Veri sıkıştırma, Huffman kodlaması, Zipf kanunu, Türkçe'nin biçimbilimsel analizi, Türkçe XII ABSTRACT In this thesis, a new approach for the compression of turkish documents is proposed. In contrast to common data-compression methods, this approach determines the frequency of root, stem,syllables and suffixes in a document through a morphological analysis and uses this output in the generation of dynamic Huffman codes. The evaluation of the proposed approach has been accomplished by implementing the system on several different turkish documents. The proposed approach distinguishes itself from common place algorithms by the fact that the document to the compressed is evaluated in accordance to the turkish language and rather than as plain binary data hence broken into its roots, stems, suffixes and syllables. Since text compression and decompression requires lossless operation, the proposed method expresses the roots, stems and suffices using Huffman trees to maximize the ratio of coded information to the number of required bits. The header part which carries information to be used during decompression has been optimized by the proposal of a new coding method to describe a Huffman tree which resulted in approximately %1.5 gain in overall compression performance. The proposed coding expresses a Huffman tree with (n) elements in (2n-2) bits and thus reduces the header size clearly. A corpus consisting of 14 turkish documents similar to Galgary Corpus and Catenbury Corpus has been formed and the systems overall performance has been evaluated on this corpus. Through analysis on turkish documents it has been observed that the frequency distribution of words in a turkish document conforms to the Zipf s law which helps the development of the implemented mathematical model. Keywords : Data compression, Huffman coding, Zipf law, The morphology of the Turkish Language, Turkish X11J 167

Gelişen teknoloji beraberinde biyometrik çalışmalara olan ilgiyi arttırmıştır. Artan güvenlik ihtiyaçları da biyometrik bilgi tabanlı sistemlerin kullanımını zorunlu kılmıştır. İris, parmak izi gibi statik biyometrikler de yerini imza, ses gibi kişinin davranışsal bilgilerini içeren biyometriklere bırakmıştır. Bu çalışmada, kişilerden bir tablet ve kalem aracılığı ile elde edilen imzalar ve SVC2004 imza veri tabanı kulllanılarak imza tanıma ve doğrulama sistemi geliştirilmiştir. İmzalar üzerinden vuruş sayısı, basınç, hız, ivme vs. gibi çevrimiçi özellikler çıkarılmıştır. Çıkarılan özellikler ve imzalardan alınan örneklemelerle imzaları temsil eden vektörler elde edilmiştir. Bu temsili imza vektörleri, Destek Vektör Makinesi, Naive Bayes, K-En Yakın Komşuluk, Çok Katmanlı Yapay Sinir Ağı ve Evrişimsel Sinir Ağı modelleri ile eğitilerek sistemin başarısı ölçülmüştür. Developing technology has increased interest in biometric studies. Increased security requirements also necessitated the use of biometric information-based systems. Static biometrics, such as iris and fingerprints, have been replaced by biometrics that include behavioral information such as signature and voice. In this study, the signature recognition and verification system has been developed by using the signatures obtained from individuals by means of a tablet and pen and the signature database SVC2004. Online features such as the number of strokes, pressure, velocity, acceleration, etc. were extracted from the signatures. The vectors representing the signatures were obtained with the extracted features and the samples taken from the signatures. The success of the system was measured by training these representative signature vectors with Support Vector Machine, Naive Bayes, K-Nearest Neighborhood, Multilayer Artificial Neural Network and Convolutional Neural Network models. 60

Günümüzde, isteyen her katılımcıya ücretsiz olarak 'Kitlesel Açık Çevrimiçi Kurs' (MOOC) olarak adlandırılan kursları sunan platformlar mevcuttur. Bu platformlardaki kurslar, açık iletişim ve video etkileşimlerine öncelik verecek şekilde ayrık alt adımlar halinde yapılandırılmıştır. Dünya üzerinden birçok kurum MOOC oluşturmaya çalışmakta ve farklı coğrafi konumlardan milyonlarca insanı kendine çekmektedir. MOOC'ların kazandıkları önemli popülerliğe rağmen, dil, zorluk seviyesi ve öğrenme yaklaşımı gibi katılımcıların bireysel ihtiyaçlarına göre esnek olmamak gibi önemli problemleri vardır. Bu durumun bir sonucu olarak MOOC'lardaki önemli problemlerden biri, katılımcıların çok düşük tamamlama oranlarıdır (% 10'dan az). Ana MOOC sağlayıcıları, çoğunlukla Amerika Birleşik Devletleri ve İngiltere gibi İngilizce konuşulan ülkeler tabanlıdır ve sağladıkları MOOC'ların dili İngilizce'dir. Bununla birlikte katılımcıların çoğunluğu İngilizce'yi yabancı dil olarak konuşmaktadır. Bu durumun katılımcılarda, özgüven, kullanım davranışları, iletişim tarzları ve kursu tamamlama performanslarında farklılıklara neden olduğu yapılan çalışmalar tarafından ortaya konulmuştur. Katılımcıların İngilizce dil becerilerindeki değişkenlik kaçınılmaz olarak, en fazla birincil dili İngilizce olmayan katılımcılar için bir engel oluşturmaktadır. Bu engele karşı bir çözüm üretebilmek için MOOC'larda İngilizce dilbilgisi eksikliği sebebi ile zorluk yaşayan katılımcıların tespit edilmeleri gerekmektedir. Kurs devam ederken öğrencilerin etkileşimlerini anlamak, öğrenme yollarını karakterize etmek, kursu bırakma oranlarını en aza indirgemek ve öğretmen müdahalelerini başlatmaya yardımcı olabilmek kritik öneme sahiptir. MOOC'larda, öğrencinin içeriklere hangi sıklıkta, ne kadar süreyle, hangi zaman dilimlerinde ulaştığı, ne kadar ilerlediği, ne zaman, ne kadar ve hangi konularda kimlerle paylaşımda bulunduğu bilgileri kayıt altına alınabilmektedir. Bu bilgiler, MOOC platform sağlayıcıları ve kursları hazırlayanların, katılımcıların ihtiyaçlarını tespit edip bu ihtiyaçlara göre kursları yapılandırmalarına yardımcı olabilir. Bununla birlikte, İngilizce'yi ikincil olarak konuşan katılımcıların tespiti ve onların MOOC'lardaki performans etkileşimleri ile ilgili çok fazla çalışma yoktur. Aynı zamanda, ikincil dil olarak İngilizce konuşanların MOOC'lardaki davranışlarını araştıran sınırlı sayıda araştırma vardır.Tezde, MOOC katılımcıları ana dillerine göre gruplandırılmış, ardında da bu grupların kullanım ve performans analizleri gerçekleştirilmiştir. Bunun için öncelikle katılımcıların, oluşturulan yöntemlerle İngilizce dil gruplarına ayrılmasına odaklanılmıştır. Katılımcıları kendi İngilizce dil geçmişlerine göre otomatik veya yarı otomatik olarak tespit etme yöntemleri belirlendikten sonra kullanım davranışları ve kurs performansları analiz edilmiştir. Tez kapsamında, içerdiği sosyalleşme özellikleri, dil odaklı analiz yapma ve işbirliği imkânlarının yüksek olması gibi nedenlerle, çoğunlukla İngiltere tabanlı FutureLearn MOOC platformunda Southampton Üniversitesi tarafından sunulan farklı türden MOOC'ların verileri kullanılmıştır.Tezde uygulanan metodoloji, oluşturulan farklı yöntemlerle İngilizce dil gruplarının tespit edilmesi, güncellenmesi, kullanıcı davranışlarının analiz edilmesi, performanslarının tahmininde kullanılabilecek en uygun ve performanslarına en fazla etki eden özelliklerle, performans tahminlerinde en başarılı algoritmaları belirlemede kullanılabilecek birkaç alt aşamayı içermektedir. Bu sonuçlar ayrıca MOOC platformu geliştiricileri tarafından, kurs içinde katılımcıların performanslarını iyileştirebilmek ve erken müdahale sağlayabilmek için strateji geliştirmede kullanılabilir. Educational platforms offer Massive Open Online Courses (MOOCs), where learners can study online courses for free of charge. The design of MOOCs enables learners to interact with video lectures as the main module and communicate with others through supportive tools such as discussion forums. Institutions and universities create content for MOOCs and attract millions of people worldwide. Despite the hype around MOOCs, there are a number of deficiencies of MOOCs, namely, language, difficulty of courses, one-size-fits-all approach which denies learners' personal differences such as learning approaches. One of the consequences of these deficiencies is the low completion rate of courses (less than 10 %). The biggest MOOC providers are the UK and the US-based and the majority of MOOCs are provided in English language. However, the majority of participants speaks English as a second language. Studies show that some learners feel low self-confidence due to language skills and it causes different behaviour patterns in course activities and course completion. The difference in English-language abilities inevitably is an obstacle especially for those who speak English as a second language. In order to overcome this obstacle, it is important to detect the participants whose having difficulties due to their lack of English language skills. Understanding learners' interactions during the course, characterizing learning patterns, lowering course drop-outs, and enabling learning interventions are also crucially important. MOOCs log learners' activities such as how frequently, when, and which page they visited, how far they completed the course, when and with whom they interacted in a discussion. This information might be helpful for MOOC providers and course authors to detect the needs of learners and organise their course to meet these detected needs. Having said that, the identification of learners who speak English as a second language and analysing course performance have not been widely investigated yet. There very little number of studies published on behaviour analysis of MOOC learners who speak English as a second language. In this thesis, MOOC participants were categorised by their first language and then their behaviour and course performances were analysed. In order to complete the analysis, firstly, this thesis focused on categorising participants based on their first language whether or not it is English. This thesis proposes semi and fully automatic methods for categorising participants based on the English language. The behaviour patterns and course performances of learners were then analysed based on the language groups. This thesis mainly uses data collected through a selection of MOOCs delivered by the University of Southampton on the UK-based MOOC platform, FutureLearn. FutureLearn has been chosen due to its rich social tools integrated into the platform and their welcoming approach towards international research collaborations. The methodology applied in the thesis consists of several sub-steps, which are: identifying English language groups by different methods, statistical analysis of learners' behaviours, identifying the best possible and most important features that can be used in performance prediction, identifying the most successful machine learning algorithms to predict learners' course performance. The finding of the thesis can also be used by MOOC providers for identifying strategies to provide early course interventions and help MOOC participants to improve their course performance. 225

Sosyal medyada kendini ifade eden insanların sayısı her geçen gün artmaktadır. İnsanların bir konu hakkındaki düşüncelerini paylaşmada önemli bir yeri bulunan Twitter'da her gün 500 milyon tivit atılmaktadır. Böyle büyük bir veri içerisinde elle sınıflandırma yapmak oldukça zorlu bir iştir. Bu sebeple otonom sistemler, yazılımlar vs. kullanarak sınıflandırma yapmak büyük önem taşımaktadır. İroni, söylenen bir şeyin tam tersi anlamının kastedildiği bir tabirdir. Söylenen ya da yapılan fiil, ciddi imajı altında, karşıt konuşmayı ya da fiili, çelişki noktasına çekmeyi hedeflemektedir. Son zamanlarda tivitler üzerinden duygu durumu analizinde başarılı sonuçlar alınmasının ardından ironi tespiti konusunda da çalışmalar yapılmıştır. Ancak bu konu, duygu tespitine göre daha zorlayıcıdır. Yüzyüze konuşmada ironi tespitini yapmak daha kolayken, yazılı iletişimde bunu anlamak normal insanlar için bile zor olabilmektedir. Twitterdaki karakter limiti, bazı insanların yazım hataları ve noktalama konusunda dikkatsizliği sınıflandırma metodlarının uygulanmasına engel olmaktadır. Bu nedenle ilk olarak tivitlerde önişleme adımlarının uygulanması zorunlu hale gelmiştir.Sonrasında ise özellik çıkarımları yapılarak ironiyi tespit etmek amaçlanmıştır.Bu çalışmada, verilerin düzeltilmesinden sonra makine öğrenmesi ve derin öğrenme algoritmaları farklı parametrelerle uygulanmış ve alınan sonuçların başarısı incelenerek karşılaştırılmıştır. Sonuçta, en başarılı modeller / algoritmalar sırasıyla 0,82 ve 0,83 F-skor veren Hiperparametre Optimizasyonu ve Attention Tabanlı Bidirectional LSTM olmuştur. The number of people who express themselves in social media is increasing day by day. Twitter, which is an important place for people to share their thoughts on a topic has 500 million tweets sent per day. In such a large data manual classification is a very challenging task. Therefore, using autonomous systems, software etc. for classification is of great importance.The irony is the expression in which the meaning of the opposite is said. The action that is said or done is intended to draw the contradiction or action under the serious image to the point of contradiction. In recent years, after successful results in the sentiment analysis with tweets, studies have been conducted on irony detection as well. However, this issue is more challenging than sentiment analysis. While it is easier to determine the irony in face-to-face conversation, it can be difficult for normal people to understand it in written communication. The character limit on Twitter, typing and punctuation errors of some people hamper the direct implementation of classification methods. For this reason, it is necessary to apply the preprocessing steps in the tweets. Afterwards, it is aimed to determine the irony by extracting features.In this study, after the preprocessing of the data, the machine learning and deep learning algorithms were applied with different parameters and the success of the results were examined and compared. As a result the most successful models/algorithms were Hyperparameter Optimization on Deep Neural Networks and Attention Based Bidirectional LSTM Model yielding an F-score of 0.82 and 0.83, respectively. 61