Search

Bu tez çalışmasında nokta eşleme ve görüntü hizalama bazlı görüntü işleme teknikleri kullanılarak farklı materyal, renk ve modeldeki yüzeyler için genelleştirilmiş bir görsel hata tespit algoritması gerçekleştirilmiştir. Windows tabanlı sistemde qt creator kullanılarak geliştirilen uygulamada ankastre serigrafi ürünlerinde meydana gelen hataların piksel düzeyinde tespit edilmesi hedeflenmiştir. Önerilen yöntem diğer bilgisayarlı görü baskı kontrollerinin aksine çeşitli modeldeki ürünler içinde yüksek doğrulukta sonuçlar vermiştir. Böylece ürünün son kullanıcıya hitap eden kısımlarında hassas bir kalite kontrol gerçekleştirilerek, ürün kalitesinin arttırılması amaçlanmıştır.Sistem mekanizmasında, görsel veri sensörü çizgi kamera ile sağlanmaktadır. Aydınlatma ise 45 derece açı ile yerleştirilmiş iki çubuk aydınlatma ile sağlanmıştır. Aydınlatmaların açı ile yerleştirilme sebebi, derinliğin değiştiği bölgelerin de aydınlatılabilmesidir. Hareket mekanizması servo motor ile sağlanmış, kontrol kısmında ise programlanabilir lojik kontrolör kullanılmıştır. In this master’s thesis, a generalized visual error detection algorithm has been implemented for surfaces of different materials, colors and models by using point matching and image alignment based image processing techniques. The application developed by using qt creator in a Windows-based system, it is aimed to detect the pixel level errors that occur in screen printing products. The proposed method yielded highly accurate results for products that has various models, unlike other computer vision screen printing controls. Thus, it is aimed to increase the product quality by performing a sensitive quality control in the part of the product that appeal to the end user.On the our system mechanizm, visual product defect control is provided by line scan camera.Illumination is provided by two bar lighting placed at an angle of 45 degrees. The reason why the lightings are placed at an angle is that the areas where the depth changes can also be illuminated. The movement mechanism is provided with a servo motor, and a programmable logic controller is used in the control part.

Arılar Dünya’daki hayatın devam edebilmesi için oldukça önemli canlılardır. Her canlı gibi amaçları üremek ve hayatta kalmaktır. Koloni halinde yaşayan bal arısı arılarının; ana arı, işçi arı ve erkek arı türleri vardır. Cinsiyet olarak ana arı ve işçi arılar dişidir. Ana arının görevi yumurtlayarak koloninin devamlılığını sağlamaktır. İşçi arıların ise nektar, polen, propolis toplama, su taşınma, kovan temizliği, arı sütü ve bal mumu üretimi gibi çok çeşitli görevleri vardır. Erkek arıların tek görevi ana arıyı döllemektir. Bu tez çalışmasında arı kolonisinin ve içindeki ana arının hareketlerinin takibi için deneysel bir arı kovanı tasarlanmıştır. Bu tasarım, kovanın içerisindeki ana arının diğer çerçevelere geçmesini engelleyecek şekildedir. Çerçevenin karşısında ana arı hareketlerini kaydeden 1080p çözünürlüğünde ve gece görüş özelliği olan bir kamera bulunmaktadır. Ana arı işaretlenip kafesin içerisine konularak, 15 gün süre boyunca kayıt işlemi gerçekleştirilmiştir. Sonrasında elde edilen video kayıtlarından resimler oluşturulmuş ve bu resimler üzerinde ana arı etiketlenmiştir. Daha sonra, geliştirilen bir bilgisayarlı görü algoritmasıyla model eğitimi yapılarak, Darknet, Matplotlib ve OpenCV kütüphaneleri kullanılarak ana arı ve işçi arıların petek üzerindeki konumu tespit edilmiştir. Elde edilen sonuçlar, önerilen yöntem ile kovan içerisinde işçi arı ve ana arının konumlarının tespit edilebildiğini göstermiştir. Elde edilen veriler kullanılarak, Yolov3 ve Yolov4 algoritmalarının karşılaştırılması yapılmıştır. Bees are extremely important creatures for the continuation of life on Earth. Like all living things, their purpose is to reproduce and survive. The colony-dwelling honey bees have three types: the queen bee, worker bees, and male bees. Gender-wise, the queen and worker bees are females. The queen bee's role is to lay eggs to ensure the colony's continuity. Worker bees have various tasks such as collecting nectar, pollen, propolis, carrying water, cleaning the hive, producing bee milk and wax. The only role of male bees is to fertilize the queen bee. In this thesis study, an experimental bee hive was designed to track the movements of the colony and the queen bee. This design prevents the queen bee from moving to other frames. Opposite the frame, there is a 1080p resolution camera with night vision. The queen bee was marked, placed in the cage and recorded for 15 days. Afterwards, images were created from the video recordings and the queen bee was labeled on these images. Then, a computer vision algorithm was developed, and using the Darknet, Matplotlib and OpenCV libraries, the position of the queen bee and worker bees on the comb was detected. The results obtained showed that the positions of the worker bee and the queen bee inside the hive can be detected using the proposed method. The data obtained was also used to compare the Yolov3 and Yolov4 algorithms.

In today’s world, where we move forward technologically, we spend more and more time to make agricultural activities efficient. We can shorten the time we spend by supporting the resources we have with technological methods. We can diagnose the disease of the plant with each prediction we make using models trained by the effective operation of computer vision and deep learning methods. We will be examining what results we have obtained when the models, which are image-based classification algorithms, were used for our problem, which were previously trained for different purposes. This method, which we call transfer learning, and the results of the dataset we collect, will give us the answer to the question of how more effective methods are needed for current and future studies., Teknolojik olarak ileriye gittiğimiz günümüz dünyasında tarımsal faaliyetlerin verimli hale getirilmesi her geçen gün daha da çok zaman harcıyoruz. Elimizdeki kaynakları teknolojik yöntemler ile destekleyerek bu harcadığımız zamanı kısaltabiliriz. Bilgisayarlı görü ve derin öğrenme yöntemlerinin etkin olarak işletilmesi ile eğitilen modelleri kullanarak yapacağımız her bir tahmin ile bitkinin hastalığını teşhis edebiliriz. Görüntü tabanlı sınıflandırma algoritmaları olan daha önceden farklı amaçlar için eğitilmiş modellerin bizim problemimiz için kullanıldığında ne gibi sonuçlar almışız onu inceliyor olacağız. Adına aktarımlı (transfer) öğrenme dediğimiz bu yöntem ve topladığımız veri setinin verdiği sonuçları, bize şimdiki çalışma ve gelecekteki çalışmalar için nasıl daha etkili yöntemlere ihtiyaç var sorusunun cevabını verecektir.

Color spaces such as RGB, Lab and HSV are used in image processing applications. Color spaces are the representation of pixels of an image in matrix format using different mathematical methods. By using these color spaces, the image is digitized and converted to a matrix format. In our study, as a method, color-based clustering was performed on the color image by using the "K-Means clustering" algorithm, and the effect of color spaces on image quantities was given in an applied and comparative manner. Values such as the number of objects in the image and the number of pixels of the objects were calculated as image quantities. By digitizing the images, their attributes were obtained separately for different color spaces. These calculated values are given comparatively in RGB, Lab and HSV color spaces., Görüntü işleme uygulamalarında RGB, Lab ve HSV gibi renk uzayları kullanılmaktadır. Renk uzayları bir görüntüye ait piksellerin farklı matematiksel yöntemlerle matris formatında temsil edilmesidir. Bu renk uzayları kullanılarak resmin sayısallaştırılması ve bir matris formatına dönüştürülmesi sağlanmaktadır. Matrisin her bir elemanı görüntüdeki bir piksele karşılık gelmektedir. RGB renk uzayında ki bir resim üç boyutlu ve resmin genişliğinde ve yüksekliğinde kullanılan piksel sayısına karşılık gelen bir matris boyutu ile temsil edilmektedir. Matris üç boyutlu olup birinci boyutta kırmızı(R), ikinci boyutta yeşil(G) ve üçüncü boyutta mavi(B) renk bilgisi değeri yer almaktadır. Benzer olarak diğer renk uzaylarında da benzer matris yapısı kullanılmaktadır. Bu çalışmada bu renk uzaylarının görüntü niceliklerine etkisi uygulamalı ve karşılaştırmalı olarak verilmiştir. Görüntü nicelikleri olarak görüntü içinde bulunan nesne sayısı, nesnelerin piksel sayısı gibi değerler hesaplanmıştır. Görüntülerin sayısallaştırılması ile özniteliklerin tespitinde kullanılan algoritmalar(k-means clustering ) ile sonuçlar farklı renk uzayları için ayrı ayrı elde edilmiştir. Bu hesaplanan değerler RGB, Lab ve HSV renk uzaylarında karşılaştırmalı olarak verilmiştir.

Nesne tespiti, nesne takibi ve kameralar arası eşleştirme, video gözetimi ve endüstri 4.0 uygulamaları için bir gerekliliktir. Çoklu kamera ortamlarında her bir kameranın görüş açısı farklıdır. Bazı durumlarda kameraların görüş açıları kesişmeyebilir, alanda kör noktalar kalabilir. Bu tür durumlar, takip edilen nesnelerin kaybolmasına ve tekrar tespit edildiğinde farklı bir nesne olarak algılanmasına neden olacaktır. Bu çalışmada; bir nesnenin herhangi bir kameranın görüş alanında belirlendiği andan itibaren hem kamera görüntüsü içinde, hem farklı kameralar arasında takip edilmesini sağlayan bir metot sunulmuştur. Bu metot, nesne bir kamera görüşünden çıkarken hangi kamera görüşüne doğru ilerlediğini açısal olarak kestirerek, nesnenin kameralar arası takip edilebilmesini sağlamaktadır. Yapay sinir ağları gibi yüksek maliyetli tespit ve görsel eşleştirme algoritmalarının aksine, düşük maliyetli optimize işlemler ile gerçeklenebilen bir takip algoritmasıdır., Object detection, object tracking and multi-camera mapping is a requirement for video surveillance and industry 4.0 applications. In multi-camera environments, each camera has a different field of view. In some cases, the viewing angles of the cameras may not intersect, and blind spots may remain in the area. Such situations will cause the tracked objects to disappear and be tracked as a different object when detected again. In this study; a method is presented that allows an object to be followed both within the camera image and between different cameras from the moment it is detected in the field of view of any camera. This method ensures that the object can be tracked between cameras by angularly estimating which camera view it is moving towards as it exits a camera view. Unlike high-cost detection and visual matching algorithms such as artificial neural networks, it is a tracking algorithm that can be implemented with low-cost optimized processes.

Balıkesir Üniversitesi, Fen Bilimleri Enstitüsü, Makina Mühendisliği Ana Bilim Dalı, Bu çalışmada, mozaik üretiminde kullanılan, kare şeklinde kesilmiş mermer, traverten gibi doğal taşların çeşitli parlaklık, renk ve dokuya sahip yüzey görüntüleri kullanılarak, istenen bir sayısal görüntünün, mermer mozaik olarak elde edilmesi için gerekli teknikler ve yöntemler belirlenmiş ve esnek üretim sisteminin gerçekleştirilmesine yönelik aşamalar kaydedilmiştir. Bir görüntünün veya bir desenin mozaiğini dizen otomasyon sistemi oluşturmak için yapılan çalışmalar oldukça yenidir. Literatürde, mozaiği oluşturulan görüntü ile bu görüntüye yerleştirilen mermer karolar arasındaki hatayı optimize eden ilk çalışma gerçekleştirilmiştir. Kombinatoryal optimizasyon algoritması “Macar yöntemi” kullanılmıştır. Mermer parçalarını çalışma düzleminde konumunu bulmak için görüntü işleme yöntemlerinden yararlanılmıştır. Mermer karoların çalışma düzleminde bulundukları noktadan alınıp yerleştirilmesi gereken noktaya taşınması ve döndürülerek yerleştirilmesi için tut ve yerleştir işlemlerinde yaygın olarak kullanılan delta robot prototipi tasarlanmış, mekanizmanın AC servo motorlarla hareket kontrolü ve Profinet üzerinden PC-PLC haberleşmesi gerçekleştirilmiştir. Delta robotun ileri ve ters kinematik denklemleri kullanılarak robot son işlevcisi istenen konumlara hareket ettirilmiştir. Görüntü ile karoların görüntüleri arasındaki benzerliğin ölçülmesi için en hızlı ve etkin yöntemin Öklid uzaklık olduğu sonucuna varılmıştır. Bilgisayarlı görü yöntemlerinden, evrişimli nöron ağları ile nesne algılayan yöntemler kullanarak, görüntüde insan yüzü, el, beden ve diğer nesneleri tespit eden, bu bölgelere yapılacak karo atamalarında hatayı küçük tutarak, nesne içermeyen bölgelere nazaran öncelik veren bir yöntem sunulmuştur. El, yüz, beden algılamak için OpenPose, diğer nesneleri algılamak için YOLO nesne detektörleri kullanılmıştır. Farklı boyutlarda 8, 16, 32 piksel kare karo parçaları ile mozaik dizen bir yöntem geliştirilmiştir., In this study, the necessary techniques and methods were determined for obtaining the marble mosaic of desired image by using surface images with various color and texture of square cut natural stones such as marble and travertine used in mosaic production and progress has been made towards realization of flexible manufacturing system. The studies to create an automation system that tiles the mosaic of an image or a pattern is quite new. In the literature, the first study was carried out to optimize the total error between the image to be mosaicked and the image of tiles to be placed. Combinatorial optimization algorithm “Hungarian method” was used. Image processing methods have been used to locate marble tiles on the working plane. A prototype of the delta robot is designed for pick and place operations. The motion control of the mechanism with AC servo motors were performed and a software is developed for the PC to PLC communication through Profinet. In order to measure the similarity between the image and the images of the tiles, it has been concluded that the fastest and most efficient method is the Euclidean distance. A Method has been presented which detects regions with human and other objects in the image, keeps the error smaller in the tile assignments to these regions and prioritize than the object-free regions. OpenPose was used to detect body parts. YOLO was used to detect objects. A method has been developed to tile mosaics with square tile pieces of different sizes.

Navigasyon çözümlerinin temel bileşenlerinden biri olan konum kestirimi problemi,günümüzde çoğunlukla küresel konumlama sistemi (KKS) ile diğer kaynaklardan elde edilen verilerin (ataletsel ölçüm birimi, sayısal arazi yükseklik verisi haritaları, barometrik basınç sensörü, tekerlek kilometre sayacı vb.) bir arada kullanılmasıyla çözülmektedir. KKS sinyallerinin kullanılamadığı ortamlarda ise konum kestirimi problemi literatürdeki açık problemler arasında yerini korumaya devam etmektedir. ̇Insanlı veya insansız, otonom veya değil farketmeksizin, herhangi bir aracın/robotun KKS sinyallerini kullanamadığı durumlarda da seyrüsefer görevini yerine getirebilmesi için, doğru ve yüksek hassasiyetli konum kestirimi yapabilmesi gerekmektedir. Altı serbestlik dereceli konum kestirimi için kullanılan çeşitli yöntemler ile algılayıcı donanımlar detaylı incelendiğinde herbirinin çeşitli avantajlarının ve dezavantajlarının bulunduğu anlaşılmaktadır. Farklı kaynaklardan elde edilen verilerin birarada kullanıldığı yöntemlerin, altı serbestlik dereceli konum kestirimi probleminin çözümünde daha iyi sonuçlar verdiği görülmektedir. Bu tez çalışmasında, tek bir kamera ve lidar sensörü kullanılarak, KKS sinyallerinin kullanılamadığı ortamlarda altı serbestlik dereceli konum bilgisinin kestirilmesi problemi ele alınmıştır. Tek bir kameradan alınan verilerin işlenmesi ile elde edilen konum bilgisinin, kestirilemeyen bir ölçek dahilinde doğru olduğu bilinmektedir. Doğru metrik ölçülerle konum bilgisini kestirebilmek için bu ölçek bilgisinin çeşitli yöntemlerle hesaplanması gerekmektedir. Bu tezde, kameradan alınan resim kareleri üzerindeki piksellerle, Lidar sensöründen elde edilen metrik veriler kullanılarak altı serbestlik dereceli konum bilgisi mutlak ölçekler dahilinde hesaplanmıştır. Önerilen algoritmanın testleri KITTI odometri veri kümesi üzerinde yapılmıştır. KITTI odometri veri kümesi; hareketli bir otomobilin üzerine yerleştirilmiş olan stereo kameralar, Lidar, ataletsel ölçüm birimi (AÖB) ve Küresel Konumlama Sistemi'nden elde edilen verilerle oluşturulmuştur. KITTI odometri veri kümesi içerisinde yer alan tek bir renkli kamera verisi ile Lidar sensörü verileri bu tezin konusu olan algoritmanın testleri için kullanılmıştır. KKS ve AÖB'den elde edilen veriler ise önerilen Görsel-Lidar Odometri algoritmasının başarısını kıyaslamak üzere referans olarak kullanılmıştır. KITTI odometri veri kümesi kullanılarak elde edilen test sonuçları, tek bir kamera verisi ile Lidar taramaları kullanılarak geliştirilen Görsel-Lidar Odometri yönteminin, maliyetli optimizasyon yöntemlerine ihtiyaç duyulmadan tutarlı konum bilgisi üretebildiğini göstermiştir., The location estimation problem, which is one of the basic elements of the navigation solutions, is mostly solved by using the global positioning system (GPS) and the data obtained from other sources (inertial measurement unit, digital terrain elevation datamaps, barometric pressure sensor, wheel odometer etc.). In GPS-denied environments,the position estimation problem is still an open problem in the literature. Any vehicle/robot(whether manned or unmanned, autonomous or not) must be able to perform accurate and high-precision location estimation in order to perform its navigation task even in GPS-denied environments. When the various methods used for the six degrees-of-freedom location estimation and the sensory equipment are examined in detail, it is understood that each has various advantages and disadvantages. It is obvious that the methods which use the data obtained from different sources together give better results in the solution of six degrees of freedom location estimation problem.In this thesis, six degrees-of-freedom (6-DOF) position estimation problem in GPS-denied environments is examined by using a single camera and lidar sensor. It is known that the position information which is obtained from a single camera is accurate up to an unknown scale factor. In order to estimate location of a vehicle with accurate metric measurements, this unknown scale information should be calculated by various methods. In this study, six degrees of freedom position information is calculated within the absolute scales by using the metric data obtained from the Lidar sensor with the pixels on the picture frames taken from the camera. Tests of the proposed algorithm were performed on the KITTI odometry dataset. KITTI odometry dataset were created with data taken from stereo cameras, Lidar, inertial measurement unit and GPS receivers which are placed on a moving car. A single color camera frames and Lidar sensor data in the KITTI odometry dataset were used to test the proposed algorithm in this thesis. Data from GPS and inertial measurement unit (IMU) were used as a reference to compare the success of the proposed Visual-Lidar Odometry algorithm. The test results obtained using the KITTI odometry dataset showed that the Visual-Lidar Odometry method, developed using a single camera data and Lidar scans, can produce consistent location information without the need for costly optimization methods.

Hayvan yüzlerinin, vücut duruşlarının, davranışlarının ve fiziksel hareketlerinin gözlenmesi ve tanınması son zamanlarda disiplinlerarası bir alan olarak ön plana çıkmıştır. Bilgisayarlı görü, sayısal görüntü işleme gibi alanlardaki önemli teknolojik gelişmeler, videolar üzerinde insan davranışlarının analizinde kullanılabilmesinin yanında hayvan davranışlarının tespit edilmesinde yardımcı bir yöntem olmaktadır. Hayvanlarda, özellikle davranışların bilgisayarlı görü yöntemiyle tespiti ile ortaya çıkabilecek sonraki davranışların öngörülmesine ve hayvanların evcilleştirilmesine katkı sunabilir. Önerilen tez çalışmasında, köpeklerin davranışlarının analiz edilmesi ve sınıflandırılması için derin öğrenmeye dayalı bir sistem önerilmiştir. Giydirilebilir aksiyon kamera ve sabit kamera kullanılarak insanlar ile temastan kaçınmayan iki farklı türde köpeğin davranışlarını içeren videolar toplanarak bir veri seti oluşturulmuştur. Sonraki aşamada ise, köpeklerin davranışlarını analiz eden ve sınıflandırılmasını sağlayan derin öğrenme tabanlı uygulama gerçekleştirilmiştir. Elde edilen videolar üzerinde gerekli analizler yapıldıktan sonra belirlenen ağız açma, dil çıkarma, kulak dikme, kuyruk sallama, koklama, oyun oynama gibi davranışlar videolardan çıkarılarak, daha anlamlı bölümlerden oluşan özelleştirilmiş bir veri seti getirilmiştir. Bu videolardan anlamlı bölümlerin elde edilmesi ve özellik çıkarımı yapıldıktan sonra R-CNN (Bölgesel Evrişimsel Sinirsel Ağlar) ile belirlenen davranışların analizi gerçekleştirilmiştir. Yapılan deneysel çalışmalar üzerinde, köpeklerin ağız açma, dil çıkarma, kulak dikme, kuyruk sallama, koklama, oyun oynama davranışları incelenmiş ve bu davranışlar için sırasıyla %100, %99.99, %99.99, %95.99, %99.28, %99.64 eğitim başarımı elde edilmiştir. Anahtar Kelimeler: Derin Öğrenme; Evrişimsel Sinir Ağları(ESA, CNN); Bilgisayarlı Görü; Köpek Davranışları; Hayvan Davranış Tespiti. Observation and recognition of animal faces, body postures, behaviors, and physical movements has recently become one of the most fundamental tasks of multidiscipline. The outstanding technological advances in areas such as computer vision and digital image processing can be used in the analysis of human behaviors on videos, as well as helping to detect animal behavior. In animals, it can contribute to the prediction of subsequent behaviors that may occur with computerized vision, and to domesticate animals. In the proposed thesis work, a system based on deep learning has been proposed to analyze and classify the behavior of dogs. A database was created by collecting videos showing the behavior of two different species dogs that do not avoid contact with people by using the wearable action camera and fixed camera. In the next stage, a deep learning-based application was conducted to analyze and classify the behavior of dogs. Determined behaviors such as mouth opening, tongue out, ears up, tail wagging, sniffing, playing, after the necessary examinations were made on the obtained videos, a special set of more meaningful sections was introduced. After feature extraction and obtaining meaningful sections from these videos, analysis of the behavior was performed by R-CNN. On the experimental studies, the behavior of the dog such as mouth opening, tongue out, sniffing, ears up, tail wagging, playing was examined and, training performance was obtained 100%, 99.99%, 99.28%, 99.99%, 95.99%, 99.64% for these behaviors, respectively.Keywords: Deep Learning; Convolutional Neural Networks (CNN); Computer Vision; Dog Behaviours; Animal Behavior Detection 94

In recent years, many techniques have been proposed for recognition of the human interactions in the computer vision literature. To recognize human interactions, spatial and temporal descriptors have been used together. In modeling of the interactions in the spatial domain, remarkable progress has been made with the experience coming from image processing area. In recognition of the human interactions, modeling temporal information has critical importance, too. It is known that the successful methods that have been proposed in the recent years model both spatial and temporal structure of the motion. In this thesis, we propose a novel representation for human interaction recognition, namely histogram of temporal sequences. The proposed representation consists of the following steps: extracting basic feature descriptors, creating common sequential patterns for each class by using sequence mining, selecting discriminative sequential patterns, creating histograms of sequences from videos and classification. In the sequence mining step, by using hierarchical pyramid structures, the different temporal behaviors of the interactions at different temporal scales are included in the final model. The proposed method can also be used with different type of features. In accordance with this capability, we have tested the performance of the new representation with the deep features. Pre-trained deep features are fine-tuned on the dataset and extracted features are used with the proposed method. We have provided the performance results on two publicly available datasets: UT Interactions Dataset and TV Human Interactions Dataset. In the UT Interactions Dataset, we have the best result on set#2 and the same performance with the best method on the set#1. In the TV Human Interactions Dataset, we have obtained the best results in the literature. Son yıllarda bilgisayarlı görü alanında insan etkileşimlerinin tanınması problemi üzerinde literatürde çok fazla sayıda yöntem önerilmiştir. İnsan etkileşimlerinin tanınması için hem uzamsal hem de zamansal öznitelikler beraber kullanılmıştır. Uzamsal alanda harekete ait bilgilerin modellenmesinde, görüntü işleme alanından elde edilen tecrübe ile önemli ilerlemeler sağlanmıştır. İnsan hareketlerin tanınması için ise zamansal bilginin modellenmesi de kritik öneme sahiptir. Son yıllarda önerilen başarılı yöntemler, hareketlerin hem zamansal hem de uzamsal yapısını birlikte modellemişlerdir. Bu tez kapsamında, karmaşık insan hareketlerinin tanınmasında, özniteliklerin zamansal dizilimlerinin histogramları isminde yeni bir model önerilmektedir. Önerdiğimiz yöntem: videolardan temel özniteliklerin çıkartılması, dizilim madenciliği ile sınıf içinde ortak olan dizilim örüntülerinin elde edilmesi, ayırt edici dizilim örüntülerinin seçilmesi, seçilen dizilimler ile videolar üzerinde histogramların elde edilmesi ve bilinen yöntemler ile sınıflandırma aşamalarından oluşmaktadır. Dizilimlerin elde edilmesi aşamasında zaman boyutunda hiyerarşik piramit yapısı kullanılarak insan etkileşimlerinin farklı zamansal ölçeklerdeki davranışları da modele dahil edilmektedir. Önerdiğimiz method farklı türdeki özniteliklerle de kullanılabilmektedir. Bu kapsamda önerdiğimiz yöntemin başarımını derin öznitelikler ile test ettik. Önceden eğitilmiş derin ağları veri kümeleri üzerinde uyarladık ve elde edilen derin öznitelikleri önerdiğimiz yöntem ile denedik. Literatürde var olan UT Human Interactions ve TV Human Interactions veri kümelerinde yöntemimizin başarımını raporladık. UT Human Interactions veri kümesinde, ikinci grup üzerinde en iyi sonucu elde ettik, birinci grup üzerinde ise literatürdeki en iyi sonuçla aynı başarımı elde ettik. TV Human Interactions veri kümesinde ise literatürdeki en iyi sonucu elde ettik.

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2014, Thesis (M.Sc.) -- İstanbul Technical University, Instıtute of Science and Technology, 2014, Sosyal sinyal işleme ve bilgisayarlı görü alanında, son yıllarda bir ölçüde sosyal bilimler ve davranış bilimleriyle ilgili yapılan çok sayıda çalışma dikkat çekmektedir. Duygu analizi, pazar eğilimlerini belirleme, karar verme mekanizmalarını anlama, sosyal ilişkiler ve ardında yatan sebepleri belirleme gibi konularda önemli bir potansiye barındırmaktadır. Duygu analizinde kullanılan tanımlayıcılar arasında en kullanışlı ve öne çıkanı, yüz ifadelerinin kullanılmasıdır. Bu tezde, otomatik yüz ifadelerinin tanınması konusunda son gelişmeler ve kullanılan yöntemler üzerine bir literatür araştırması yapılmış ve bu işlemi geçekleştirecek bir gömülü sistem çerçevesi oluşturulmuştur. Yüz ifadeleri konusunda temel yaklaşım, doğrudan durağan duyguların sınıflandırılması ya da hareket parçacıklarının sınıflandırılmasından duygulara geçiş yapılmasıdır. Bu çalışmada Ekman tarafından farklı kültür ve toplumlarda da ayırt edici özelliği ispat edilen temel duygu sınıfları kullanılmıştır. Yüz ifadelerinin sınıflandırılması temelde n sınıflı bir sınıflandırma problemidir. Yapılan literatür taraması sonucunda daha önce kullanılan yöntemler karşılaştırmalı olarak incelenmiştir. Problemin genel çerçevesi içerisinde, ön işleme, öznitelik vektörü çıkarma, sınıfladırma işlemleri uygulanır. Ön işlemede kullanılabilecek yöntemler incelenmiş ve Tan & Triggs normalizasyonu kullanılmıştır. Öznitelik vektörü çıkarma aşamasında ise, yerel ikili örüntü (YİÖ), yerel üçlü örüntü (YÜÖ) ve Gabor filtreleri yöntemleri karşılaştırmalı olarak ele alınmış olup standart veritabanları ve deneyler üzerinde performansları incelenmiştir. Özellikle son yirmi yılda, yüz analizi çalışmalarının hız kazanmasıyla birçok veri kümesi ve stardart deney ortaya atılmıştır. Bunların birçoğu, laboratuvar kontrollü, sabit ışık altında, poz ve duruş değişimi bulunmayan veri kümesiyken, zaman içinde bu standart koşullar altında elde edilen veri ile oluşturulan sistemlerin gerçek dünya koşullarında beklenen doğruluk oranlarında çalışmadığı görülmüştür. Bu nedenle, internet ortamında belli kilit kelimelerle yapılan aramalardan döndürülen veya TV dizileri, filmler gibi multimedya kaynaklardan derlenen veri kümeleri, kullanılan yöntemlerin test edilmesi için daha gerçekçi bir ölçü sunmaktadır. Bu durum dikkate alınarak, kullanılan yöntemler her iki türden veri kümesi üzerinde de sınanmıştır. Bu çalışmada, öznitelik vektörü olarak yerel ikili örüntü (YİÖ), yerel üçlü örüntü (YÜÖ) ve Gabor filtreleri, öğrenme aşamasında ise destekçi karar makineleri kullanılmış olup Geliştirilmiş Cohn Kanade , MMI yüz ifadeleri, JAFFE ve SFEW veri kümelerinde çeşitli deneyler yapılarak yöntemin başarısı sınanmıştır. Bunun yanında çeşitli filmlerden seçilerek oluşturulmuş SFEW veritabanı da kullanılarak sistemin başarısı nispi olarak gerçek dünya koşullarında ve ortam şartlarının değişiklik gösterdiği görüntüler üzerinde de ölçülmüştür. Özellikle, öznitelik çıkarma aşamasında kullanılan Yerel ikili örüntü (YİÖ) ve yerel üçlü örüntü (YÜÖ) yöntemleri literatürde yüz ifadesi analizinde kullanılan diğer yöntemlere kıyasla oldukça başarılıdır. Bu başarının nedeni, ışık veya ortam değişimleri sebebiyle gerçekleşen monoton gri seviye değişimlerinin olumsuz etkisini azaltması ve hesaplama anlamında kolaylığında yatmaktadır. Hesaplama kolaylığı özellikle yüz ifadeleri analizi gömülü sistem üzerinde yapıldığında önem kazanmaktadır. Hedef platformların işlem kapasiteleri daha karmaşık yöntemler kullanıldığında öznitelik vektörü çıkarılması aşamasında zaman kaybına sebep olduğundan nihai olarak oluşturulacak sistem video üzerinde akıcı olarak çalışmamaktadır. Diğer veri kümelerinden farklı olarak gerçek koşullara yakın nitelikteki SFEW veritabanında, yerel ikili örüntü (YİÖ) ve destekçi karar makineleri ile yedi sınıf doğruluğu %59.76 olarak elde edilmiştir. Bu noktada, yapılacak yeni çalışmalarda yöntemlerin sınanması için standart koşullarda elde edilen görüntülerin yanı sıra, gerçek ya da gerçeğe yakın koşullarda elde edilen görsel verinin kullanılması gerektiği görülmüştür. Deneysel sonuçlara bakıldığında, yerel üçlü örüntü (YÜÖ) ve destekçi karar makineleri kullanılarak Geliştirilmiş Cohn Kanade veritabanı üzerinde öfke, mutluluk ve şaşırma ifadeleri sırasıyla %97.78, %100 ve %97.59 başarıyla sınıflandırılmıştır. Benzer şekilde, yerel ikili örüntü (YİÖ) ve Gabor filtreleri de kullanılan veritabanları üzerinde çeşitli deneylerde kullanılmıştır. Örneğin; 5 ölçek ve 7 yönde uygulanan Gabor filtresi diğer yöntemlere yakın başarı göstermesine rağmen zaman yönünden gömülü bir uygulamada kullanıma uygun olmadığı görülmüştür. Diğer yandan, bu çalışmanın en önemli taraflarından biri, yüz ifadelerinin sınıflandırılması gibi güncel ve kullanım alanı çok geniş olan bir probleme gömülü platformlarda çözüm ortamı oluşturmasıdır. Nitekim, yüz ifadelerinin sınıflandırılması doğası gereği mobil çözüm imkanlarını gerektirmektedir. Gömülü linux sistemler, SoC platformlar ve FPGA'lar kullanılarak yapılan çalışmalar incelendiğince yüz ifadelerinin analizini konu alan oldukça az sayıda çalışma olduğu görülmektedir. Bilgisayar ortamında yapılan deneylerin yanı sıra, yüz ifadelerinin otomatik olarak sınıflandırılması Xilinx SoC geliştirme kartında linux (Linaro Ubuntu) işletim sistemi üzerinde C++/OpenCV geliştirme ortamı kullanılarak hem statik görüntüler, hem de videolar üzerinde gerçeklenmiştir. Gömülü sistemde, daha önce incelenen yöntemler arasından geometrik ve Tan & Triggs normalizasyonu, yerel ikili örüntü (YİÖ) ve destekçi karar makineleri kullanımıştır. Gömülü sistem uygulamasında, Geliştirilmiş Cohn Kanade veritabanındaki yüz ifadesi etiketi bulunan 327 resim kullanılarak oluşturulan destekçi karar makinesi modeli kullanılmıştır. Öte yandan, gömülü sistem üzerinde yapılan örnek uygulamada da kullanılan YİÖ öznitelik vektörleri test resimleri üzerinde uygulanarak zaman performansı ölçülmüştür. Geliştirilen örnek uygulama hem bilgisayar ortamında, hem de kullanılan gömülü sistem platformunda çalıştırılmış ve yedi sınıflı yüz ifadeleri analizi başarıyla gerçekleştirilmiştir. Özellikle mutluluk, öfke, şaşırma ve mutsuzluk sınıflarının daha başarılı şekilde sınıflandırıldığı görülmektedir. Bu çalışmada, daha önce gömülü platformlarda gerçeklenen yüz ifadelerini tanıma sistemleri karşılaştırmalı olarak incelenmiş ve bunlardan farklı olarak kendi gömülü sistem çerçevemiz sunulmuştur. Önerilen sistem ile, durağan resimler ve hareketli videolar üzerinde yüz ifadelerinin analizi yapılabilmektedir. Xilinx SoC geliştirme kartında linux işletim sistemi çalıştırılmış ve bir C++/OpenCV uygulaması ile sistem gerçeklenmiştir. Bu uygulama ile statik görüntüler ve video üzerinde yaklaşık olarak saniyede 4-5 görüntü hızında, yüz ifadeleri tanıma işlemi gerçekleştirilmiş ve zaman performansı açısından oldukça iyi sonuçlar elde edilmiştir., In social signal processing and computer vision, there has been increasing number of studies which are related with social and behavioural sciences to some extent in last years. Affective state of human has very significant potential in many application areas such as evaluating market trends, understanding the decision-making, interpreting social interactions and their underlying background, and so on. Among the agents that make our emotions understandable, the facial expressions are the most prominent and descriptive sign of a humans's affective state. This thesis presents a literature survey on the state-of-the-art of facial expression recognition, comparison of different approaches in automatic analysis of emotions, and proposes a new embedded framework for facial expression recognition problem. Although there have been large number of studies in facial expression recognition, the number of ``affective'' embedded systems are fairly scarce. In this study, an efficient embedded framework is implemented on a system-on-chip (SoC) development board. Many application areas of facial expression recognition systems necessitate the mobility, and embedded platforms which have both hardware and software development tools, as well as low power consumption and increased adaptivity. In this study, different feature extraction methods such as local binary pattern (LBP), local ternary pattern (LTP) and Gabor filters are compared using different extraction strategies and varied kernel functions and parameters in learning phase, support vector machines (SVM). In embedded framework of facial expression system, local binary patterns and support vector machines-based methodology is preferred, because of its higher accuracy and time performance. Besides OpenCV implementation on embedded linux operating system, Zynq-7000 all programmable SoC is used to measure the performance of LBP feature extraction. Our final system has capable of facial expression recognition in both static images and video sequences at 4-5 fps., Yüksek Lisans, M.Sc.

Yüksek Lisans Tezi Bilgisayarlı görü sistemleri hızla gelişmekte ve kullanım alanları sürekli artmaktadır. Artan işlemci gücü, görüntülerin gerçek zamanlı olarak işlenmelerini de mümkün kılmaktadır. Görüntü işlemeye dayalı olarak geliştirilen araç destek sistemleri günlük yaşamı kolaylaştıran vazgeçilmez unsurlardan biridir. Artan trafik hacmi ile zaman içinde giderek zorlaşan trafik şartları araç sürücüleri için güvenlik ve seyir risklerini de beraberinde getirmektedir. Kaza risklerinin azaltılması, sürücülerin özellikle seyir halinde iken araç çevresini izleyebilmesi ve trafik akışını görebilmesine bağlıdır. Sürücüye bu imkânın sağlanması aynı zamanda trafikteki diğer araçların da güvenliğini arttıracaktır. Günümüzde bu imkânlara sahip araç destek sistemleri mevcut olup kullanımları da giderek yaygınlaşmaktadır. Bu tez çalışmasında, görüntü işleme metotlarından kuş bakışı dönüşümü temelli bir araç destek sistemi geliştirilmesi amaçlanmaktadır. Bu amaca uygun olarak tasarlanan sistemin, görüntü kaydetme, kamera kalibrasyonu, kaydedilen görüntülerin analizi, kuş bakışı dönüşümü ve görüntü birleştirme gibi modülleri bulunmaktadır. Bu modüllerin geliştirilmesi aşamasında OpenCV açık kaynak kodlu bilgisayarlı görü kütüphanesi kullanılmıştır. Abstract Computer vision systems are developing rapidly and use of these systems are increasing. It is also possible to process images in real-time with increased processing power. Vehicle support systems based on Image processing are one of the essentials which makes daily life easier. The increasing volume of traffic and traffic conditions which become more and more difficult with time brings out safety and navigation risks for drivers. In order to reduce the risk of accidents, drivers must be able to see the surroundings of car and the flow of traffic. Providing this facility to driver will also increase the security of other vehicles. Nowadays, vehicle support systems with these facilities are already in use and they have become widespread. The aim of this thesis is to develop a vehicle support system based on bird's eye view transformation which is one of the image processing methods. The developed system must consist of modules like image recording, camera calibration, analysis of recorded images, bird's eye view transformation and image fusion to serve this purpose. To develop these modules, OpenCV, an open source computer vision library is used.

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2013, Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2013, Mobil bilgisayarların gelişmesi ve fiyatlarının da makul seviyelere gelmesi ile birlikte, günlük hayatımızda bizlere yardımcı olabilecek bir çok sistem içerisinde bu cihazlar kullanılmaya başlanmıştır. Sürücü Destek Sistemleri (SDS) de bu sistemlerden birisidir. Hem sürüş konforu hem de güvenlik açısından SDS önemli bir sistemdir ve bu sistemler üzerinde yapılan çalışmaların sayısı da son yıllarda bir hayli artmıştır. Trafik işaretleri sürücüler ve yayalar için önemli bilgiler taşımaktadırlar ve bu yüzden SDS içerisinde Trafik İşareti Tanıma (TİT) sistemleri önemli bir yere sahiptirler. Birçok çalışmada TİT problemi iki aşamada ele alınmıştır. İlk aşamada, dış ortamdan alınan imgeler üzerinde trafik işaretlerinin yer tespiti yapılmaya çalışılmaktadır. İkinci aşamada ise, tespit edilen trafik işaretlerinin sınıflandırılması yapılmaktadır. Bazı çalışmalarda ise bu iki aşamaya ek olarak iz takibi (tracking) kısmı eklenmiştir. Böylelikle imge içerisindeki işaretlerin yerlerinin tespitinin daha doğru yapılması ve tespit edilen işaretin sınıflandırılmasının birden fazla işaret imgesi kullanılarak yapılması amaçlanmıştır. Bu çalışmada ise TİT sisteminin ikinci aşaması olan trafik işaretlerinin sınıflandırılması üzerinde çalışılmaktadır. Çalışma içerisinde öznitelik çıkarma yöntemi olarak moment tabanlı bir yöntem olan Zernik momentleri (ZM) ve Yerel Zernike Momentleri (YZM) kullanılmaktadır. ZM ler parmak izi tanıma ve karakter tanıma problemlerindeki gibi, imge içerisindeki şeklin belirgin olduğu durumlarda başarılı sonuçlar vermektedirler. YZM ler ise, imge içerisindeki desen bilgisini açığa çıkaran bir yöntemdir. ZM ler hesaplanırken tüm imge kullanılır ve sonuçta karmaşık sayısal değerler elde edilir. YZM dönüşümünde ise momentlerin hesaplanması her bir gözek etrafında yapılmaktadır ve dönüşüm sonucunda, kullanılan moment derecesine bağlı olarak farklı sayıda karmaşık değerlikli yeni imgeler üretilmektedir. Bu çalışmanın temel amaçlarından birisi, yüz tanımada başarılı bir şekilde kullanılan YZM yönteminin trafik işaretlerinin sınıflandırılmasında da başarılı bir şekilde kullanılabileceğinin gösterilmesidir. YZM de kullanılan parametre değerlerine göre, oluşturulan öznitelik vektörlerinin boyları çok büyük olabileceğinden dolayı YZM dönüşümü kullanılarak gerçekleştirilen sınıflandırma işlemleri gerçek zamanlı uygulamalar için elverişli olmayacaktır. Bu problemin üstesinden gelmek için, çalışma içerisinde YZM dönüşümü doğrudan kullanılmayarak Nicemlenmiş Yerel Zernike Momentleri (NYZM) ismi verilen yeni bir yöntem geliştirilmiştir. Bu yöntem içerisinde iki farklı nicemleme işlemi yapılmaktadır. İlk nicemleme işlemi, YZM dönüşümü ile üretilen imgelerin bit düzlemlerine dönüşütürülmesidir. Daha sonra bu bit düzlemleri paketlenerek yeni imgeler elde edilmektedir ve böylelikle öznitelik vektörleri daha az imge kullanılarak oluşturulabilmektedir. NYZM yöntemi içerisindeki ikinci nicemleme işlemi ise filtreler üzerinde yapılmaktadır. Bu nicemleme işleminin amacı hesaplama zamanını en aza indirmek için, YZM dönüşümünde yapılan konvolusyon işlemleri içerisindeki çarpma işlemlerini toplama işlemine dönüştürmektir. Bu işlem, filtrelerin katsayılarının -1, 0 ve 1 den oluşacak şekilde nicemlenmesi ile gerçekleştirilmektedir. %NYZM öznitelik vektörleri oluşturulurken öncelikle imgeler alt bölgelere ayrılmakta ardından da her bir alt bölge içerisinde gri seviye histogramlar oluşturulmaktadır. NYZM yöntemi ile oluşturulan öznitelik vektörleri, YZM öznitelik vektörleri kadar yüksek boyutlara ulaşmamaktadır. Fakat kullanılan parametre değerlerine göre NYZM öznitelik vektörlerinin boyutları da gerçek zamanlı uygulamalara pek uygun olmayabilmektedir. Bundan dolayı, NYZM öznitelik vektörleri üzerine farklı şekillerde boyut indirgeme yöntemleri uygulanmaktadır. Öncelikle öznitelik vektörleri içerisindeki değerler gruplara ayrılmakta ve bu grupların ortalamaları ile yeni vektörler oluşturulmaktadır. Ardından bu yeni vektörler üzerine Temel Bileşenler Analizi ve Doğrusal Ayrışım Analizi yöntemleri art arda uygulanarak sonuç öznitelik vektörleri elde edilmektedir. Bu şekilde küçük boyutlardaki öznitelik vektörleri ile daha hızlı sınıflandırma yapma imkanı elde edilmiş olmaktadır. Bu tez çalışması içerisinde kullanılan yöntemleri test etmek amacıyla, doğal ortamlardan alınmış farklı boyutlardaki trafik işareti imgelerinden oluşan German Traffic Sign Recognition Benchmark (GTSRB) veri seti kullanılmıştır. Bu veri setinde 43 farklı trafik işareti sınıfı bulunmaktadır ve veri seti 39209 eğitim imgesi ile 12630 test imgesinden oluşmaktadır. Yöntemleri test etmek amacıyla GTSRB veri setinin seçilmiş olmasının sebebi, bu veri seti ile yapılan bir çok çalışmanın bulunmasıdır. Böylelikle çalışma içerisinde elde edilen sonuçlar diğer çalışmalarda elde edilen sonuçlar ile karşılaştırılabilmektedir. Trafik işaretlerinin sınıflandırılması yapılırken ZM, YZM ve NYZM yöntemlerini en uygun şekilde kullanabilmek için farklı parametre değerleri ile bir çok test yapılmıştır. GTSRB veri seti üzerinde, ZM öznitelik vektörleri ile yapılan testlerde %94 civarında sınıflandırma başarısı elde edilmiştir. Kullanılan bu ZM öznitelik vektörleri, gerçel ve sanal değerlerin doğrudan kullanılması ile oluşturulmuştur. YZM öznitelik vektörleri kullanılarak yapılan sınıflandırma işlemlerinde ise %97 civarında başarı elde edilmiştir. YZM öznitelik vektörleri faz-genlik histogramları kullanılarak oluşturulmaktadır ve bu sonuçlar ile YZM dönüşümünün trafik işaretlerinin sınıflandırılmasında işe yaradığı anlaşılmıştır. Fakat YZM yöntemi ile yapılan testlerde hesaplama zamanının uygun olmadığı görüldüğünden dolayı, çalışma içerisinde daha çok NYZM yöntemi üzerinde durulmuştur. NYZM öznitelik vektörlerini oluşturmak için, paketleme ile üretilen imgeler alt bölgelere ayrılmaktadır ve her bir alt bölgede elde edilen gri seviye histogramlar art arda birleştirilmektedir. Ardından boyut indirgeme işlemleri uygulanarak sonuç öznitelik vektörleri elde edilmektedir. Bu işlemler esnasında, aşama aşama testler yapılarak kullanılan parametreler için en iyi değerler belirlenmeye çalışılmıştır ve NYZM öznitelik vektörleri ile yapılan testler sonucunda %98.8 başarı elde edilerek yöntemin başarısı ortaya konmuştur. Trafik işaretlerinin sınıflandırılmasındaki başarıyı artırabilmek için çalışma içerisinde farklı şekillerde sınıflandırma testleri de yapılmıştır. İşaretlerin renk bilgilerini de kullanabilmek için, renk tonu histogramları NYZM ve ZM öznitelik vektörleri ile birlikte kullanılmıştır. Fakat daha iyi sonuçlar elde edilememiştir. Farklı bir yaklaşım olarak, en fazla hata yapılan işaretlerin iki kez sınıflandırılması sağlandığında ise %99.02 sınıflandırma başarısı elde edilmiştir. Önceki paragraflarda bahsedilen sonuçlar k-En Yakın Komşu sınıflandırma yöntemi kullanılarak elde edilmiştir. NYZM bir öznitelik çıkarma yöntemi olduğundan dolayı, NYZM öznitelik vektörlerinin sonraki çalışmalarda farklı sınıflandırıcılar ile uygun bir şekilde kullanıldığında daha iyi sonuçlar elde edilebileceği düşünülmektedir. Çalışma içerisinde elde edilen sonuçlara bakıldığında, önceki çalışmalar ile karşılaştırılabilir sonuçlar elde edildiği görülecektir. Ayrıca, NYZM yöntemi anlaşılabilirlik ve uygulanabilirlik açısından açısından diğer yöntemlere göre bir avantaja da sahiptir., With the development of mobile computers and also reduction in their prices, these devices started to be used in many systems that can help us in our daily lives. Driver Assistance Systems (DAS) is also one of these systems and it is an important system in terms of both driving comfort and security. The number of studies carried out on these systems has increased considerably in recent years. Traffic signs contain important information for both drivers and pedestrians. So, traffic sign recognition (TSR) systems have an important role in DAS. In many studies, TSR problem is evaluated in two stages. In the first stage, the pixel coordinates of traffic signs are determined on images which are taken from outer environment. In the second stage, the classification of detected traffic signs is performed. In addition to these two stages, a tracking system for the detected traffic signs is added to TSR in some studies. Thus, the detection of traffic signs is done more accurate and the classification of the detected traffic signs is done using multiple images. The aim of this study is to classify the traffic signs which is the second stage of TSR system. In this thesis, Zernike Moments (ZM) and Local Zernike Moments (LZM) are used as the feature extraction method. ZM is used successfully in recognition problems such as fingerprint and character recognition. The main feature of these problems is that the shapes in images are apparent. But, LZM is a method that extracts the information of texture. Generally, the whole image is used to calculate the ZMs and as a result of this calculation complex values are obtained. In LZM transformation, the calculation of moments are performed around each pixel and as a result of this transformation complex images are produced. The number of these complex images is related with the selected moment degree. One of the main purpose of this study is to show that LZM transformation which is used successfully in face recognition problem can also be used successfully to classify the traffic signs. The dimension of feature vectors created by using LZM can be very high depending on values of parameters used in calculation. So the classification of traffic signs using LZM is not applicable for real time applications. To overcome this problem, a new method is developped which is called Quantized Local Zernike Moments (QLZM). In QLZM method, two different quantization is performed. The first quantization is the transformation of the images produced by LZM to bit planes. Then, new images are generated by packaging these pit planes and thereby a chance is obtained to create the feature vectors using less images. The feature vectors of QLZM are consists of the gray level histograms and these histograms are created in subregions of packaged images. The second quantization of QLZM method is performed on the LZM filters. The purpose of this quantization is to minimize the calculation time by using summation instead of multiplication in convolution process. Firstly, the maximimum and minimum coefficients are found to realize this quantization. Then the interval between the maximum and the minimum coefficient is divided into three parts using two threshold values which are calculated in each filter separately. By considering these parts, the filter coefficients are converted to -1,0 or 1, and as a result of this quantization the LZM images can be produced using summation instead of multiplication in convolution processes. The dimension of the QLZM feature vectors is smaller than the LZM feature vectors. But, the dimension of the QLZM feature vectors may also not be suitable for real time applications depending on parameters used with QLZM. So, different dimensionality reduction methods are applied on the QLZM feature vectors. Firstly, the variables in the feature vectors are grouped and a new feature vector is created using average values of these groups. With these feature vectors, two well known dimensionality reduction methods, Principal Component Analysis and Linear Discriminant Analysis are used consecutively and the final QLZM feature vectors are obtained. In this way, classification of traffic signs is performed with small-size feature vectors in a short computation time. The German Traffic Sign Recognition Benchmark (GTSRB) dataset is used to test the methods described in this study. This dataset consists of traffic sign images in different sizes which are taken from natural environment and this dataset contains 43 different traffic sign classes, 39209 training images and 12630 test images. The reason why the GTSRB dataset is chosen to test the methods is that there are a lot of studies carried out by using this dataset. So, the results obtained in this study can be compared with the results of other studies. To use ZM, LZM and QLZM methods properly, lots of tests have been carried out with different values of parameters. With the feature vectors created by using ZM approximately 94% classification rate has been obtained. The ZM feature vectors used in these tests are created using real and imaginary values of moments. With the feature vectors created by using LZM, approximately 97% classification rate has been obtained. These feature vectors are constructed using phase-magnitude histograms and these classification results show us that the LZM transformation is a useful method for the traffic sign classification problem. But, because of LZM method requires too much computation time and memory, the classification tests have been done mostly on QLZM method in this study. To construct the QLZM feature vectors, the images produced by packaging process are divided into subregions and a gray level histogram is generated in each subregion. Then, these gray level histograms are concatenated and then by applying dimensionality reduction methods the final feature vectors are generated. To determine the best values for the parameters used in QLZM method a lot of tests have been carried out step-by-step. Also, the contributions of the dimensionality reduction methods and quantization of the filters to the results have been shown. As a result of the tests performed by using the QLZM feature vectors, 98.8% classification rate has been achieved and so the success of the QLZM method has been proven. Some different tests have been done in different ways to increase the classification rate of traffic signs in this study. To use the color information of traffic signs, hue histograms have been used with the ZM and LZM feature vectors. But, the results obtained in this way have not been better than 98.8%. As a different approach, when the classification is performed twice on traffic signs which are mostly misclassified, 99.02% classification rate is achieved. In this two layer classification model, the traffic signs are classified using the QLZM feature vectors in the first layer. If the result of the first layer is one of the mostly misclassified classes, to check the result again one more classification is performed in the second layer and both ZM and QLZM feature vectors are used together in this layer. The results mentioned in the previous paragraphs have been calculated using k-Nearest Neighbour classification method. Because QLZM is a feature extraction method, if the QLZM feature vectors are used properly with different classifiers such as Support Vector Machines and Neural Networks, better classification rates may be achieved. If the results obtained in this study are examined, it is seen that these results are comparable with the results of other studies. The methods used in some of these studies requires too much computation time and memory, but QLZM has an advantage in this respect and it is an easy feature extraction method in terms of both intelligibility and applicability., Yüksek Lisans, M.Sc.

Bu çalışmanın amacı ülkemiz için ekonomik değeri yüksek olan şeftali meyvesinin verim haritalamasına yönelik olarak meyvenin erken gelişme döneminde ve doğal ortamından alınmış sıradan renkli görüntülerinden meyveleri tespit ederek sayabilecek algoritmaların geliştirilmesi ve en iyi algoritma performanslarının ortaya koyulmasıdır. Algoritmaların geliştirilmesi ve test edilmesi için görüntüler Bursa Barakfaki köyünde yerel bir çiftçiye ait Elegance Lady çeşidi şeftali bahçesinden alınmıştır. Çalışmada histogram eşitleme ve logaritma dönüşümü gibi görüntü işleme tekniklerinden yararlanılarak doğal koşullarda alınmış görüntülerin aydınlanma koşulları zenginleştirilmiştir. Görüntü işleme tekniklerinden yararlanarak geliştirilen algoritmalar renk, şekil ve doku bilgisini kullanılan öznitelik çıkarma yöntemleriyle görüntülerden çıkarmışlardır. Bu çalışmada kullanılan öznitelik çıkarma yöntemleri, olgunlaşmamış şeftali bitkisini renkli görüntülerde saptama anlamında yenidirler. Çıkarılan özniteliklerle farklı sınıflandırıcıların performanslarını ortaya koymak amacıyla 7 adet sınıflandırıcı eğitilerek denenmiştir. Diskriminant analizi, K-en-yakın komşu, naive Bayes, regresyon ağaçları, sınıflandırma ağaçları, yapay sinir ağları ve destek vektör makinası bu çalışmada kullanılan sınıflandırıcılardır. Görüntülerde arka plan elemesi yapmak ve potansiyel meyve bölgelerini saptamak amacıyla üç farklı görüntü tarama yöntemi geliştirilmiştir. Algoritmaların meyve olarak sınıflandırdığı alt-pencereler blob analiziyle tekilleştirilip meyve sayıları tespit edilmiştir. Farklı meyve tarama yöntemleri, istatistiksel ve deneysel yollarla belirlenen farklı öznitelik birleşimleri, farklı yapay sınıflandırıcılarının kullanımıyla değişik algoritmalar türetilmiş, eğitim ve test setleri üzerinde denemeler gerçekleştirilmiştir. Geliştirilen algoritmaların performansları farklı aydınlanma koşullarını içerecek şekilde karşılaştırılmıştır. Çalışma kapsamında geliştirilen algoritmaların bazılarında % 85'ler düzeyinde saptama başarısı elde edilmiştir. Geliştirilen algoritmalar doğal bahçe koşullarında alınmış görüntülerdeki aydınlanma değişimlerinden fazla etkilenmemişlerdir. The objectives of this study were to develop algorithms for detecting and counting immature peach fruit, having economic importance for our country, in colored natural canopy images acquired in natural orchard conditions using image processing and artificial classifiers and to provide algorithms having the best performance. For developing and testing algorithms, images were obtained from a peach orchard located in Barakfaki, Bursa. By utilizing image processing techniques such as logarithm transform and histogram equalization, illumination conditions of the images taken under natural conditions were enhanced. Algorithms extracted features via feature extraction methods relied on color, shape and texture. Feature extraction methods used in this study were novel for detecting immature peach fruits in color images. To provide performances of different classifiers with extracted features, 7 classifiers were trained and performed. Discriminant analysis, K-nearest neighbors, naive Bayes, regression trees, classification trees, neural networks and support vector machines were the classifiers used in this study. To eliminate background and to locate potential fruit regions in the images, 3 different image scanning approaches were developed. To count fruits in the images, sub-windows classified as fruit by the classifiers were singularized by a blob analysis. Various algorithms were derived by usage of different image scanning approaches, different feature combinations determined by statistical and experiential methods, different classifiers. Using a training set and a test set, experiments were carried out. Performances of the algorithms were compared including different illumination conditions. Some of the algorithms developed in the present study provided about 85% of detection performance. Proposed algorithms were not affected intensively by illumination changes in the images taken under natural orchard conditions. 219

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2009, Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2009, Sürücüyü, sürüş koşulları ve çarpışma olasılığına karşı uyaran araç içi sürücü yardım sistemlerinin geliştirilmesi, giderek yaygınlaşan bir uygulama alanı bulmaktadır. Yol üzerindeki diğer araçların konumlarının belirlenmesi, sürücü yardım sistemlerinin işlevsel hale gelmesine katkıda bulunan temel veriyi sağlamaktadır. Dolayısıyla bu sistemlerin temelini, dayanıklı ve güvenilir bir şekilde gerçekleştirilmesi amaçlanan araç algılama ve takibi çalışmaları oluşturmaktadır. Tez kapsamında yapılan bu çalışmada, bir veri toplama aracına monte edilmiş tek bir kamera aracılığıyla toplanan gri seviye görüntüler içerisinde araç algılama ve takibi amaçlanmıştır. Sunulan uygulamada; görüntünün arka planında yer alan araç dışı nesnelerin, algılama sürecinde hatalara sebep olmaması için doğrudan kameranın önünde gözlemlenen yol yüzeyi, bir şerit algılama algoritması aracılığıyla, belirlenmektedir. Şeritlerin güvenilir bir şekilde algılandıkları varsayılarak, araçların yol yüzeyinde oluşturdukları gölgelerin ayırt edici özellik olarak kullanımıyla, belirlenen yol yüzeyinde, muhtemel araçların konumları kestirilir. Kestirilen araç konumlarının doğruluğu, dikey kenarların ayırt edici özellik olarak kullanımıyla tetkik edilir. Algılanan araçların takibi, Kalman filtresi temelli bir algoritma aracılığıyla, ardışık görüntüler boyunca gerçekleştirilir. Bu çalışmada geliştirilen algoritmalar, iki boyutlu görüntü düzleminde, kameranın monte edildiği araca göre bağıl araç hızlarının belirlenmesini sağlamaktadır. Kamera aracılığıyla elde edilen veriler, yer koordinat sisteminin iki boyutlu görüntü düzlemine izdüşürülmesinin sonucu olduğundan elde edilen iki boyutlu araç hızları, araçların üç boyutlu bağıl mesafe ve hızlarına dair bilgi içermektedir. Dolayısıyla geliştirilen yaklaşım, gelecek çalışmalar neticesinde, tehdit oluşturabilecek araçlara karşı sürücülerin uyarılmasını sağlayacak sistemlere uyarlanabilecektir., In recent years, developing on-board driver assistance systems aiming to alert a driver about driving environments and possible collision with other vehicles is becoming an active research area. Determining the position of other vehicles on the road is a key information to help driver assistance systems. Thus, robust and reliable vehicle detecton and tracking are the basic steps in these systems. In this study, a vision system has been developed that analyzes an image sequence taken from a forward-looking camera mounted on a car. The proposed method includes road area finding which has been implemented by a lane detection algorithm to avoid false detections of vehicles caused by the distraction of background objects. Assuming that lanes are succesfully detected, vehicle presence inside the road area is hypothesized by using “shadow” as a cue. Hypothesized vehicle locations are verified using vertical edges. After extracting vehicles, the algorithm effectively track them during successive image frames in a long image sequence using a Kalman filter based tracking algorithm. Because of the fact that the observations obtained by the camera are the projections of the 3D-scene on the 2D-image plane of the camera, the 2D-vehicle velocities provided by the developed algorithms contains information about the real motion (behaviour) of the vehicles. Thus, in the future work, the developed approach can be applied to a system providing an in-vehicle real-time precrash vehicle warning capability based on monocular camera., Yüksek Lisans, M.Sc.

Navigasyon çözümlerinin temel bileşenlerinden biri olan konum kestirimi problemi,günümüzde çoğunlukla küresel konumlama sistemi (KKS) ile diğer kaynaklardan elde edilen verilerin (ataletsel ölçüm birimi, sayısal arazi yükseklik verisi haritaları, barometrik basınç sensörü, tekerlek kilometre sayacı vb.) bir arada kullanılmasıyla çözülmektedir. KKS sinyallerinin kullanılamadığı ortamlarda ise konum kestirimi problemi literatürdeki açık problemler arasında yerini korumaya devam etmektedir. ̇Insanlı veya insansız, otonom veya değil farketmeksizin, herhangi bir aracın/robotun KKS sinyallerini kullanamadığı durumlarda da seyrüsefer görevini yerine getirebilmesi için, doğru ve yüksek hassasiyetli konum kestirimi yapabilmesi gerekmektedir. Altı serbestlik dereceli konum kestirimi için kullanılan çeşitli yöntemler ile algılayıcı donanımlar detaylı incelendiğinde herbirinin çeşitli avantajlarının ve dezavantajlarının bulunduğu anlaşılmaktadır. Farklı kaynaklardan elde edilen verilerin birarada kullanıldığı yöntemlerin, altı serbestlik dereceli konum kestirimi probleminin çözümünde daha iyi sonuçlar verdiği görülmektedir. Bu tez çalışmasında, tek bir kamera ve lidar sensörü kullanılarak, KKS sinyallerinin kullanılamadığı ortamlarda altı serbestlik dereceli konum bilgisinin kestirilmesi problemi ele alınmıştır. Tek bir kameradan alınan verilerin işlenmesi ile elde edilen konum bilgisinin, kestirilemeyen bir ölçek dahilinde doğru olduğu bilinmektedir. Doğru metrik ölçülerle konum bilgisini kestirebilmek için bu ölçek bilgisinin çeşitli yöntemlerle hesaplanması gerekmektedir. Bu tezde, kameradan alınan resim kareleri üzerindeki piksellerle, Lidar sensöründen elde edilen metrik veriler kullanılarak altı serbestlik dereceli konum bilgisi mutlak ölçekler dahilinde hesaplanmıştır. Önerilen algoritmanın testleri KITTI odometri veri kümesi üzerinde yapılmıştır. KITTI odometri veri kümesi; hareketli bir otomobilin üzerine yerleştirilmiş olan stereo kameralar, Lidar, ataletsel ölçüm birimi (AÖB) ve Küresel Konumlama Sistemi'nden elde edilen verilerle oluşturulmuştur. KITTI odometri veri kümesi içerisinde yer alan tek bir renkli kamera verisi ile Lidar sensörü verileri bu tezin konusu olan algoritmanın testleri için kullanılmıştır. KKS ve AÖB'den elde edilen veriler ise önerilen Görsel-Lidar Odometri algoritmasının başarısını kıyaslamak üzere referans olarak kullanılmıştır. KITTI odometri veri kümesi kullanılarak elde edilen test sonuçları, tek bir kamera verisi ile Lidar taramaları kullanılarak geliştirilen Görsel-Lidar Odometri yönteminin, maliyetli optimizasyon yöntemlerine ihtiyaç duyulmadan tutarlı konum bilgisi üretebildiğini göstermiştir., The location estimation problem, which is one of the basic elements of the navigation solutions, is mostly solved by using the global positioning system (GPS) and the data obtained from other sources (inertial measurement unit, digital terrain elevation datamaps, barometric pressure sensor, wheel odometer etc.). In GPS-denied environments,the position estimation problem is still an open problem in the literature. Any vehicle/robot(whether manned or unmanned, autonomous or not) must be able to perform accurate and high-precision location estimation in order to perform its navigation task even in GPS-denied environments. When the various methods used for the six degrees-of-freedom location estimation and the sensory equipment are examined in detail, it is understood that each has various advantages and disadvantages. It is obvious that the methods which use the data obtained from different sources together give better results in the solution of six degrees of freedom location estimation problem.In this thesis, six degrees-of-freedom (6-DOF) position estimation problem in GPS-denied environments is examined by using a single camera and lidar sensor. It is known that the position information which is obtained from a single camera is accurate up to an unknown scale factor. In order to estimate location of a vehicle with accurate metric measurements, this unknown scale information should be calculated by various methods. In this study, six degrees of freedom position information is calculated within the absolute scales by using the metric data obtained from the Lidar sensor with the pixels on the picture frames taken from the camera. Tests of the proposed algorithm were performed on the KITTI odometry dataset. KITTI odometry dataset were created with data taken from stereo cameras, Lidar, inertial measurement unit and GPS receivers which are placed on a moving car. A single color camera frames and Lidar sensor data in the KITTI odometry dataset were used to test the proposed algorithm in this thesis. Data from GPS and inertial measurement unit (IMU) were used as a reference to compare the success of the proposed Visual-Lidar Odometry algorithm. The test results obtained using the KITTI odometry dataset showed that the Visual-Lidar Odometry method, developed using a single camera data and Lidar scans, can produce consistent location information without the need for costly optimization methods.