İşaret dili ile akıllı kontrol sistemi

Konvolüsyonel sinir ağı (CNN) bir veya daha fazla konvolüsyon katmanından (genellikle bir alt örnekleme) oluşur ve ardından bir veya daha fazla tam katman, çok katmanlı sinir ağı olarak izler. CNN mimarisi, 2D giriş görüntüsünün (veya konuşma sinyali gibi diğer bir 2D girişinin) yapısından faydalanmak üzere tasarlanmıştır. Bu sonuç yerel bağlantılarla elde edilmiş ve ağırlıkla ilişkilendirilmiş olup ardından statik parçaların çevrilmesiyle sonuçlanan toplama türü takip edilmiştir. CNN'lerin bir diğer avantajı ise eğitilmesi daha kolaydır ve aynı sayıda gizli katman ile tam ağda daha az sayıda parametreye sahiptir. Bu tezin amacı, el hareketini gerçek zamanlı olarak yakalama ve işleme sırasında yakalama aygıtı (kamera) kullanarak otomatik olarak algılayan ve tanıyan konvolüsyonel sinir ağı kullanarak bir sistem tasarlamak ve yürütmektir. Program, konvolüsyonel bir sinir ağı ile işitme engelli ve görme engelli kişilere kendi evlerinde bir şeyleri kontrol etmelerine yardımcı olmak için kullanılacak birçok farklı tür hareketleri algılayabilir ve taleplerini yerine getirmeleri için onlara yardım etmektedir. Bu model ile el hareketlerini kullanarak elektrik, mekanik veya elektronik cihazları kontrol edebiliriz. Program aynı zamanda işitme engelli insanlara işaret dilini öğretmek için de kullanılabilir. CNN modelinin eğitimi ve oluşturulması için kod, Keras makine öğrenme kütüphanesini kullanan Python'da tasarlandı. Python; yakalama cihazından (kamera) görüntü tanıma taleplerini bekleyen istemci tarafındaki soketi çalıştırır ve fonksiyonları internet üzerinden çıkış birimine (Arduino) gönderir. Ayrıca projede 3. parti ortamı olarak firebase platformu kulanılmakta ve bu ortam donanımı yazılımla birleştirmek için çalışmaktadır. A neural network convolutional (CNN) is composed of one or more convolutional layers (often with a step of sub-sampling) and then followed by one or more full layers, as in a neural network multilayer. The architecture of CNN was designed to take advantage of the structure to a 2D input image (or other 2D input such as a speech signal). This result was obtained with local connections and was relevant to the weight, followed by the type of aggregation results in the translation of the static parts. Another advantage of CNN's so that it was easier to train and we have been a fewer number of parameters of the full network with the same number of hidden units. The goal of this thesis is to design and execute a system using convolutional neural network that capable of automatically detect and recognize hand gesture through capture and process image in real time by using capture device (camera). The program going to be on hand gesture detection with a convolutional neural network, and it can detect many different types of gestures at the same time that will be used for helping disabled, deaf or blind people that will help them to control things in their house and helping them for fulfilling their demands. With this program, we can control anything whether it is electricals, mechanicals or electronics by using hands gestures. The program also can be used as teaching the deaf peoples to learn sign language. Also, there is a 3rd party environment (firebase), works as a medium to connect the hardware with the software. 85