Search

Veriyi farklı lokasyonlarda saklama ihtiyacındaki artış dağıtık veriyi analiz edebilen algoritmaların önemini de arttırmıştır. Bu tezde, veri dağıtımı ve mahremiyet özelinde tanımlanmış gradyan-tabanlı birkaç algoritma tanıtılacaktır. İlk olarak, ispatlanabilir yakınsak, ikinci dereceden kademeli ve yapısı gereği ayrıştırılabilir bir algoritma önerilecektir. Bu algoritma dağıtık veri ile çalışabilmektedir. Yerel ikinci dereceden yaklaşım kullanarak eğrilik bilgisi yardımıyla yakınsaklığı hızlandırma başarılmıştır. Ek olarak, büyük ölçekli veri bilimi problemi üzerinde tanıtılan algoritmanın paralelleştirilmesinin paralel rassal gradyan inişi algoritmasından daha iyi performans sergilediği gösterilmiştir. Bu tanıtılan ilk algoritma farklı lokasyonlarda saklanan veriyi kullanma problemini çözse de veri güvenliği için yeterli değildir. Tezin ikinci kısmında veri güvenliğini garanti etmek amacıyla diferansiyel olarak mahrem eniyileme algoritmaları tanıtılacaktır. İlk algoritma geçmiş gradyanların ağırlıklı ortalamalarını almaya dayalı bir düzleştirme yaklaşımı kullanmaktadır. Böylelikle gürültü varyansı düşürülmektedir. Varyanstaki bu azalma artan gürültü algoritma performansına zarar verebileceği için eniyileme algoritmaları açısından önemlidir. Ek olarak, yakın zamanda tanıtılmış çok aşamalı hızlandırılmış bir algoritmanın diferansiyel mahrem versiyonu da verilmiştir. Tanıtılan mahrem algoritmaların hepsinin parametre seçimi gürültü göz önünde bulundurularak yapılmış, kullanılan adım boyları gürültü eklenmiş gradyanların varyansı ile orantılı olarak seçilmiştir. Sayısal deneyler de bizim algoritmalarımızın bazı bilinen diferansiyel olarak mahrem algoritmalardan daha iyi performans sergilediğini göstermiştir. With an increase in the need of storing data at different locations, designing algorithms that can analyze distributed data is becoming more important. In this thesis, we present several gradient-based algorithms, which are customized for data distribution and privacy. First, we propose a provably convergent, second order incremental and inherently parallel algorithm. The proposed algorithm works with distributed data. By using a local quadratic approximation, we achieve to speed-up the convergence with the help of curvature information. We also illustrate that the parallel implementation of our algorithm performs better than a parallel stochastic gradient descent method to solve a large-scale data science problem. This first algorithm solves the problem of using data that resides at different locations. However, this setting is not necessarily enough for data privacy. To guarantee the privacy of the data, we propose differentially private optimization algorithms in the second part of the thesis. The first one among them employs a smoothing approach which is based on using the weighted averages of the history of gradients. This approach helps to decrease the variance of the noise. This reduction in the variance is important for iterative optimization algorithms, since increasing the amount of noise in the algorithm can harm the performance. We also present differentially private version of a recent multistage accelerated algorithm. These extensions use noise related parameter selection and the proposed stepsizes are proportional to the variance of the noisy gradient. The numerical experiments show that our algorithms show a better performance than some well-known differentially private algorithms. 118

We propose HAMSI (Hessian Approximated Multiple Subsets Iteration), which is a provably convergent, second order incremental algorithm for solving large-scale partially separable optimization problems. The algorithm is based on a local quadratic approximation, and hence, allows incorporating curvature information to speed-up the convergence. HAMSI is inherently parallel and it scales nicely with the number of processors. Combined with techniques for effectively utilizing modern parallel computer architectures, we illustrate that the proposed method converges more rapidly than a parallel stochastic gradient descent when both methods are used to solve large-scale matrix factorization problems. This performance gain comes only at the expense of using memory that scales linearly with the total size of the optimization variables. We conclude that HAMSI may be considered as a viable alternative in many large scale problems, where first order methods based on variants of stochastic gradient descent are applicable., Comment: The software is available at https://github.com/spartensor/hamsi-mf

Bazı dizi uzaylarının geometrik özelliklerinin incelendiği bu çalışma dört bölümden oluşmaktadır.Birinci bölümde, Banach uzaylarının geometrik özellikleri ile ilgili çalışmaların bir literatür özeti verilmiş ve bu çalışmanın amacı belirtilmiştir. İkinci bölümde, sonraki bölümlerde kullanılacak temel tanım ve teoremlere yer verilmiştir.Üçüncü bölümde, lp(u,v) ve l(p,u,v) dizi uzaylarının konveks, kesin konveks, düzgün konveks ve her yönde düzgün konveks yapısı incelenmiş, diğer geometrik özellikleriyle ilgili sonuçlar elde edilmiştir.Son bölüm olan dördüncü bölümde ise uzayların sağladığı ispat edilen bütün geometrik yapıları listelenmiştir. This study, which deals with the geometrical properties of some sequence spaces, consists of four chapter.In the first chapter, a literature review of studies concerned with Banach space geometry and the aim of this study is given. In the second chapter, the principal definitions and theorems that used in other chapters are given.In the third chapter, the convexity, strictly convexity, uniformly convexity and uniformly convex in every direction structure of the sequence spaces lp(u,v), l(p,u,v) is studied and some consequences about other geometrical structures of these spaces are obtained.In the last chapter, all of the geometrical structures of lp(u,v), l(p,u,v) which are proved in the third chapter are listed. 69