Veri Bilimi Serisi #4: Apache Hadoop

Büyük veri ve işlenmesi konusunda daha önce bazı yazılar paylaşmıştık. Büyük veri'yi analiz etmek için kullanılan veri bilimi ve yöntemleri hakkında daha fazla bilgi için bu yazılarımıza göz atabilirsiniz. Bugün veri bilimi serisi'nin 4. Yazısında apache hadoop altyapısından bahsedeceğiz.

Apache hadoop, apache kafka gibi mimarilerle oluşturulan büyük veri setleriyle birden fazla makinede paralel olarak işlem yapmamızı, verileri kaydetmemizi ve yönetmemizi sağlayan bir altyapıdır. Hdfs (hadoop distibuted file system), mapreduce, hadoop common ve yarn modüllerinden oluşur. Java ile yazılmıştır ve açık kaynak kodludur.

Hdfs (hadoop distributed file system) Nedir?

Hdfs dosya sistemi, sıradan sunucuların disklerini bir araya getirerek büyük ve sanal başka bir disk oluşturur. Oluşturulan bu sanal disk, çok büyük boyuttaki dosyaları sistemde saklanmasını ve bunların işlenmesini sağlar.
Hadoop 4 modülden oluşur.Bunlara hadoop'un yapıtaşları da diyebiliriz. Büyük veri analizi için geliştirilmiş sistemlerde her modül önemli bir görevi yerine getirir. Hadoop'u basitçe 4 aşamaya böleriz ve bu 4 temel göreve karşılık 4 modül bulunur. Şimdi bu modülleri kısaca açıklayalım.

Türkçeye dağıtık dosya sistemi olarak çevrilen bu kavramı anlatırken, söylem kolaylığından ve yazılım dilinin genellikle i̇ngilizce olmasından dolayı "distributed file system", hatta kısaca dfs olarak bahsedeceğiz. Dfs, 4 modül içinde en önemli iki tanesinden ilkidir. Dfs, verinin çok sayıda depolama cihazında kolayca ulaşılabilir şekilde depolanmasına yarar.

Sonrasında bu verilere, ikinci en önemli modül olan mapreduce ile bakılır.
"dosya sistemi" bilgisayarın kullandığı veri depolama sistemidir, bu sistem sayesinde veriler kolayla bulunup kullanılır. Normalde bilgisayarın işletim sistemine göre belirlenir ama hadoop'un bunlardan farklı, hdfs (hadoop dfs) diye bilinen kendine ait bir dosya sistemi vardır. Hdfs, sunucu bilgisayarın dosya sisteminin üstündedir, yani os işletim sistemini kullanan her bilgisayardan ulaşılabilir.

Mapreduce, çekilen verileri analize uygun bir formata (map) dönüştürür ve matematiksel işlemlerin yapılabilmesine olanak sağlar. Örneğin; 45 yaş ve üzeri kadınların sayısını hesaplamak vb. -bu işleme "reduce" denir, çünkü veriyi belirli bir oranda sınırlarsınız.
Bu modül farklı işletim sistemlerinde (windows, unix vb. ) hdfs altında depolanmış verinin okunması için gerekli java araçlarını sağlar.

Son modül olarak yarn, depolama yapan ve analizi yürüten sistemlerinin kaynaklarını yönetir.

Hadoop'a yıllar boyunca birçok farklı prosedür, kütüphane ve özellik eklenmiş olsa da, hdfs, mapreduce, hadoop common ve hadoop yarn en önemli 4 modüldür.

‍

‍

Hadoop Kullanımı

Hadoop'un esnek yapısı sayesinde şirketler ihtiyaçlarına göre her teknolojik mağazada bulabilecekleri ucuz ve kullanıma hazır parçalarla veri sistemlerinde ekleme veya değişiklik yapabilirler. Günümüzde hadoop, diğerlerine göre daha uygun fiyatlı ve kullanıma hazır donanımı ile en sık kullanılan sistemlerden biri olmuştur. Fortune 500 listesindeki şirketlerin yarısından fazlasının bu sistemi kullandığı söylenmektedir.

Çevrimiçi hizmet veren isimlerin neredeyse hepsi bu sistemi kullanıyor ve herkes kendi amaçlarına göre sistemi değiştirebiliyor olduğundan, hadoop sisteminin yazılımcıları da bu doğrultuda değişiklikler yapmakta ve ürünü geliştirmektedir. Amazon ve google gibi büyük şirketlerdeki uzman yazılımcılar tarafından yapılan modifikasyonlar hadoop yazılımcılarına da örnek olmuş ve sistemi geliştirmelerine yardımcı olmuştur.

Açık kaynaklı bir yazılımın en önemli ve faydalı özelliklerinden biri de gönüllü ve kurumsal kullanıcıların iş birliğiyle yapılan ortak geliştirmedir.
Ticari kullanım için farklı versiyonlarının oluşturulmasının nedeni, hadoop'un ham haliyle, web sitesinde göreceğiniz temel araçlarla bilişim profesyonelleri için bile çok oldukça karmaşık olmasıdır. Örneğin cloudera ile hadoop sistemini kurmak ve çalıştırmak şirketler daha kolay hale getirilmiş ve eğitim, destek gibi hizmetler bir araya getirilerek ticari kullanım için bir paket oluşturulmuştur.

Hadoop'un esnek yapısı ile şirketler büyüdükçe sistemlerini de genişletebilir ve veri analizi operasyonlarını buna göre düzeltebilirler. Açık kaynak kodu sayesinde büyük adımlarla ilerlemiş olan bu sistem, büyük veri analizini herkes için ulaşılabilir hale getirmeyi başarmıştır.
Severek kullandığımız sistemlerden biri olan hadoop ile ilgili sorularınız için bize ulaşın. Veri bilimi serisi'nin devamını okumak için blog sayfamızı takipte kalın!
Facebook, linkedin ve instagram'da bizi takip etmeyi de unutmayın.
Yakında görüşmek üzere…

Kaynaklar:

https: //www. Bernardmarr. Com/default. Asp? Contentid=1080
https: //medium. Com/@kadiralan021/hadoop-ve-hadoop-bile%c5%9fenleri-47f53f0dbdde
https: //www. Kizgibikodla. Com/news/hadoop-nedir/
https: //hadoop. Apache. Org/

‍

‍

Yasal Uyarı: Yayınlanan her türlü yazı ve içeriğin tüm hakları Efilli Yazılım’a aittir. Kaynak gösterilse veya aktif link verilse dahi yazı, ses, video gibi her türlü içeriğin tamamı ya da bir bölümü kesinlikle kullanılamaz, yayınlanamaz, paylaşılamaz ve değiştirilemez.