Veri Bilimi Serisi #5: Apache Spark Nedir?

Büyük veri'yi işlemek için kullanılan projelerin bir diğeri, apache spark. Birçok kaynakta spark'ı anlatmaya hadoop ile karşılaştırarak başlanır. Hadoop ile karşılaştırabileceğimiz kısımları olduğu doğrudur; ancak hadoop ve spark birebir aynı işlevi görmez. Gelin daha detaylı inceleyelim.

Spark, bir büyük veri işleme motorudur. Veri üzerinde paralel işlem yapmaya yarar, açık kaynak kodludur ve spark diliyle yazılmıştır.

Spark ile Neler Yapılır?

Veri entegrasyonu ve etl (extract, transform, load):
birçok kaynaktan gelen veriyi görselleştirme, işleme ve analiz edilebilmesi için temizleyip birleştirme işlemidir. Spark ile yapılabilir.

Makine öğrenmesi ve i̇leri seviye analitik:
karışık algoritmalar kullanarak çıktıların tahmin edilmesi, hata tespiti, saklı verilerin çıkarılması ve girdilere göre karar verilmesi için kullanılır.

Streaming (gerçek zamanlı veri işleme):
hata oranı en az olacak şekilde sürekli veri toplama ve işlemeye denir. E-ticarette verilen siparişlerin anında sisteme düşmesi veya bankadaki hesap hareketlerinin takip edilebilmesi, gerçek zamanlı veri işlemeye örnek olarak verilebilir.

Spark Ekosistemi

Spark core
Büyük ölçekli paralel ve dağıtık verinin işlenmesi için en temel motordur. İçerdiği kütüphaneleri kullanarak çeşitli işler yapılmasına izin verir. Spark'ın en temel görevlerini yerine getirmesini sağlar. R, sql, python, scala ve java ile çalışır. Spark sql, streaming, mllib ve graphx uygulama programlama arayüzlerini (api) destekler.

Bu arayüz ile sql veya hive query language aracılığıyla veri sorgulama desteklenir. Rdbms veritabanları için spark sql performans arttırıcı bir çözüm sunar.

Gerçek zamanlı veri akışlarının verimli olarak işlenmesini sağlar.Apache spark'ta makine öğrenmesi çalışabilmek için kullanılan kütüphanedir.
Grafikler ve etkileşimli grafik hesaplamaları için kullanılan arayüzdür.

Spark ve Hadoop
Apache spark ve hadoop, benzer ama asla birebir aynı olmayan sistemlerdir. Farklı alanlarda karşılaştırılabilir ancak biri diğerinin ikamesi değildir. Yapacağınız projeyi göz önünde bulundurarak özellikleri değerlendirip bir karar vermeniz gerekir.
Spark; yüksek performans hızı, sürekli işlemlerde kolaylık, grafik işleme, gerçek zamanlı analiz ve makine öğrenmesi özelliklerini barındırır. Ama eğer projenizde bütünlük sağlayacak bir dosya sistemine ihtiyacınız varsa, gerçek zamanlı bir uygulama geliştirmiyorsanız ve veri setleriniz büyük boyutluysa, hadoop sizin için daha doğru bir seçim olacaktır.

Eğer gerçek zamanlı veri işleme ve işlenen verileri saklama özelliklerini bir arada arıyorsanız hdfs için her iki sistemi de kullanmanız yararlı olur. Gördüğünüz gibi , karşılaştırılabilecek özellikleri olsa da spark ve hadoop'u aynı kefeye koymak mümkün değildir. Projenizin gereksinimlerini bilerek iki teknolojiden birini seçmelisiniz.

Apache spark hakkında detaylı bilgi verdik. Faydalı olacağını umuyoruz. Sorularınız için bize ulaşın. Veri bilimi hakkında diğer bilgiler için blog sayfamıza göz atın. Bir sonraki yazımızda görüşmek üzere!

Kaynakça:

https: //medium. Com/5bayt/apache-spark-nedir-ne-i%c5%9f-yapar-5797c28eb95
https: //medium. Com/@amine. Yesilyurt/apache-spark-nedir-sparka-giri%c5%9f-582d2e0059af
https: //ozgununlu. Com/blog-detay/apache-spark-nedir

Yasal Uyarı: Yayınlanan her türlü yazı ve içeriğin tüm hakları Efilli Yazılım’a aittir. Kaynak gösterilse veya aktif link verilse dahi yazı, ses, video gibi her türlü içeriğin tamamı ya da bir bölümü kesinlikle kullanılamaz, yayınlanamaz, paylaşılamaz ve değiştirilemez.

Gelişmelerden Haberdar Olun
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.