Bize Ulaşın
Oops! Something went wrong while submitting the form.
Büyük veri'yi işlemek için kullanılan projelerin bir diğeri, apache spark. Birçok kaynakta spark'ı anlatmaya hadoop ile karşılaştırarak başlanır. Hadoop ile karşılaştırabileceğimiz kısımları olduğu doğrudur; ancak hadoop ve spark birebir aynı işlevi görmez. Gelin daha detaylı inceleyelim.
Spark, bir büyük veri işleme motorudur. Veri üzerinde paralel işlem yapmaya yarar, açık kaynak kodludur ve spark diliyle yazılmıştır.
Veri entegrasyonu ve etl (extract, transform, load):
birçok kaynaktan gelen veriyi görselleştirme, işleme ve analiz edilebilmesi için temizleyip birleştirme işlemidir. Spark ile yapılabilir.
Makine öğrenmesi ve i̇leri seviye analitik:
karışık algoritmalar kullanarak çıktıların tahmin edilmesi, hata tespiti, saklı verilerin çıkarılması ve girdilere göre karar verilmesi için kullanılır.
Streaming (gerçek zamanlı veri işleme):
hata oranı en az olacak şekilde sürekli veri toplama ve işlemeye denir. E-ticarette verilen siparişlerin anında sisteme düşmesi veya bankadaki hesap hareketlerinin takip edilebilmesi, gerçek zamanlı veri işlemeye örnek olarak verilebilir.
Spark core
Büyük ölçekli paralel ve dağıtık verinin işlenmesi için en temel motordur. İçerdiği kütüphaneleri kullanarak çeşitli işler yapılmasına izin verir. Spark'ın en temel görevlerini yerine getirmesini sağlar. R, sql, python, scala ve java ile çalışır. Spark sql, streaming, mllib ve graphx uygulama programlama arayüzlerini (api) destekler.
Bu arayüz ile sql veya hive query language aracılığıyla veri sorgulama desteklenir. Rdbms veritabanları için spark sql performans arttırıcı bir çözüm sunar.
Gerçek zamanlı veri akışlarının verimli olarak işlenmesini sağlar.Apache spark'ta makine öğrenmesi çalışabilmek için kullanılan kütüphanedir.
Grafikler ve etkileşimli grafik hesaplamaları için kullanılan arayüzdür.
Spark ve Hadoop
Apache spark ve hadoop, benzer ama asla birebir aynı olmayan sistemlerdir. Farklı alanlarda karşılaştırılabilir ancak biri diğerinin ikamesi değildir. Yapacağınız projeyi göz önünde bulundurarak özellikleri değerlendirip bir karar vermeniz gerekir.
Spark; yüksek performans hızı, sürekli işlemlerde kolaylık, grafik işleme, gerçek zamanlı analiz ve makine öğrenmesi özelliklerini barındırır. Ama eğer projenizde bütünlük sağlayacak bir dosya sistemine ihtiyacınız varsa, gerçek zamanlı bir uygulama geliştirmiyorsanız ve veri setleriniz büyük boyutluysa, hadoop sizin için daha doğru bir seçim olacaktır.
Eğer gerçek zamanlı veri işleme ve işlenen verileri saklama özelliklerini bir arada arıyorsanız hdfs için her iki sistemi de kullanmanız yararlı olur. Gördüğünüz gibi , karşılaştırılabilecek özellikleri olsa da spark ve hadoop'u aynı kefeye koymak mümkün değildir. Projenizin gereksinimlerini bilerek iki teknolojiden birini seçmelisiniz.
Apache spark hakkında detaylı bilgi verdik. Faydalı olacağını umuyoruz. Sorularınız için bize ulaşın. Veri bilimi hakkında diğer bilgiler için blog sayfamıza göz atın. Bir sonraki yazımızda görüşmek üzere!
https: //medium. Com/5bayt/apache-spark-nedir-ne-i%c5%9f-yapar-5797c28eb95
https: //medium. Com/@amine. Yesilyurt/apache-spark-nedir-sparka-giri%c5%9f-582d2e0059af
https: //ozgununlu. Com/blog-detay/apache-spark-nedir
Yasal Uyarı: Yayınlanan her türlü yazı ve içeriğin tüm hakları Efilli Yazılım’a aittir. Kaynak gösterilse veya aktif link verilse dahi yazı, ses, video gibi her türlü içeriğin tamamı ya da bir bölümü kesinlikle kullanılamaz, yayınlanamaz, paylaşılamaz ve değiştirilemez.
Kişisel Verilerinizin Korunmasına İlişkin Bilgilendirme ve Aydınlatma Metni
Efilli Yazılım Ticaret Ltd. Şti. olarak, Şirketimizle paylaştığınız kişisel verilerinizin güvenliğine önem veriyor; bu amaçla kişisel verilerinizin hukuka uygun olarak işlenmesi ve korunması için azami hassasiyeti gösteriyoruz. Bu kapsamda işbu Aydınlatma Metni, 6698 sayılı “Kişisel Verilerin Korunması Kanunu”nun (Kanun) 10. maddesinin bir gereği olarak tarafınızla paylaşılmaktadır. Efilli.com üzerinden sunulan ürünü satın almanızın ertesinde ürün platformuna erişim ve sunulan hizmetleri kullanmaya başladığınızda ilgili kişi sıfatına haiz olmaktasınız. Şirketimizce “veri sorumlusu” sıfatıyla toplanan kişisel verilerinize, bunların toplanma amaçlarına ve sair hususlara aşağıda yer verilmektedir.
I. Kişisel Verileriniz Nelerdir?
Kişisel verileriniz, kimliğinizi belirleyen ya da belirlenebilir kılan bilgiler anlamına gelmektedir. Kişisel Verilerinizin İşlenme Amaçları doğrultusunda aşağıda belirtilen kişisel verileriniz tarafımızca toplanmaktadır:Kayıt olurken talep edilen veriler:Kullanıcı Adı,E-posta bilgisiAd SoyadŞifreÜcret karşılığında sunduğumuz ürünü satın almanız halinde vergisel yükümlülükler kapsamında platforma erişim öncesi şirket ünvanı, vergi numarası gibi vergi hukuku kapsamında ve fatura düzenleme yükümlülükleri kapsamında kişisel veri işlenmektedir.
II. Kişisel Verilerinizin İşlenme Amaçları
Sunulan üründen müşterilerin faydasının maksimize edilmesi ve ürünün teknik detaylarının anlamlandırılabilmesi için şu amaçlarla işlenmektedir;İçerik ve Hizmetlerimize eklenmiş yeni ve/veya var olan özellikler hakkında ticari, idari, bilgilendirici ve/veya hatırlatıcı e-postalar ve/veya müşterilerimize sunduğumuz ürünler ve/veya belirli bilgi ve/veya servis ve/veya paralı ve/veya servisler hakkındaki tanıtım, reklam ve benzeri faaliyetlerin yürütülmesi talepleri iletmekElektronik posta ile eser konumundaki bilgisayar programı formatındaki üründeki gelişmelerle ilgili bilgi göndermek ya da bildirimler de bulunmak,Sorularınızı cevaplamak ve etkin bir kullanıcı deneyimi hizmeti sunmak,Yeni hizmetler ve geliştirmeler hakkında bilgi vermek,Gerektiğinde Kullanıcıyla temas kurmak,Kullanıcının kayıt olması ve iletişim amaçlıİş geliştirme, pazarlama, iletişim gibi operasyonel faaliyetlerin yürütülmesi ve geliştirilmesi ile birlikte kullanıcı deneyimini arttırarak daha iyi hizmet vermek amacıylaDolandırıcılık, gibi yasadışı işlemlerin tespiti ve kullanıcılarımızın bu işlemlerden etkilenmemesi adına denetim ve tespit yapılması amacıylaHizmetleri güvenli bir şekilde yürütmek
III. Kişisel Verilerin İşlenmesi ve Aktarılması
Şirketimiz kişisel verilerinizi Kanun ve sair mevzuat kapsamında:Düzenleyici ve denetleyici kurumlar ve sair resmi kurumlar, kişisel verilerinizi talep etmeye yetkili olan kamu kurum veya kuruluşları dâhil ancak bunlarla sınırlı olmaksızın, yurt içi ve yurt dışındaki gerekli ve yetkili kişi ve kuruluşlara aktarılabilecektir.
IV. Kişisel Veri Toplamanın Yöntemi ve Hukuki Sebebi
Aşağıda belirtilen hukuki sebeplerle toplanmaktadır.Şirketimizin hukuki yükümlülüklerini yerine getirebilmesi için veri işlemenin zorunlu olması,Bir hakkın tesisi, kullanılması veya korunması için veri işlemenin zorunlu olması,Temel hak ve özgürlüklerinize zarar vermemek kaydıyla, Şirketimizin meşru menfaatleri için veri işlemenin zorunlu olması.
V. Kişisel Verilerin Korunmasına Yönelik Haklarınız
Kanunun 11 numaralı maddesi gereğince, Şirketimize başvurarak;
