Bize Ulaşın
Oops! Something went wrong while submitting the form.
İnternet evlerimize ve ceplerimize girdiğinden beri gelişen ve sürekli büyüyen "büyük veri" kavramı da giderek önem kazanmaya başladı. Hatta geleneksel veritabanı araçlarıyla yönetilemeyecek büyüklükte olan bu verinin analiz edilebilmesi için bir bilim dalı bile gelişti: veri bilimi. Bu bilimin kullanım alanlarıyla ilgili fikir edinmek isterseniz sizi veri bilimi serisinin diğer yazılarına şuradan ulaşabilirsiniz.
Büyük veri siz bu yazıyı okurken büyümeye devam ediyor. Tik, tak, siteye x linkinden tıkladınız, tik, tak, sitede 1 dakikadan fazla kaldınız, tik, tak… Bu verilerin internet üzerinden kullandığınız her sistemde anonim olarak toplanmasındaki ortak amaç size daha iyi bir deneyim sunmak. Peki anlık olarak büyüyen bu veriyi nasıl saklayacağız? Daha da önemlisi bunlardan nasıl anlam çıkaracağız? Veriyi kaynağından alıp analiz edilebilir kılmak için çeşitli teknolojiler bulunuyor. Bu yazımızda veri biliminin önemli bir parçası olan ve bizim de kullandığımız apache kafka'dan bahsedeceğiz. Keyifli okumalar…
Apache kafka, en basit tanımıyla akan verileri bir queue (mesaj kuyruğu) içerisine atarak; hadoop, spark, elasticsearch gibi diğer sistemlere transfer etmemizi sağlar.
Apache kafka, linkedin bünyesinde geliştirilerek 2011 yılında github'a eklenmiş, java ve scala dilleri ile geliştirilmiş açık kaynak kodlu bir projedir. Kafka, büyük veriler ile çalışabilen, ölçeklenebilir, dağıtık sistemlere uygun, anlık toplanan veriyi hızla ve hatasız bir biçimde aktarabilen bir mesajlaşma sistemidir.
Mesajlaşma sistemi mi? Kafka mesajlaşma uygulaması mı yazıyor?
Eğer yazılım alanında yalnızca kullanıcısıysanız aklınıza ilk olarak bu sorunun gelmiş olması çok normal. Cevabı ise, hayır. "mesajlaşma" derken aslında verinin bir uygulamadan diğerine aktarılmasından bahsediliyor. Böylece uygulamalar da verilerin doğru gelip gelmediğiyle ilgilenmeyip, onları analiz etmeye odaklanıyor. Bunun gibi yapılarda verinin güvenilirliği çok önemlidir.
Verinin aynen aktarılması için "mesaj kuyruğu (message queue)" kavramı kullanılır. Mesaj kuyrukları aktarılacak veriyi sıraya alır ve buna göre aktarır. Mesajlaşma kalıpları 2 tür olarak gelişmiştir: point to point (noktadan noktaya) ve publish-subscribe (yayın-abone).
Point to point: Bu yöntem bazen "producer-consumer" olarak da adlandırılır. "üretici (producer)" bir mesaj üretir ve bir yere yazar, "tüketici (consumer)" tüketir. Mesajlar sıraya girer, sırayla ve tüketiciler tarafından talep edilir. Bir mesajı sadece 1 tüketici tüketebilir, sonra mesaj kuyruktan silinir. E-ticaret sitenizdeki ürünleri örnek olarak düşünebilirsiniz. Aynı şekilde mesaj okunduğunda bir push (anında ilet) bildirimi gitmesi de buna bir örnektir.
Publish-subscribe: Bu sistemde ise mesajlar bir konuda kalıcıdır. Bir örnek üzerinden açıklayalım. Biz (yayıncılar) bu blog'a yazılar yüklüyoruz, siz (aboneler) de bültenimize abone olarak yazılarımızdan haberdar oluyor ve onları okuyorsunuz. Sisteme isteyen herkes abone olabiliyor ve aynı yazıyı defalarca okuyabiliyor.
Sonuç olarak…
Kafka'nın temel rolü mesajlaşma, depolama ve yayın işleme sistemlerinin bir kombinasyonunu oluşturmaktır. Bu sistemlerin bir arada çalışması çok alışılmış bir durum değildir, kafka'nın rekabet avantajı da budur.
Hdfs (hadoop distributed file system) gibi mimariler geçmişten gelen verileri depolama ve işleme imkanı sunar. Geleneksel bir mesajlaşma sistemi abone olduktan sonra size gelecek mesajları iletmeye yarar. Kafka da bu iki özelliği birleştirir.
Apache kafka ve yapay zeka hakkında sorularınız varsa bize sitemizde bulabileceğiniz iletişim bilgilerimizden ulaşabilirsiniz. Veri bilimi serisinde bir yazının daha sonuna geldik. Devamını takip etmek için abone olun veya instagram, facebook ve linkedin'de bizi takip edin! Görüşmek üzere…
https: //www. Kizgibikodla. Com/news/apache-kafka-nedir/
https: //medium. Com/devopsturkiye/apache-kafkaya-giri%c5%9f-3399e5f33f8e
http: //www. Buyukveri. Co/apache-kafka-nedir/
https: //kafka. Apache. Org/intro
Yasal Uyarı: Yayınlanan her türlü yazı ve içeriğin tüm hakları Efilli Yazılım’a aittir. Kaynak gösterilse veya aktif link verilse dahi yazı, ses, video gibi her türlü içeriğin tamamı ya da bir bölümü kesinlikle kullanılamaz, yayınlanamaz, paylaşılamaz ve değiştirilemez.
Kişisel Verilerinizin Korunmasına İlişkin Bilgilendirme ve Aydınlatma Metni
Efilli Yazılım Ticaret Ltd. Şti. olarak, Şirketimizle paylaştığınız kişisel verilerinizin güvenliğine önem veriyor; bu amaçla kişisel verilerinizin hukuka uygun olarak işlenmesi ve korunması için azami hassasiyeti gösteriyoruz. Bu kapsamda işbu Aydınlatma Metni, 6698 sayılı “Kişisel Verilerin Korunması Kanunu”nun (Kanun) 10. maddesinin bir gereği olarak tarafınızla paylaşılmaktadır. Efilli.com üzerinden sunulan ürünü satın almanızın ertesinde ürün platformuna erişim ve sunulan hizmetleri kullanmaya başladığınızda ilgili kişi sıfatına haiz olmaktasınız. Şirketimizce “veri sorumlusu” sıfatıyla toplanan kişisel verilerinize, bunların toplanma amaçlarına ve sair hususlara aşağıda yer verilmektedir.
I. Kişisel Verileriniz Nelerdir?
Kişisel verileriniz, kimliğinizi belirleyen ya da belirlenebilir kılan bilgiler anlamına gelmektedir. Kişisel Verilerinizin İşlenme Amaçları doğrultusunda aşağıda belirtilen kişisel verileriniz tarafımızca toplanmaktadır:Kayıt olurken talep edilen veriler:Kullanıcı Adı,E-posta bilgisiAd SoyadŞifreÜcret karşılığında sunduğumuz ürünü satın almanız halinde vergisel yükümlülükler kapsamında platforma erişim öncesi şirket ünvanı, vergi numarası gibi vergi hukuku kapsamında ve fatura düzenleme yükümlülükleri kapsamında kişisel veri işlenmektedir.
II. Kişisel Verilerinizin İşlenme Amaçları
Sunulan üründen müşterilerin faydasının maksimize edilmesi ve ürünün teknik detaylarının anlamlandırılabilmesi için şu amaçlarla işlenmektedir;İçerik ve Hizmetlerimize eklenmiş yeni ve/veya var olan özellikler hakkında ticari, idari, bilgilendirici ve/veya hatırlatıcı e-postalar ve/veya müşterilerimize sunduğumuz ürünler ve/veya belirli bilgi ve/veya servis ve/veya paralı ve/veya servisler hakkındaki tanıtım, reklam ve benzeri faaliyetlerin yürütülmesi talepleri iletmekElektronik posta ile eser konumundaki bilgisayar programı formatındaki üründeki gelişmelerle ilgili bilgi göndermek ya da bildirimler de bulunmak,Sorularınızı cevaplamak ve etkin bir kullanıcı deneyimi hizmeti sunmak,Yeni hizmetler ve geliştirmeler hakkında bilgi vermek,Gerektiğinde Kullanıcıyla temas kurmak,Kullanıcının kayıt olması ve iletişim amaçlıİş geliştirme, pazarlama, iletişim gibi operasyonel faaliyetlerin yürütülmesi ve geliştirilmesi ile birlikte kullanıcı deneyimini arttırarak daha iyi hizmet vermek amacıylaDolandırıcılık, gibi yasadışı işlemlerin tespiti ve kullanıcılarımızın bu işlemlerden etkilenmemesi adına denetim ve tespit yapılması amacıylaHizmetleri güvenli bir şekilde yürütmek
III. Kişisel Verilerin İşlenmesi ve Aktarılması
Şirketimiz kişisel verilerinizi Kanun ve sair mevzuat kapsamında:Düzenleyici ve denetleyici kurumlar ve sair resmi kurumlar, kişisel verilerinizi talep etmeye yetkili olan kamu kurum veya kuruluşları dâhil ancak bunlarla sınırlı olmaksızın, yurt içi ve yurt dışındaki gerekli ve yetkili kişi ve kuruluşlara aktarılabilecektir.
IV. Kişisel Veri Toplamanın Yöntemi ve Hukuki Sebebi
Aşağıda belirtilen hukuki sebeplerle toplanmaktadır.Şirketimizin hukuki yükümlülüklerini yerine getirebilmesi için veri işlemenin zorunlu olması,Bir hakkın tesisi, kullanılması veya korunması için veri işlemenin zorunlu olması,Temel hak ve özgürlüklerinize zarar vermemek kaydıyla, Şirketimizin meşru menfaatleri için veri işlemenin zorunlu olması.
V. Kişisel Verilerin Korunmasına Yönelik Haklarınız
Kanunun 11 numaralı maddesi gereğince, Şirketimize başvurarak;
