Apache Kafka bileşenleri ve genel bilgileri

Apache Kafka, dağıtılmış bir etkinlik deposu ve akış platformudur. Bu yazıda Kafka'yı, bileşenlerini ve bazı bilgileri çok fazla ayrıntıya girmeden açıklamak için elimden geleni yapacağım.

Bileşenler

Zookeeper

Zookeeper, Kafka küme düğümlerinin koordinasyonu ve durumunun izlenmesi için kullanılır. Ayrıca Kafka konularını (topic), bölümleri (partition), uzaklıkları (offset) vb. takip eder.

Cluster

Bu Kafka'ya özgü değildir, dolayısıyla dağıtılmış bilgi işlem sisteminde yaygın bir terminolojidir. Sadece ortak bir amaç doğrultusunda çalışan bir grup sunucudur. Kafka'nın dağıtılmış bir sistem olduğu göz önüne alındığında, kümesinde aracılar adı verilen bir grup sunucu bulunabilir. Tek Broker Kümesi ve Çoklu Broker Kümesi olmak üzere iki tür küme vardır.

Broker

Kafka aracısı, Kafka yazılımını çalıştıran ve verileri depolayan bir sunucudur. Kafka kümesinde bir veya daha fazla aracı bulunabilir. Üretici ile tüketici arasındaki olay alışverişinin sorumluluğundadır. Kafka üreticisi için olay alıcısı, Kafka tüketicisi için ise olay gönderici görevi görür.

Event

Olaylar durumdaki önemli bir değişikliktir. Sistemde "bir şey" olduğunda tetiklenirler. Kafka'ya veri okuduğunuzda veya yazdığınızda bunu olaylar biçiminde yaparsınız. Kavramsal olarak bir etkinliğin bir anahtarı, değeri, zaman damgası ve isteğe bağlı meta veri başlıkları bulunur.

Topic

Verilerin veya olayların saklandığı "kategorileri/grupları" temsil ederler. Kafka Konusu, bir veri akışına veya olay akışına verilen benzersiz bir addır. Örneğin "alarmlar".

Producer

Yapımcı, sorumluluğu Kafka'ya olayları yayınlamak/göndermek (yazmak) olan bir varlıktır. Bu sizin programınız. Etkinlik her zaman seçilen konuya gönderilir.

Consumer

Tüketici, sorumluluğu Kafka'dan olaylara abone olmak/almak (okumak) ve bunları iş mantığına göre işlemek olan bir varlıktır. Bu senin programın. Bir tüketici, etkinlikleri almak için bir veya daha fazla konuya abone olabilir.

Consumer Group

Birden fazla tüketicinin iş yükünü paylaşmak üzere birleştirildiği tüketici grubunu temsil eder. Birden fazla tüketici grubunun aynı veya farklı konulara abone olması mümkündür. Aynı tüketici grubundaki iki veya daha fazla tüketici aynı mesajı almıyor. Her tüketici her zaman farklı bir mesaj alır, böylece mükerrer işlem yapılmaz. Bunun nedeni, mesajın o tüketici grubundaki herhangi bir tüketici tarafından tüketildiği anda ofsetin bir sonraki sayıya geçmesidir.

Partition

Kafka'daki her konu bölümlere ayrılabilir. Kısa versiyon, Kafka'nın verileri daha verimli yönetmesini sağlayan bir konu içindeki bölümler halinde bölümler. Bir yapımcı, bir konuyu kullanarak komisyoncuya veri yazdığında, komisyoncu o konuyla bağlantılı verileri saklar. Çok büyük bir veri kümesi olması durumunda, komisyoncu bunu tek bir makinede saklamakta zorlanacaktır. Kafka'nın dağıtım sistemi olduğu göz önüne alındığında, konuyu bölümlere ayırarak ve bölümleri veri depolamak için farklı bir makineye dağıtarak bundan yararlanabiliriz. Bir konuya ilişkin bölüm sayısı konu oluşturma sırasında tanımlanır.

Offset

Kafka konusunun her bölümünde, her mesaja atanan bir sıra numarası (Offset) vardır. Bir bölüme yeni bir mesaj geldiğinde mesaja bir sıra numarası atanır. Herhangi bir konu için her bölümün farklı uzaklıkları olacaktır. Bu mahsup numarası konu bölümünde yerel olduğundan burada genel kavramı geçerli değildir. Buna dayanarak bir mesajı bulmak/tanımlamak istiyorsanız "Konu Adı - Bölüm No - Ofset No" komutunu kullanarak isim oluşturabilirsiniz.

Replica

Kafka'da çoğaltma, verilerin yalnızca bir aracıya değil birçok aracıya yazılması anlamına gelir. Çoğaltma faktörü bir konu ayarıdır ve konu oluşturma sırasında belirtilir. Çoğaltma faktörünün 1 olması, çoğaltmanın olmadığı anlamına gelir.

Bilgiler

Bu çok çok kısa bir liste ama "bilinmesi gereken" bazı listeler içeriyor. İsterseniz bu görselleştirme aracını kullanabilirsiniz.

• Bir mesaj tüketici tarafından tüketilsin veya tüketilmesin, konusundan silinebilir. Bu yalnızca retention.ms ve delete.retention.ms ayarları konu oluşturma sırasında yapılandırılmışsa geçerlidir. Gerçek silme işlemi belirtilen süreden biraz daha uzun sürede başlar. Örneğin. (saklama ms + ~5 dakika)


• Bir mesajın yeniden tüketilmesinden kaçınmak, Tüketici Grubu kullanılarak ve bu gruba okuma ofseti atanarak yapılır. Tüketici grupları olmadan bu mümkün değildir, dolayısıyla aynı mesaj yeniden tüketilecek ve bu da tüketici tarafında talihsiz sorunlara yol açabilecektir.


• Konulara atanan bağımsız tüketiciler, bir tüketici mesajı okursa, daha sonra yeniden başlatılırsa ve mesaj hala bölümdeyse (saklama politikası nedeniyle süresi henüz dolmamışsa) aynı mesajı yeniden kullanır. Aynı mesajı tekrar tüketmenin bir sakıncası yoksa veya kodunuzda bir kontrol mekanizması varsa, tüketici grupları yerine bağımsız tüketicileri kullanmak yine de geçerlidir.


• Bir konu (topic) oluşturulduktan sonra bölüm sayısını değiştirmek mümkündür ancak bu durum sistemde rahatsız edici olabilir.


• Tüketiciler aynı anda birden fazla bölümden okuyabilir.


• Kafka bir mesaj kuyruğu değildir. Bir mesaj bir tüketici grubu tarafından "tüketildi" olarak işaretlenirse/kaydedilirse, bölümdeki önceki tüm mesajlar da işaretlenir/kaydedilir. Taahhüt ettiğiniz son akış konumu (bölüm başına ofset), tüketicinin yeniden tüketmeye başladığı yerdir. Buna dayanarak, eğer mesaj 5 tüketimde başarısız olursa ve tüketici bölümdeki bir sonraki mesaja geçerse, mesaj 5 kaybolacak ve tüketici yeniden başlatıldığında mesaj 5 artık orada olmayacaktır çünkü tüketici o bölümdeki dengelemeden devam edecektir. . Bu kavram bağımsız tüketiciler için değil, tüketici grupları için geçerlidir.


• Çok bölümlü bir konunun belirli bir bölümüne mesaj göndermek istiyorsanız sarama.ProducerMessage.Key alanını tuşladığınızdan emin olun. Mesajın hangi bölüme gideceğine, mesaj anahtarının karmasına (HashPartitioner) göre karar verilir. Anahtar varyasyonu düşük ancak bölüm sayısı yüksekse bölümlerin çoğunun herhangi bir mesaj almamasının büyük olasılıkla mümkün olduğunu unutmayın. Örneğin. 6 anahtar varyasyon ve 30 bölüm olduğu göz önüne alındığında, yalnızca 6 bölüm bölümlerin amacını aşan mesajlar alacaktır. Emin olmadığınızda sarama.ProducerMessage.Key ayarını RandomPartitioner'ın bölümlerdeki mesaj tahsisini işlemesine izin verecek şekilde ayarlamaktan kaçının. Bu, en azından mesajları eşit şekilde dağıtacak ve tüketim performansını artıracaktır.


• Bir tüketici grubundaki tüm tüketiciler, bir konunun ayrı bir bölümüne atanacaktır. Bu, bir bölümdeki mesajın kendi tüketicisi tarafından tüketileceği anlamına gelir.


• Bir konunun N bölümü varsa ve M bağımsız tüketici varsa, her bölümdeki aynı mesaj tüm M tüketiciler tarafından tüketilecektir. Örneğin. 5 mesaj ve 2 bağımsız tüketici içeren 1 bölümlü bir konu var, her tüketici ayrı ayrı 5 mesaj tüketecek. Bu, her mesajın iki kez işlendiği anlamına gelir.
  
  
  • 5 mesajlı 1 bölüm, 1 tüketici (X): X 5 mesaj tüketir
  
  
  • 5 mesajlı 1 bölüm, 2 tüketici (X, Y): X 5 mesaj, Y ise 5 mesaj tüketir
  
  
  • 5 mesajın paylaşıldığı 2 bölüm, 1 tüketici (X): X, 2 bölümden 5 mesaj tüketir
  
  
  • Aralarında 5 mesaj paylaşılan 2 bölüm, 2 tüketici (X): X, 2 bölümden 5 mesaj tüketir ve X, 2 bölümden 5 mesaj tüketir

Anlambilim

At-least-once (En azından bir kere)

Bir mesaj mutlaka bir kez yazılacaktır ancak birden fazla kez de yazılması mümkündür.

At-most-once (En fazla bir kez)

Bir mesaj kesinlikle en fazla bir kez yazılacaktır ancak muhtemelen hiç yazılmayabilir.

Exactly-once (Tam olarak bir kez)

Bir mesaj mutlaka bir kez yazılacaktır.

Öneriler

• Üretici işlem (transaction) yapıyorsa, isolation_level=1 kullanarak tüketici izolasyon düzeyinin yalnızca taahhüt edilen mesajları tüketecek şekilde ayarlandığından emin olun. - ref. Bunu yapmazsanız tüketici kaydedilmemiş ve iptal edilmiş mesajları tüketecektir.


• Mesajın Kafka'ya yazıldığından ve onaylandığından emin olun. Bunun için acks=all komutunu kullanabilirsiniz - ref.


• İdempotence kullanarak yinelenen iletiler üretmekten kaçının. Bunun için enable.idempotence=true komutunu kullanabilirsiniz - ref.


• Tek bir tüketici grubunda topic bölümü sayısından daha fazla tüketici çalıştırmayın. Ancak sayısı konu bölümlerinin sayısına eşit olması gereken birden çok tüketici uygulaması örneğini çalıştırabilirsiniz.


• Mesaj tüketimindeki hataları göz ardı etmeyin. Bir hata durumunda mesajı "dead letter" topic'e iletin.


• Topic oluşturma sorumluluğunu üreticinize veya tüketicinize yükletmeyin. Bunun için auto.create.topics.enable=false'ı kullanabilirsiniz. - ref. İşlemi özel bir servis tarafından manuel olarak gerçekleştirin.

Some commands

// List all topics

$ kafka-topics.sh --bootstrap-server localhost:9092 --list
errors-topic
warnings-topic

// List details of a topic

$ kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic errors-topic
Topic: errors-topic	TopicId: EMvnZ6AXQ1O50G4yh4dLDA	PartitionCount: 3	ReplicationFactor: 1	Configs: retention.ms=3600000,delete.retention.ms=3600000
	Topic: errors-topic	Partition: 0	Leader: 1	Replicas: 1	Isr: 1
	Topic: errors-topic	Partition: 1	Leader: 1	Replicas: 1	Isr: 1
	Topic: errors-topic	Partition: 2	Leader: 1	Replicas: 1	Isr: 1

// List all consumer groups

$ kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
errors-topic-group
warnings-topic-group

// List details of consumer group

$ kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group errors-topic-group
GROUP              TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                         HOST            CLIENT-ID
errors-topic-group errors-topic    0          1               1               0               inanzzz-server-2e6992aa-107b-4eb4-82df-32478a7b9478 /172.31.0.1     inanzzz-server
errors-topic-group errors-topic    1          -               0               -               inanzzz-server-2e6992aa-107b-4eb4-82df-32478a7b9478 /172.31.0.1     inanzzz-server
errors-topic-group errors-topic    2          -               0               -               inanzzz-server-2e6992aa-107b-4eb4-82df-32478a7b9478 /172.31.0.1     inanzzz-server

// Purge messages in a topic by changing retention from 1 hour (3600000) to 1 second (1000). You should revert it afterwards!

$ kafka-configs.sh --bootstrap-server localhost:9092 --topic errors-topic --alter --add-config retention.ms=1000
Completed updating config for topic errors-topic.