dotnetomaniak.pl - Artykuły z tagiem apache kafka

1

Podbij ↑

ksqlDB - magia SQL w czasie rzeczywistym - część 1 - Wiadro Danych

ksqlDB to rozwiązanie z rodziny Apache Kafka i Confluent. Pozwala na wykorzystanie języka SQL do definiowania zadań przetwarzania strumieniowego. Wpis ten zaczyna serię o ksqlDB. Spróbujemy zrobić coś fajnego na podstawie danych z Packetbeat’a (monitoring ruchu sieciowego) i zobaczymy jak to dalej się rozwinie.Spis treścihide1Co to jest ksqlDB?ksqlDB w Cybersecurity?2Problem3ŚrodowiskoApache Kafka + Zookeeper + ksqlDB4Packetbeat5ksqlDBGdzie strumyk płynie z wolnaPrzykładowy rekordStream ‘packetbeat’Strea...

Tagi: apache kafka, Big Data, kafka, ksql, ksqlDB, monitoring, Packetbeat, przetwarzanie strumieniowe, SQL, stream processing

Źródło: wiadrodanych.pl

Dziel się z innymi:

ksqlDB - magia SQL w czasie rzeczywistym - część 1 - Wiadro Danych

Bazy danych i XML 1103 dni, 4 godziny, 19 minut temu mszymczyk 51 źrodło rozwiń

5

Podbij ↑

Change Data Capture - Zmień Bazę W Strumień (Debezium) - Wiadro Danych

Myślałeś/aś kiedyś o utworzeniu strumienia z operacji w bazie danych? W tym wpisie dowiesz się czym jest Change Data Capture i jak go wykorzystać planując architekturę naszego systemu. W części praktycznej sprawdzimy działanie Debezium na bazie MySQLSpis treścihide1Co to jest Change Data Capture?Rodzaje Change Data CaptureQuery-BasedLog-Based2Jak mogę to wykorzystać?Zapis do wielu źródełIntegracja baz danychETL i Stream Processing3DebeziumŚrodowiskoKonfiguracja Debezium MySQL w Kafka ConnectDodanie danyc...

Tagi: apache kafka, cdc, change data capture, debezium, integracja, kafka

Źródło: wiadrodanych.pl

Dziel się z innymi:

Change Data Capture - Zmień Bazę W Strumień (Debezium) - Wiadro Danych

Bazy danych i XML 1439 dni, 4 godziny, 33 minuty temu mszymczyk 63 źrodło rozwiń

2

Podbij ↑

Kafka Connect w pigułce - Wiadro Danych

Kafka Connect to część platformy Apache Kafka. Służy do łączenia Kafki z zewnętrznymi serwisami takimi jak systemy plików lub bazy danych. W artykule dowiesz się jaki problem rozwiązuje i jak ją uruchomić.Spis treścihide1Dlaczego Kafka Connect?2Alternatywy3Konektory4Środowisko5Tryb Standalone – Zapis do pliku6Tryb DistributedGenerowanie danych – Datagen SourceZapis danych – AWS S3 Sink7PodsumowaniePodziel się:Like this:RelatedDlaczego Kafka Connect? Apache Kafka wykorzystywana jest w architekturze mikro...

Tagi: apache kafka, kafka, kafka connect, minio

Źródło: wiadrodanych.pl

Dziel się z innymi:

Inne 1536 dni, 5 godzin, 53 minuty temu mszymczyk 50 źrodło rozwiń

1

Podbij ↑

Kafka Streams 202 - Dockeryzacja aplikacji, czyli Kafka w kontenerze - Wiadro Danych

Obrazy Dockera są łatwe w obsłudze. Nie musimy instalować konkretnej wersji środowiska, bibliotek i innych zależności. Wszystko powinno być zamknięte w abstrakcji zwanej kontenerem. Możemy je uruchamiać i skalować w Docker Swarm lub Kubernetes. W tym wpisie zajmiemy się dockeryzacją aplikacji Kafka Streams na przykładzie strumienia dla lokalizacji autobusów ZTM przedstawionym w poprzednim wpisie.Spis treścihide1Zmiany w pom.xml2Zmiany w kodzie aplikacji Kafka Streams3Dockerfile4Zbudowanie obrazu Docker5D...

Tagi: apache kafka, docker, dockerfile, kafka, kafka streams

Źródło: wiadrodanych.pl

Dziel się z innymi:

Kafka Streams 202 - Dockeryzacja aplikacji, czyli Kafka w kontenerze - Wiadro Danych

Programowanie rozproszone 1684 dni, 5 godzin, 30 minut temu mszymczyk 34 źrodło rozwiń

1

Podbij ↑

Kafka Streams 201 – Obliczanie prędkości, Processor API, KeyValueStore - Wiadro Danych

Czasami klasyczne Kafka DSL nam nie wystarcza. Processor API pozwala na dowolne zdefiniowanie procesora, a co najlepsze, wykorzystanie State Store. W tym przypadku obliczymy prędkość, kierunek i dystans pojazdów komunikacji miejskiej w Warszwie.Spis treścihide1Rozkład jazdy2Źródło3Plan4Dlaczego Processor API?5No to lecimyOdczyt danych z KafkiTestyTopologiaProcesorTesty6Czy z prawdziwą Kafką też działa?7Repozytorium8PodsumowaniePodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyją...

Tagi: apache kafka, kafka, kafka streams

Źródło: wiadrodanych.pl

Dziel się z innymi:

Kafka Streams 201 – Obliczanie prędkości, Processor API, KeyValueStore - Wiadro Danych

Programowanie rozproszone 1697 dni, 6 godzin, 5 minut temu mszymczyk 29 źrodło rozwiń

1

Podbij ↑

Kafka Streams 103 - Pisz testy, zapomnij o Kafce - Wiadro Danych

Nie wyobrażam sobie programowania bez pisania testów. Gdy śpieszy mi się i o nich „zapominam”, potem i tak poprawiam kod przez jakąś głupotę. Poprawiają jakość i przyśpieszają czas tworzenia oprogramowania. Nie wierzysz?Spis treścihide1Rozkład jazdy2Co zyskamy?3Zależności4Testowalny kod Kafka Streams5Test 1 – LowercaseStreamTopologyTestDriverTest właściwy6Test 2 – SerDeJsonStream7Repozytorium8WnioskiPodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyjątki i Dead Letter QueueKafka...

Tagi: apache kafka, kafka, kafka streams, stream, stream processing, Test, Tests, testy

Źródło: wiadrodanych.pl

Dziel się z innymi:

Kafka Streams 103 - Pisz testy, zapomnij o Kafce - Wiadro Danych

Sztuka programowania 1712 dni, 5 godzin, 26 minut temu mszymczyk 43 źrodło rozwiń

1

Podbij ↑

Kafka Streams 102 - Wyjątki i Dead Letter Queue - Wiadro Danych

Błędy zdarzają się każdemu. Prędzej czy później nasza aplikacja Kafka Streams dostanie wiadomość, która ją zabije (Poison Pill). Niestety uruchomienie jej ponownie nie pomoże, dopóki wiadomość nie zniknie z kolejki. W tym wpisie spróbujemy obsłużyć takie wiadomości i zapisać je do Dead Letter Queue.Spis treścihide1Rozkład jazdy2Poison Pill3Rozwiązania4Problemy5Dead Letter Queue6Filtrowanie wadliwych rekordówPodczas deserializacjiPodczas transformacji7Wykorzystanie Dead Letter QueuePodczas deserializacjiP...

Tagi: apache kafka, kafka, kafka streams

Źródło: wiadrodanych.pl

Dziel się z innymi:

Kafka Streams 102 - Wyjątki i Dead Letter Queue - Wiadro Danych

Programowanie rozproszone 1726 dni, 5 godzin, 36 minut temu mszymczyk 29 źrodło rozwiń

3

Podbij ↑

Kafka Streams 101 - Wiadro Danych

Przetwarzanie strumieniowe jest dzisiaj standardem. Skoro i tak większość osób korzysta z Apache Kafka jako kolejki, czemu nie spróbować Kafka Streams? Jest to rozwiązanie skalowalne i nie wymaga specjalnych środowisk typu YARN czy Apache Mesos. Ten wpis rozpoczyna serię wpisów dotyczących Kafka Streams.Spis treścihide1Cel2Podstawy3Środowisko4Pierwszy strumień – LowerCaseStream5De/Serializacja z łapyPoison Pill6De/Serializacja nie z łapyPoison Pill7Co dalej?8RepozytoriumPodobneCel We wpisach z tego cykl...

Tagi: apache kafka, kafka, kafka streams, przetwarzanie strumieniowe

Źródło: wiadrodanych.pl

Dziel się z innymi:

Programowanie rozproszone 1740 dni, 5 godzin, 8 minut temu mszymczyk 48 źrodło rozwiń

1

Podbij ↑

Obliczanie prędkości w Apache Spark - GPS komunikacji miejskiej - Wiadro Danych

W poprzednim poście utworzyliśmy strumień danych lokalizacji pojazdów komunikacji miejskiej na jednym z topiców w Apache Kafka. Teraz dorwiemy się do tego strumienia z poziomu Apache Spark, zapiszemy trochę danych na HDFS i zobaczymy czy da się coś z nimi zrobić. Dla przypomnienia, wpis jest częścią mini projektu związanego z danymi lokalizacji pojazdów komunikacji miejskiej w Warszawie. Plan na dzień dzisiejszy poniżej, a zastanawiamy się nad jego środkiem => Apache SparkOdczyt z Kafki Najszybszą meto...

Tagi: apache kafka, apache spark, GPS, kafka, przetwarzanie strumieniowe, Spark, spark streaming, ztm

Źródło: wiadrodanych.pl

Dziel się z innymi:

Obliczanie prędkości w Apache Spark - GPS komunikacji miejskiej - Wiadro Danych

Bazy danych i XML 1842 dni, 4 godziny, 52 minuty temu mszymczyk 45 źrodło rozwiń

1

Podbij ↑

Apache Airflow + Kafka - Zbieramy dane GPS komunikacji miejskiej - Wiadro Danych

Dziś przyjrzymy się narzędziu, jakim jest Apache Airflow. Spróbujemy użyć dwóch operatorów i zasilić kafkę danymi z API. Przy okazji rozpoczynam taki „mini projekcik”. Nie wiem jak Tobie, ale najlepiej poznaję różne technologie poprzez praktykę. W tym wpisie wspomniałem o źródle, którym są otwarte dane Warszawy https://api.um.warszawa.pl/. Mój plan to wysyłanie takich danych na Kafkę i przetworzenie ich strumieniowo (np. w Sparku). Takie dane potem wylądują na HDFS, ELK (sprawdzimy czy da się sensownie ...

Tagi: airflow, apache airflow, apache kafka, kafka

Źródło: wiadrodanych.pl

Dziel się z innymi: