W poprzednim poście utworzyliśmy strumień danych lokalizacji pojazdów komunikacji miejskiej na jednym z topiców w Apache Kafka. Teraz dorwiemy się do tego strumienia z poziomu Apache Spark, zapiszemy trochę danych na HDFS i zobaczymy czy da się coś z nimi zrobić. Dla przypomnienia, wpis jest częścią mini projektu związanego z danymi lokalizacji pojazdów komunikacji miejskiej w Warszawie. Plan na dzień dzisiejszy poniżej, a zastanawiamy się nad jego środkiem => Apache SparkOdczyt z Kafki Najszybszą meto...
Strona głównaBazy danych i XML
Bazy danych i XML 1984 dni, 6 godzin, 10 minut temu 45 pokaż kod licznika zwiń
Podobne artykuły:
- Kafka Streams 102 - Wyjątki i Dead Letter Queue - Wiadro Danych
- Półtora miliarda haseł w Spark - część 1 - czyszczenie - Wiadro Danych
- Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych
- Kafka Streams 101 - Wiadro Danych
- Kafka Streams 103 - Pisz testy, zapomnij o Kafce - Wiadro Danych
- Apache Airflow + Kafka - Zbieramy dane GPS komunikacji miejskiej - Wiadro Danych
- Dlaczego Elasticsearch kłamie? Jak działa Elasticsearch? - Wiadro Danych
- Półtora miliarda haseł w Spark – część 3 – partycjonowanie danych - Wiadro Danych
- ksqlDB - magia SQL w czasie rzeczywistym - część 1 - Wiadro Danych
- Apache Spark - 2 Kroki do Lepszej Utylizacji Zasobów - Wiadro Danych
- Kafka Streams 202 - Dockeryzacja aplikacji, czyli Kafka w kontenerze - Wiadro Danych