Błędy zdarzają się każdemu. Prędzej czy później nasza aplikacja Kafka Streams dostanie wiadomość, która ją zabije (Poison Pill). Niestety uruchomienie jej ponownie nie pomoże, dopóki wiadomość nie zniknie z kolejki. W tym wpisie spróbujemy obsłużyć takie wiadomości i zapisać je do Dead Letter Queue.Spis treścihide1Rozkład jazdy2Poison Pill3Rozwiązania4Problemy5Dead Letter Queue6Filtrowanie wadliwych rekordówPodczas deserializacjiPodczas transformacji7Wykorzystanie Dead Letter QueuePodczas deserializacjiP...
Strona głównaUżytkownik
mszymczyk | użytkownik
Nazwa:
mszymczyk
Punkty:
451,03
Ostatnio widziany:
10 dni, 3 godziny, 38 minut
temu
Zarejestrowany od:
19 kwietnia, 2018
dotnetomaniak.pl
![Kafka Streams 101 - Wiadro Danych]()
![(Darmowe) Alerty w Elasticsearch - Wiadro Danych]()
![Nie czytaj plików. Elasticsearch zrobi to za Ciebie. - Wiadro Danych]()
![Delta Lake w Pigułce (czyli o podróżach w czasie) - Wiadro Danych]()
![Globalna obsługa wyjątków w C# – ADMU Blog]()
![Spark i Elasticsearch? To tak można? elasticsearch-spark - Wiadro Danych]()
![Gdy Logstash przestaje działać po dwóch tygodniach. – Strona Szoguna]()
![Keep Calm And Serilog Elasticsearch Kibana on .NET Core - 132. Spotkanie WG.NET - Wiadro Danych]()
![Wizualizacja map w Elasticsearch i Kibana - GPS komunikacji miejskiej - Wiadro Danych]()
![Nie masz środowiska? Docker na pomoc! - Wiadro Danych]()
![Kto najlepiej ćwierka? Podstawy Graphframes + Tweepy - Wiadro Danych]()
![MongoDB vs RavenDB – IndexOutOfRange]()
![Obliczanie prędkości w Apache Spark - GPS komunikacji miejskiej - Wiadro Danych]()
![Apache Airflow + Kafka - Zbieramy dane GPS komunikacji miejskiej - Wiadro Danych]()
![Problem małych plików w HDFS - Wiadro Danych]()
![Skąd brać dane? 11 źródeł (w tym polskie) - Wiadro Danych]()
![Półtora miliarda haseł w Spark – część 3 – partycjonowanie danych - Wiadro Danych]()
![Półtora miliarda haseł w Spark - część 1 - czyszczenie - Wiadro Danych]()
Programowanie rozproszone 9 dni, 5 godzin, 14 minut temu 23 źrodło rozwiń
Przetwarzanie strumieniowe jest dzisiaj standardem. Skoro i tak większość osób korzysta z Apache Kafka jako kolejki, czemu nie spróbować Kafka Streams? Jest to rozwiązanie skalowalne i nie wymaga specjalnych środowisk typu YARN czy Apache Mesos. Ten wpis rozpoczyna serię wpisów dotyczących Kafka Streams.Spis treścihide1Cel2Podstawy3Środowisko4Pierwszy strumień – LowerCaseStream5De/Serializacja z łapyPoison Pill6De/Serializacja nie z łapyPoison Pill7Co dalej?8RepozytoriumPodobneCel We wpisach z tego cykl...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Programowanie rozproszone 23 dni, 4 godziny, 47 minut temu 47 źrodło rozwiń
Elasticsearch najczęściej wykorzystywany jest do agregowania logów i monitorowania elementów systemu. Umożliwia również alertowanie, ale jest to funkcjonalność dostępna od wersji Gold, czyli trzeba za nią zapłacić 😥. Są jednak darmowe rozwiązania. W tym przypadku przyjrzymy się rozwiązaniu Praeco (z łac. obwoływacz, herold) opartym o ElastAlert.Spis treścihide1Praeco2Środowisko3KonfiguracjaPraeco & ElastAlertLogstashReguła w Praeco4Akcja5Reakcja6PodsumowaniePodobnePraeco ElastAlert jest to rozwiązan...
Bazy danych i XML 30 dni, 4 godziny, 16 minut temu 39 źrodło rozwiń
Pewnie się zdziwi Cie ta informacja. Elasticsearch służy do… szukania. Tak. To prawda. Okazuje się, że można go wykorzystać również do indeksowania zawartości plików typu doc, docx, pdf itp. W tym wpisie przyjrzymy się jak to zrobić, jak zmienić analizator oraz jak „zgubić” plik jeśli i tak trzymamy go np. na S3.Spis treścihide1Po co?2Środowisko3Przygotowanie Pipeline4Dodanie pliku5Wyszukiwanie6Ale ja nie potrzebuję analizować całego pliku7Wystarczy mi treść. Pliki trzymam na S38To co z tym OCR-em?9A co ...
Tagi:
ElasticSearch, Full Text Search, indeksowanie plików, pliki, search engine, szukanie, wyszukiwanie
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 44 dni, 4 godziny, 45 minut temu 126 źrodło rozwiń
Delta Lake zdobywa ostatnio coraz większa popularność. Słychać o nim na konferencjach na całym świecie. W tym artykule przyjrzymy się jakie problemy rozwiązuje.Spis treścihide1Co to Delta Lake?2Jupyter + Delta Lake3Przygotowanie danych4Bez Delta Lake5Z Delta LakeHistoria i podróże w czasieZarządzanie schematemVacuumDelta Lake APIDeleteUpdateMergeStreaming Sink6Co jest pod maską?7RepoCo to Delta Lake? Delta Lake to nakładka na Apache Spark. Pełni rolę warstwy persystencji i gwarantuje ACID na HDFS, S3, A...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 58 dni, 4 godziny, 22 minuty temu 48 źrodło rozwiń
Może się zdarzyć tak, że nasza aplikacja rzuci wyjątek, którego się nie spodziewaliśmy. Nie wygląda to dobrze, jeśli taki nieobsłużony wyjątek trafi do użytkownika. Dodatkowo, jeśli nie otrzymamy informacji o tym, że taki wyjątek wystąpił, trudno będzie nam go poprawić i nie dopuścić do jego powtórzenia. W związku z tym warto w naszej aplikacji dodać globalną obsługę wyjątków i ich logowanie. O tym, jak skonfigurować logowanie, pisałem tutaj i tutaj. W tym poście pokażę kilka sposobów na złapanie takich...
Sztuka programowania 71 dni, 4 godziny, 17 minut temu 265 źrodło rozwiń
Elasticsearch można lubić lub nie. Fakty są takie, że robi robotę. Razem z Kibana, Logstash i Beats pozwalają w prosty sposób zbierać logi, metryki i przeprowadzać analizy w czasie rzeczywistym. Gdy potrzebujemy więcej, możemy chwycić za inne narzędzia. W tym wpisie przyjrzymy się jak połączyć Apache Spark i Elasticsearch. Psst! Repo z kodem na dole wpisu!😎Czemu Spark? Ostatnio zwrócił moją uwagę HELK, czyli rozwiązanie do analizy cyber oparte na Elastic Stack. Patrząc na jego architekturę, widzimy wy...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 71 dni, 4 godziny, 17 minut temu 50 źrodło rozwiń
Niedawno postawiłem świeży stos ELK (Elastic Search, Logstash, Kibana). Wszystko fajnie śmigało przez trochę ponad 2 tygodnie aż przestało.
Prędzej czy później programista dowiaduje się o istotności logowania w swojej aplikacji. Najlepiej podejść do tematu w sposób „leniwy” tj. minimum wysiłku, maksimum efektów 😉. Elasticsearch i Kibana bardzo w tym pomagają. 16.01.2020 przedstawiłem swoje doświadczenia z tym związane na meetup-ie Warszawskiej Grupy .NET . Slajdy i kod znajdziesz tutaj: https://wiadrodanych.pl/wg-net-serilog-elk/Autor MaciejOpublikowano Kategorie Elasticsearch, Logowanie, Programowanie, Wystąpienia, Zbieranie logówTagi a...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Sztuka programowania 79 dni, 4 godziny, 12 minut temu 73 źrodło rozwiń
Myślisz o analizie i wizualizacji danych geo? Czemu nie spróbować Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to cały system, który umożliwia przechowywanie, wyszukiwanie, analizę i wizualizację danych z dowolnego źródła w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomniałem o nich w tym artykule.Instalacja Elasticsearch + Kibana Tak jak opisywałem to w poprzednim wpisie, użyjemy docker + d...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 87 dni, 5 godzin, 14 minut temu 100 źrodło rozwiń
Dlaczego Docker? Wiele osób pyta mnie, czy do nauki potrzebne jest specjalne środowisko lub klaster. Klaster na pewno jest fajną opcją. Mimo wszystko sporo możliwości daje pojedyncza maszyna z Dockerem na pokładzie. Dlaczego Docker? Od momentu gdy poznałem podstawy Docker, nie potrafię sobie przypomnieć kiedy instalowałem jakąś bazę danych na swoim komputerze. Bardzo ułatwia pracę, deweloperkę i poznawanie nowych technologii bez zaśmiecania sobie systemu. Nie będę wchodzić w szczegóły opisując co to jes...
Architektura 104 dni, 4 godziny, 15 minut temu 175 źrodło rozwiń
Słyszałeś/aś o Apache Graphframes? Teoria grafów to nie tylko ich własności, ale i algorytmy. W tym wpisie tworzę model i wykonuję algorytm PageRank.
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 119 dni, 4 godziny, 17 minut temu 58 źrodło rozwiń
Reading time ~25 minutes I need a document database. Why? There are areas in my problem generating (How to calculate 17 billion similarities) pet project cookit that are just asking for a document modelling approach. Most people will say that this is a straightforward problem to solve:Slap on MongoDB, and you are ready to go. It is NOT a good idea.Get email notifications about new posts: This article started as a way to structurize the comparison process but grew a bit more ( just like my previous ...
Bazy danych i XML 126 dni, 4 godziny, 13 minut temu 101 źrodło rozwiń
W poprzednim poście utworzyliśmy strumień danych lokalizacji pojazdów komunikacji miejskiej na jednym z topiców w Apache Kafka. Teraz dorwiemy się do tego strumienia z poziomu Apache Spark, zapiszemy trochę danych na HDFS i zobaczymy czy da się coś z nimi zrobić. Dla przypomnienia, wpis jest częścią mini projektu związanego z danymi lokalizacji pojazdów komunikacji miejskiej w Warszawie. Plan na dzień dzisiejszy poniżej, a zastanawiamy się nad jego środkiem => Apache SparkOdczyt z Kafki Najszybszą meto...
Tagi:
apache kafka, apache spark, GPS, kafka, przetwarzanie strumieniowe, Spark, spark streaming, ztm
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 125 dni, 4 godziny, 30 minut temu 44 źrodło rozwiń
Dziś przyjrzymy się narzędziu, jakim jest Apache Airflow. Spróbujemy użyć dwóch operatorów i zasilić kafkę danymi z API. Przy okazji rozpoczynam taki „mini projekcik”. Nie wiem jak Tobie, ale najlepiej poznaję różne technologie poprzez praktykę. W tym wpisie wspomniałem o źródle, którym są otwarte dane Warszawy https://api.um.warszawa.pl/. Mój plan to wysyłanie takich danych na Kafkę i przetworzenie ich strumieniowo (np. w Sparku). Takie dane potem wylądują na HDFS, ELK (sprawdzimy czy da się sensownie ...
Bazy danych i XML 133 dni, 4 godziny, 12 minut temu 88 źrodło rozwiń
Korzystanie z HDFS bardzo przypomina korzystanie ze zwykłego systemu plików z użyciem terminala. Grupy, uprawnienia, pliki, foldery itp. Bawiąc się kolejnymi technologiami Big Data można zapomnieć się i potraktować HDFS jak zwykły dysk.Dane W ostanim wpisie wspomniałem kilkanaście źródeł danych. Na jednym z nich znalazłem Enron Email Dataset. Jest to zbiór maili przedsiębiorstwa energetycznego Enron. Co takiego charakteryzuje ten zbiór? Zawiera dużo małych plików.Jak dużo? Ściągnąłem, rozpakowałem i wy...
Bazy danych i XML 140 dni, 4 godziny, 19 minut temu 36 źrodło rozwiń
Bawiąc się różnymi bibliotekami, frameworkami itp. potrzebujemy danych. Możemy takie wygenerować, ale efekt nie będzie ten sam. Dane pochodzące z rzeczywistego źródła lepiej oddają różnorodność (jedna z V z której składa się Big Data). Są też po prostu ciekawsze, trudniejsze i mogą być związane naszymi zainteresowaniami (np. triathlon)
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 147 dni, 4 godziny, 8 minut temu 169 źrodło rozwiń
Zapytanie szybsze 40-krotnie? Czemu nie. A to wszystko przez dwie operacje w Apache Spark
Bazy danych i XML 154 dni, 4 godziny, 17 minut temu 41 źrodło rozwiń
Bazy danych i XML 157 dni, 4 godziny, 18 minut temu 38 źrodło rozwiń
W skrócie: Apache Spark + HDInsight na Azure. Zajmiemy się prostym, ale pokaźnym zbiorem maili i haseł z różnych wycieków danych. W tym przykładzie będę używał DataFrames w Spark 2.0.
Źródło:
wiadrodanych.pl
Dziel się z innymi:
1 2
Polecamy
Nadchodzące wydarzenia
Najaktywniejsi
.Net
.net core
architektura
ASP .NET
asp.net
Asp.Net Core
ASP.NET MVC
Azure
C#
C# .NET
certyfikacja
certyfikat
cloud
daj sie poznac 2017
Daj się poznać
Daj Się Poznać 2017
dajsiepoznac
DDD
docker
dotnet
DSP
dsp2017
egzamin
Entity Framework
F#
git
JavaScript
jQuery
konferencja
Linq
mvc
MVVM
Narzędzia
praca
programowanie
SharePoint
Silverlight
SQL
sql server
TDD
testy
Visual Studio
Visual Studio 2010
WCF
Windows
Windows 8
windows phone
WPF
Wzorce projektowe
Xamarin