Deduplikacja to W systemach rozproszonych występują tylko dwa trudne problemy: Dostarczenie wiadomości dokładnie raz Gwarantowana kolejność wiadomości Dostarczenie wiadomości dokładnie raz. Inny mi słowy: w tym wpisie zajmiemy się deduplikacją zdarzeń 😁. Ostatnio miałem z tym problem w SIEM’ie, więc padło na Logstash’a.Spis treścihide1Dlaczego jest to istotne?2Dlaczego Logstash?3Dlaczego Redis?4ImplementacjaKodFiltr rubyDziałanie5RepozytoriumPodziel się:Like this:RelatedDlaczego jest to...
dotnetomaniak.pl - Artykuły z tagiem logstash
![Elastic Stack jako SIEM - YouTube]()
![Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych]()
![Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation) - Wiadro Danych]()
![Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych]()
![Gdy Logstash przestaje działać po dwóch tygodniach. – Strona Szoguna]()
![[EN]Tips and Tricks for managing ELK configuration · Cezary Piątek Blog]()
logstash
Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.
Tagi:
beats, cyber, cybersec, cybersecurity, elastic, elastic stack, ElasticSearch, kibana, logstash, Security, SIEM, webinar, youtube
Źródło:
youtu.be
Dziel się z innymi:
Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 1327 dni, 10 godzin, 31 minut temu 60 źrodło rozwiń
Dane z Twitter można pozyskać na wiele sposobów, ale komu chce się pisać kod 😉. Szczególnie taki, który będzie działał 24/7. W Elastic Stack można w prosty sposób zbierać i analizować dane z Twitter’a. Logstash ma gotowe wejście do zbierania strumienia tweet’ów. Kafka Connect omawiana w poprzednim artykule również ma taką opcję, jednak Logstash może wysyłać dane do wielu źródeł (w tym do Apache Kafka) i jest prostszy w obsłudze.Spis treścihide1Środowisko Elastic Stack2Logstash Pipeline3Dane4KibanaTag Cl...
Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 1670 dni, 10 godzin, 3 minuty temu 66 źrodło rozwiń
Niedawno postawiłem świeży stos ELK (Elastic Search, Logstash, Kibana). Wszystko fajnie śmigało przez trochę ponad 2 tygodnie aż przestało.
Recently I’ve learned a few new DevOps things which help me and my teammates to work more effectively with ELK. I think they’re worth sharing.
Polecamy
Najaktywniejsi w tym miesiącu
Nadchodzące wydarzenia
.Net
.net core
architektura
ASP .NET
asp.net
Asp.Net Core
ASP.NET MVC
Azure
C#
C# .NET
certyfikacja
certyfikat
cloud
csharp
daj sie poznac 2017
Daj się poznać
Daj Się Poznać 2017
dajsiepoznac
DDD
docker
dotnet
dsp2017
egzamin
Entity Framework
F#
git
JavaScript
jQuery
konferencja
Linq
mvc
MVVM
Narzędzia
performance
podcast
praca
programowanie
SharePoint
Silverlight
SQL
sql server
TDD
testy
Visual Studio
WCF
Windows
windows phone
WPF
Wzorce projektowe
Xamarin