dotnetomaniak.pl - Artykuły z tagiem logstash

Deduplikacja to W systemach rozproszonych występują tylko dwa trudne problemy: Dostarczenie wiadomości dokładnie raz Gwarantowana kolejność wiadomości Dostarczenie wiadomości dokładnie raz. Inny mi słowy: w tym wpisie zajmiemy się deduplikacją zdarzeń 😁. Ostatnio miałem z tym problem w SIEM’ie, więc padło na Logstash’a.Spis treścihide1Dlaczego jest to istotne?2Dlaczego Logstash?3Dlaczego Redis?4ImplementacjaKodFiltr rubyDziałanie5RepozytoriumPodziel się:Like this:RelatedDlaczego jest to...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Deduplikacja zdarzeń w Logstash i Redis - Wiadro Danych

Inne 902 dni, 17 godzin, 42 minuty temu mszymczyk 36 źrodło rozwiń

Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.

Elastic Stack jako SIEM - YouTube

Windows 1012 dni, 16 godzin, 26 minut temu mszymczyk 35 źrodło rozwiń

Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...

Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych

Bazy danych i XML 1022 dni, 19 godzin, 8 minut temu mszymczyk 60 źrodło rozwiń

Dane z Twitter można pozyskać na wiele sposobów, ale komu chce się pisać kod 😉. Szczególnie taki, który będzie działał 24/7. W Elastic Stack można w prosty sposób zbierać i analizować dane z Twitter’a. Logstash ma gotowe wejście do zbierania strumienia tweet’ów. Kafka Connect omawiana w poprzednim artykule również ma taką opcję, jednak Logstash może wysyłać dane do wielu źródeł (w tym do Apache Kafka) i jest prostszy w obsłudze.Spis treścihide1Środowisko Elastic Stack2Logstash Pipeline3Dane4KibanaTag Cl...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation) - Wiadro Danych

Inne 1219 dni, 17 godzin, 46 minut temu mszymczyk 34 źrodło rozwiń

Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...

Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych

Bazy danych i XML 1365 dni, 18 godzin, 39 minut temu mszymczyk 63 źrodło rozwiń

Niedawno postawiłem świeży stos ELK (Elastic Search, Logstash, Kibana). Wszystko fajnie śmigało przez trochę ponad 2 tygodnie aż przestało.

Tagi: logs, logstash
Źródło: szogun1987.pl
Dziel się z innymi:
Gdy Logstash przestaje działać po dwóch tygodniach. – Strona Szoguna

Narzędzia 1492 dni, 17 godzin, 13 minut temu szogun1987 110 źrodło rozwiń

Recently I’ve learned a few new DevOps things which help me and my teammates to work more effectively with ELK. I think they’re worth sharing.

Dziel się z innymi:
[EN]Tips and Tricks for managing ELK configuration · Cezary Piątek Blog

Narzędzia 1924 dni, 16 godzin, 32 minuty temu cezarypiatek 32 źrodło rozwiń

Najaktywniejsi w tym miesiącu