dotnetomaniak.pl - Artykuły z tagiem logstash

Deduplikacja to W systemach rozproszonych występują tylko dwa trudne problemy: Dostarczenie wiadomości dokładnie raz Gwarantowana kolejność wiadomości Dostarczenie wiadomości dokładnie raz. Inny mi słowy: w tym wpisie zajmiemy się deduplikacją zdarzeń 😁. Ostatnio miałem z tym problem w SIEM’ie, więc padło na Logstash’a.Spis treścihide1Dlaczego jest to istotne?2Dlaczego Logstash?3Dlaczego Redis?4ImplementacjaKodFiltr rubyDziałanie5RepozytoriumPodziel się:Like this:RelatedDlaczego jest to...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Deduplikacja zdarzeń w Logstash i Redis - Wiadro Danych

Inne 26 dni, 5 godzin, 26 minut temu mszymczyk 35 źrodło rozwiń

Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.

Elastic Stack jako SIEM - YouTube

Windows 136 dni, 4 godziny, 10 minut temu mszymczyk 34 źrodło rozwiń

Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...

Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych

Bazy danych i XML 146 dni, 6 godzin, 52 minuty temu mszymczyk 58 źrodło rozwiń

Dane z Twitter można pozyskać na wiele sposobów, ale komu chce się pisać kod 😉. Szczególnie taki, który będzie działał 24/7. W Elastic Stack można w prosty sposób zbierać i analizować dane z Twitter’a. Logstash ma gotowe wejście do zbierania strumienia tweet’ów. Kafka Connect omawiana w poprzednim artykule również ma taką opcję, jednak Logstash może wysyłać dane do wielu źródeł (w tym do Apache Kafka) i jest prostszy w obsłudze.Spis treścihide1Środowisko Elastic Stack2Logstash Pipeline3Dane4KibanaTag Cl...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation) - Wiadro Danych

Inne 343 dni, 5 godzin, 30 minut temu mszymczyk 34 źrodło rozwiń

Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...

Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych

Bazy danych i XML 489 dni, 6 godzin, 23 minuty temu mszymczyk 62 źrodło rozwiń

Niedawno postawiłem świeży stos ELK (Elastic Search, Logstash, Kibana). Wszystko fajnie śmigało przez trochę ponad 2 tygodnie aż przestało.

Tagi: logs, logstash
Źródło: szogun1987.pl
Dziel się z innymi:
Gdy Logstash przestaje działać po dwóch tygodniach. – Strona Szoguna

Narzędzia 616 dni, 4 godziny, 57 minut temu szogun1987 110 źrodło rozwiń

Recently I’ve learned a few new DevOps things which help me and my teammates to work more effectively with ELK. I think they’re worth sharing.

Dziel się z innymi:
[EN]Tips and Tricks for managing ELK configuration · Cezary Piątek Blog

Narzędzia 1048 dni, 4 godziny, 16 minut temu cezarypiatek 32 źrodło rozwiń

Konkurs z Code Europe - ranking

1
(30,04)
2
(15)
4
(15)
5
(5,01)

Najaktywniejsi w tym miesiącu

1
(45,05)
3
(25,02)
5
(15,11)
6
(15,03)
8
(15)
9
(15)
10
(10)