dotnetomaniak.pl - Artykuły z tagiem logstash

1

Deduplikacja zdarzeń w Logstash i Redis - Wiadro Danych

Deduplikacja to W systemach rozproszonych występują tylko dwa trudne problemy: Dostarczenie wiadomości dokładnie raz Gwarantowana kolejność wiadomości Dostarczenie wiadomości dokładnie raz. Inny mi słowy: w tym wpisie zajmiemy się deduplikacją zdarzeń 😁. Ostatnio miałem z tym problem w SIEM’ie, więc padło na Logstash’a.Spis treścihide1Dlaczego jest to istotne?2Dlaczego Logstash?3Dlaczego Redis?4ImplementacjaKodFiltr rubyDziałanie5RepozytoriumPodziel się:Like this:RelatedDlaczego jest to...

Tagi: deduplikacja, kolejki, logstash, redis

Źródło: wiadrodanych.pl

Dziel się z innymi:

Deduplikacja zdarzeń w Logstash i Redis - Wiadro Danych

Inne 1059 dni, 19 godzin, 52 minuty temu mszymczyk 36 źrodło rozwiń

1

Podbij ↑

Elastic Stack jako SIEM - YouTube

Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.

Tagi: beats, cyber, cybersec, cybersecurity, elastic, elastic stack, ElasticSearch, kibana, logstash, Security, SIEM, webinar, youtube

Źródło: youtu.be

Dziel się z innymi:

Windows 1169 dni, 18 godzin, 36 minut temu mszymczyk 35 źrodło rozwiń

1

Podbij ↑

Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych

Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...

Tagi: anal, analysis, elastic stack, ElasticSearch, ityka, kibana, logstash

Źródło: wiadrodanych.pl

Dziel się z innymi:

Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych

Bazy danych i XML 1179 dni, 21 godzin, 18 minut temu mszymczyk 60 źrodło rozwiń

3

Podbij ↑

Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation) - Wiadro Danych

Dane z Twitter można pozyskać na wiele sposobów, ale komu chce się pisać kod 😉. Szczególnie taki, który będzie działał 24/7. W Elastic Stack można w prosty sposób zbierać i analizować dane z Twitter’a. Logstash ma gotowe wejście do zbierania strumienia tweet’ów. Kafka Connect omawiana w poprzednim artykule również ma taką opcję, jednak Logstash może wysyłać dane do wielu źródeł (w tym do Apache Kafka) i jest prostszy w obsłudze.Spis treścihide1Środowisko Elastic Stack2Logstash Pipeline3Dane4KibanaTag Cl...

Tagi: elastic stack, Elasticserach, logstash, Twitter

Źródło: wiadrodanych.pl

Dziel się z innymi:

Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation) - Wiadro Danych

Inne 1376 dni, 19 godzin, 55 minut temu mszymczyk 34 źrodło rozwiń

3

Podbij ↑

Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych

Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...

Tagi: docker, ElasticSearch, kafka, kafka streams, kibana, logstash, mapy, stream processing, ztm

Źródło: wiadrodanych.pl

Dziel się z innymi: