Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.
Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...
Bazy danych i XML 1081 dni, 7 godzin, 5 minut temu 60 źrodło rozwiń
W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...
Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...
Bazy danych i XML 1424 dni, 6 godzin, 36 minut temu 63 źrodło rozwiń
Prędzej czy później programista dowiaduje się o istotności logowania w swojej aplikacji. Najlepiej podejść do tematu w sposób „leniwy” tj. minimum wysiłku, maksimum efektów 😉. Elasticsearch i Kibana bardzo w tym pomagają. 16.01.2020 przedstawiłem swoje doświadczenia z tym związane na meetup-ie Warszawskiej Grupy .NET . Slajdy i kod znajdziesz tutaj: https://wiadrodanych.pl/wg-net-serilog-elk/Autor MaciejOpublikowano Kategorie Elasticsearch, Logowanie, Programowanie, Wystąpienia, Zbieranie logówTagi a...
Sztuka programowania 1550 dni, 4 godziny, 43 minuty temu 75 źrodło rozwiń
Myślisz o analizie i wizualizacji danych geo? Czemu nie spróbować Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to cały system, który umożliwia przechowywanie, wyszukiwanie, analizę i wizualizację danych z dowolnego źródła w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomniałem o nich w tym artykule.Instalacja Elasticsearch + Kibana Tak jak opisywałem to w poprzednim wpisie, użyjemy docker + d...
Bazy danych i XML 1558 dni, 5 godzin, 45 minut temu 104 źrodło rozwiń
Often developers as a log store use text files, system events, output console or database. In some cases they use distributed systems such Splunk or Elasticsearch. In this article I would like to present how to store logs in the form of objects, rather than plain text, which also offers all sorts of graphs and charts called dashboards.
Sztuka programowania 2671 dni, 5 godzin temu 209 źrodło rozwiń
Zewnętrzni dostawcy tożsamości korzystają z technologii OpenID, dzięki której Twoje hasło zawsze jest poufne i nie musisz zapamiętywać kolejnego.
Wprowadź nazwę użytkownika/e-mail oraz hasło
Zaloguj się przy użyciu Facebooka.
Podaj nazwę użytkownika i adres e-mail, aby założyć konto. Dzięki niemu będziesz na bieżąco informowany o zmianach w serwisie.
