dotnetomaniak.pl - Artykuły z tagiem kibanadotnetomaniak.pl - Artykuły z tagiem kibana2024-03-29T09:21:56Zhttps://dotnetomaniak.pl/Tags/kibanaCopyright (c) dotnetomaniak.pldotnetomaniak.pl Atom Generatordotnetomaniak.pl webmasteradmin@dotnetomaniak.plhttps://dotnetomaniak.pl/Assets/Images/fav.icohttps://dotnetomaniak.pl/Assets/Images/dotnetomaniak_logo-negatyw_small.png7025https://dotnetomaniak.pl/Elastic-Stack-jako-SIEM-YouTubeElastic Stack jako SIEM - YouTube2021-05-13T20:02:33Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_vNZXqnRITk6fYCpLXNoQAQ.png"/></div><div>Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Elastic-Stack-jako-SIEM-YouTube"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fyoutu.be%2f5YhdmYSkyHs" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2021-05-14T08:07:59Zhttps://dotnetomaniak.pl/Elastic-Stack-jako-SIEM-YouTube1350Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.https://youtu.be/5YhdmYSkyHshttp://dotnetomaniak.pl/Data/Thumbnails/small_vNZXqnRITk6fYCpLXNoQAQ.pnghttps://dotnetomaniak.pl/Elasticsearch-Runtime-fields-albo-analiza-polskiej-szlachty-na-podstawie-danych-z-Facebook-w-Kibana-Wiadro-DanychElasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych2021-05-03T20:44:47Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_A-0E8BO9HUyF0l1uLxQkew.png"/></div><div>Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Facebo...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Elasticsearch-Runtime-fields-albo-analiza-polskiej-szlachty-na-podstawie-danych-z-Facebook-w-Kibana-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fbazy-danych%2felasticsearch%2felasticsearch-runtime-fields-analiza-danych-facebook-kibana%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2021-05-04T05:26:15Zhttps://dotnetomaniak.pl/Elasticsearch-Runtime-fields-albo-analiza-polskiej-szlachty-na-podstawie-danych-z-Facebook-w-Kibana-Wiadro-Danych1600Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Facebo...https://wiadrodanych.pl/bazy-danych/elasticsearch/elasticsearch-runtime-fields-analiza-danych-facebook-kibana/http://dotnetomaniak.pl/Data/Thumbnails/small_A-0E8BO9HUyF0l1uLxQkew.pnghttps://dotnetomaniak.pl/Analiza-Danych-Transportu-Miejskiego-Warszawy-w-Kibana-i-Elasticsearch-Wiadro-DanychAnaliza Danych Transportu Miejskiego Warszawy w Kibana i Elasticsearch - Wiadro Danych2020-06-09T04:43:02Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_jiFGZ1ayz0-IJvCBVV1Eew.png"/></div><div>W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Analiza-Danych-Transportu-Miejskiego-Warszawy-w-Kibana-i-Elasticsearch-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fbazy-danych%2felasticsearch%2fanaliza-danych-transportu-miejskiego-warszawy-w-kibana-i-elasticsearch%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2020-06-10T05:55:16Zhttps://dotnetomaniak.pl/Analiza-Danych-Transportu-Miejskiego-Warszawy-w-Kibana-i-Elasticsearch-Wiadro-Danych2640W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...https://wiadrodanych.pl/bazy-danych/elasticsearch/analiza-danych-transportu-miejskiego-warszawy-w-kibana-i-elasticsearch/http://dotnetomaniak.pl/Data/Thumbnails/small_jiFGZ1ayz0-IJvCBVV1Eew.pnghttps://dotnetomaniak.pl/Wizualizacja-autobusow-w-Elasticsearch-i-Kibana-podejscie-strumieniowe-Kafka-Streams-Logstash-Wiadro-DanychWizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych2020-05-25T05:00:34Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_40EzC8N0kUyptWETaDYqxQ.png"/></div><div>Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko
Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Wizualizacja-autobusow-w-Elasticsearch-i-Kibana-podejscie-strumieniowe-Kafka-Streams-Logstash-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fbazy-danych%2felasticsearch%2fwizualizacja-autobusow-w-elasticsearch-i-kibana-podejscie-strumieniowe-kafka-streams-logstash%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2020-05-26T05:55:12Zhttps://dotnetomaniak.pl/Wizualizacja-autobusow-w-Elasticsearch-i-Kibana-podejscie-strumieniowe-Kafka-Streams-Logstash-Wiadro-Danych3630Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko
Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...https://wiadrodanych.pl/bazy-danych/elasticsearch/wizualizacja-autobusow-w-elasticsearch-i-kibana-podejscie-strumieniowe-kafka-streams-logstash/http://dotnetomaniak.pl/Data/Thumbnails/small_40EzC8N0kUyptWETaDYqxQ.pnghttps://dotnetomaniak.pl/Keep-Calm-And-Serilog-Elasticsearch-Kibana-on-NET-Core-132-Spotkanie-WGNET-Wiadro-DanychKeep Calm And Serilog Elasticsearch Kibana on .NET Core - 132. Spotkanie WG.NET - Wiadro Danych2020-01-20T07:35:39Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_GYTEjpCFIkC-d6V2rlr7Mg.png"/></div><div>Prędzej czy później programista dowiaduje się o istotności logowania w swojej aplikacji. Najlepiej podejść do tematu w sposób „leniwy” tj. minimum wysiłku, maksimum efektów 😉. Elasticsearch i Kibana bardzo w tym pomagają. 16.01.2020 przedstawiłem swoje doświadczenia z tym związane na meetup-ie Warszawskiej Grupy .NET .
Slajdy i kod znajdziesz tutaj: https://wiadrodanych.pl/wg-net-serilog-elk/Autor MaciejOpublikowano Kategorie Elasticsearch, Logowanie, Programowanie, Wystąpienia, Zbieranie logówTagi a...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Keep-Calm-And-Serilog-Elasticsearch-Kibana-on-NET-Core-132-Spotkanie-WGNET-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fwystapienia%2fkeep-calm-and-serilog-elasticsearch-kibana-on-net-core-132-spotkanie-wg-net%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2020-01-21T07:48:10Zhttps://dotnetomaniak.pl/Keep-Calm-And-Serilog-Elasticsearch-Kibana-on-NET-Core-132-Spotkanie-WGNET-Wiadro-Danych2750Prędzej czy później programista dowiaduje się o istotności logowania w swojej aplikacji. Najlepiej podejść do tematu w sposób „leniwy” tj. minimum wysiłku, maksimum efektów 😉. Elasticsearch i Kibana bardzo w tym pomagają. 16.01.2020 przedstawiłem swoje doświadczenia z tym związane na meetup-ie Warszawskiej Grupy .NET .
Slajdy i kod znajdziesz tutaj: https://wiadrodanych.pl/wg-net-serilog-elk/Autor MaciejOpublikowano Kategorie Elasticsearch, Logowanie, Programowanie, Wystąpienia, Zbieranie logówTagi a...https://wiadrodanych.pl/wystapienia/keep-calm-and-serilog-elasticsearch-kibana-on-net-core-132-spotkanie-wg-net/http://dotnetomaniak.pl/Data/Thumbnails/small_GYTEjpCFIkC-d6V2rlr7Mg.pnghttps://dotnetomaniak.pl/Wizualizacja-map-w-Elasticsearch-i-Kibana-GPS-komunikacji-miejskiej-Wiadro-DanychWizualizacja map w Elasticsearch i Kibana - GPS komunikacji miejskiej - Wiadro Danych2020-01-12T10:39:22Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_p3fiXyOl_0yzeVf3emPSUg.png"/></div><div>Myślisz o analizie i wizualizacji danych geo? Czemu nie spróbować Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to cały system, który umożliwia przechowywanie, wyszukiwanie, analizę i wizualizację danych z dowolnego źródła w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomniałem o nich w tym artykule.Instalacja Elasticsearch + Kibana
Tak jak opisywałem to w poprzednim wpisie, użyjemy docker + d...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Wizualizacja-map-w-Elasticsearch-i-Kibana-GPS-komunikacji-miejskiej-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fbazy-danych%2felasticsearch%2fwizualizacja-map-w-elasticsearch-i-kibana-gps-komunikacji-miejskiej%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2020-01-13T06:46:36Zhttps://dotnetomaniak.pl/Wizualizacja-map-w-Elasticsearch-i-Kibana-GPS-komunikacji-miejskiej-Wiadro-Danych21040Myślisz o analizie i wizualizacji danych geo? Czemu nie spróbować Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to cały system, który umożliwia przechowywanie, wyszukiwanie, analizę i wizualizację danych z dowolnego źródła w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomniałem o nich w tym artykule.Instalacja Elasticsearch + Kibana
Tak jak opisywałem to w poprzednim wpisie, użyjemy docker + d...https://wiadrodanych.pl/bazy-danych/elasticsearch/wizualizacja-map-w-elasticsearch-i-kibana-gps-komunikacji-miejskiej/http://dotnetomaniak.pl/Data/Thumbnails/small_p3fiXyOl_0yzeVf3emPSUg.pnghttps://dotnetomaniak.pl/Log-data-using-Serilog-Elasticsearch-and-Kibana-mpustelakcomLog data using Serilog, Elasticsearch and Kibana | mpustelak.com2016-12-17T15:42:45Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_1V8iKB3uSkCQDy6Q0MXAyQ.png"/></div><div>Often developers as a log store use text files, system events, output console or database. In some cases they use distributed systems such Splunk or Elasticsearch. In this article I would like to present how to store logs in the form of objects, rather than plain text, which also offers all sorts of graphs and charts called dashboards.</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Log-data-using-Serilog-Elasticsearch-and-Kibana-mpustelakcom"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=http%3a%2f%2fwww.mpustelak.com%2f2016%2f12%2flog-data-using-serilog-elasticsearch-kibana%2f" style="border:0px"/></a></div></div>Mateusz Pustelakhttps://dotnetomaniak.pl/Users/wHKUCNoKPEq2IPQXiQh6nA2016-12-26T07:31:21Zhttps://dotnetomaniak.pl/Log-data-using-Serilog-Elasticsearch-and-Kibana-mpustelakcom32090Often developers as a log store use text files, system events, output console or database. In some cases they use distributed systems such Splunk or Elasticsearch. In this article I would like to present how to store logs in the form of objects, rather than plain text, which also offers all sorts of graphs and charts called dashboards.http://www.mpustelak.com/2016/12/log-data-using-serilog-elasticsearch-kibana/http://dotnetomaniak.pl/Data/Thumbnails/small_1V8iKB3uSkCQDy6Q0MXAyQ.png