Środowiska IT robią się coraz większe, rozproszone i ciężkie do zarządzania. Wszystkie komponenty systemu trzeba zabezpieczyć i monitorować przed cyber zagrożeniami. Potrzebna jest skalowalna platforma, która potrafi magazynować i analizować logi, metryki oraz zdarzenia. Rozwiązania SIEM potrafią kosztować niemałe pieniądze. W tym wpisie przyjrzymy się darmowemu rozwiązaniu dostępnego w Elastic Stack, czyli Elastic SIEM.
Elasticsearch zaskakuje nas swoimi możliwościami i szybkością działania, ale czy zwracane wyniki są prawidłowe? W tym wpisie dowiesz się jak Elasticsearch działa pod maską i dlaczego zwracane agregacje są pewnego rodzaju przybliżeniem.Spis treścihide1Elasticsearch pod maskąIndeksy, shardy i replikiZapytania i agregacjeSzacowanie2TestDataFrame w Apache SparkTop 20 LinesTop 10 vehicleNumber3WnioskiPodziel się:Dodaj do ulubionych:PodobneElasticsearch pod maskąIndeksy, shardy i repliki Zacznijmy od tego, ja...
Bazy danych i XML 52 dni, 22 godziny, 12 minut temu 71 źrodło rozwiń
W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...
Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...
Bazy danych i XML 80 dni, 23 godziny, 21 minut temu 58 źrodło rozwiń
Elasticsearch najczęściej wykorzystywany jest do agregowania logów i monitorowania elementów systemu. Umożliwia również alertowanie, ale jest to funkcjonalność dostępna od wersji Gold, czyli trzeba za nią zapłacić 😥. Są jednak darmowe rozwiązania. W tym przypadku przyjrzymy się rozwiązaniu Praeco (z łac. obwoływacz, herold) opartym o ElastAlert.Spis treścihide1Praeco2Środowisko3KonfiguracjaPraeco & ElastAlertLogstashReguła w Praeco4Akcja5Reakcja6PodsumowaniePodobnePraeco ElastAlert jest to rozwiązan...
Bazy danych i XML 157 dni, 21 godzin, 31 minut temu 40 źrodło rozwiń
Pewnie się zdziwi Cie ta informacja. Elasticsearch służy do… szukania. Tak. To prawda. Okazuje się, że można go wykorzystać również do indeksowania zawartości plików typu doc, docx, pdf itp. W tym wpisie przyjrzymy się jak to zrobić, jak zmienić analizator oraz jak „zgubić” plik jeśli i tak trzymamy go np. na S3.Spis treścihide1Po co?2Środowisko3Przygotowanie Pipeline4Dodanie pliku5Wyszukiwanie6Ale ja nie potrzebuję analizować całego pliku7Wystarczy mi treść. Pliki trzymam na S38To co z tym OCR-em?9A co ...
Bazy danych i XML 171 dni, 22 godziny, 1 minutę temu 129 źrodło rozwiń
Elasticsearch można lubić lub nie. Fakty są takie, że robi robotę. Razem z Kibana, Logstash i Beats pozwalają w prosty sposób zbierać logi, metryki i przeprowadzać analizy w czasie rzeczywistym. Gdy potrzebujemy więcej, możemy chwycić za inne narzędzia. W tym wpisie przyjrzymy się jak połączyć Apache Spark i Elasticsearch. Psst! Repo z kodem na dole wpisu!😎Czemu Spark? Ostatnio zwrócił moją uwagę HELK, czyli rozwiązanie do analizy cyber oparte na Elastic Stack. Patrząc na jego architekturę, widzimy wy...
Bazy danych i XML 198 dni, 21 godzin, 33 minuty temu 51 źrodło rozwiń
Prędzej czy później programista dowiaduje się o istotności logowania w swojej aplikacji. Najlepiej podejść do tematu w sposób „leniwy” tj. minimum wysiłku, maksimum efektów 😉. Elasticsearch i Kibana bardzo w tym pomagają. 16.01.2020 przedstawiłem swoje doświadczenia z tym związane na meetup-ie Warszawskiej Grupy .NET . Slajdy i kod znajdziesz tutaj: https://wiadrodanych.pl/wg-net-serilog-elk/Autor MaciejOpublikowano Kategorie Elasticsearch, Logowanie, Programowanie, Wystąpienia, Zbieranie logówTagi a...
Sztuka programowania 206 dni, 21 godzin, 28 minut temu 75 źrodło rozwiń
Myślisz o analizie i wizualizacji danych geo? Czemu nie spróbować Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to cały system, który umożliwia przechowywanie, wyszukiwanie, analizę i wizualizację danych z dowolnego źródła w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomniałem o nich w tym artykule.Instalacja Elasticsearch + Kibana Tak jak opisywałem to w poprzednim wpisie, użyjemy docker + d...
Bazy danych i XML 214 dni, 22 godziny, 29 minut temu 101 źrodło rozwiń
Bazy danych SQL LIKE – Kiedy Twój serwer płonie cz. 1 Większość projektów, w których brałem udział posiadało funkcjonalność wyszukiwania tekstowego. We wszystkich z nich było to zrealizowane klauzulą LIKE w SQL. Często ten element aplikacji stawał się wąskim gardłem i redukował responsywność aplikacji. Kiedy serwery Więcej…
Bazy danych i XML 507 dni, 21 godzin, 50 minut temu 143 źrodło rozwiń
Cześć. Dziś postaram się opisać, jak zmigrowałem dosyć sporą ilość danych (110 mln wierszy) z SQL Servera do Elasticsearcha.
Bazy danych i XML 620 dni, 18 godzin, 53 minuty temu 208 źrodło rozwiń
Prosty sposób na połączenie biblioteki Nlog z Elasticsearch w ASP.NET Core
Yes, ElasticSearch can be now installed and used much easier (that’s probably not a breaking news because I’m writing about it after one month since I have got a confirmed info) but summer is not the best time for writing a blog’s post 😉.)! In this post I will focus on the dilemma – when exactly a .msi file can be useful and when it is better to stick to the old fashioned command line. At the end of the post I also added some personal experiences with ElasticSearch logs when working with ES as a ...
Last time we talked about creating indexes. We also searched for some data in our index in some easy manner. Today I would like to focus on other search-alike operations – bool queries.
Daj się poznać 2017 1163 dni, 20 godzin, 50 minut temu 91 źrodło rozwiń
Jak uruchomić in skonfigurować ElasticSearch w dockerze w lokalnym srodowisku developerskim
Daj się poznać 2017 1173 dni, 10 godzin, 36 minut temu 56 źrodło rozwiń
Last week I wrote about installing ElasticSearch on your local machine. Today I will focus on using this search engine – indexing and searching for data. First of all, I recommend installing Sense plugin for Chrome. It works like a charm and makes you be able to focus on indexing and only indexing. Very helpful...
Daj się poznać 2017 1185 dni, 22 godziny, 25 minut temu 98 źrodło rozwiń
Often developers as a log store use text files, system events, output console or database. In some cases they use distributed systems such Splunk or Elasticsearch. In this article I would like to present how to store logs in the form of objects, rather than plain text, which also offers all sorts of graphs and charts called dashboards.
Sztuka programowania 1327 dni, 21 godzin, 44 minuty temu 195 źrodło rozwiń
W części drugiej zajmiemy się tworzeniem indeksu. Indeks, a dokładniej jego typ zawiera kolekcję dokumentów (JSON), po których możemy wyszukiwać dane wedle zadanych przez nas kryteriów. Domyślnie, gdy chcemy wykonać jakąś operację (utworzyć/skasować indeks, pobrać dane itd.) robimy to za pomocą wywołania jednej z metod GET/POST/PUT/DELETE poprzez protokół HTTP – ja w tym celu będę wspomagał się aplikacją Insomnia, którą to gorąco polecam. Automatyczne tworzenie...
Bazy danych i XML 1397 dni, 20 godzin, 24 minuty temu 363 źrodło rozwiń
Zewnętrzni dostawcy tożsamości korzystają z technologii OpenID, dzięki której Twoje hasło zawsze jest poufne i nie musisz zapamiętywać kolejnego.
Wprowadź nazwę użytkownika/e-mail oraz hasło
Zaloguj się przy użyciu Facebooka.
Podaj nazwę użytkownika i adres e-mail, aby założyć konto. Dzięki niemu będziesz na bieżąco informowany o zmianach w serwisie.
