dotnetomaniak.pl - Artykuły z tagiem ElasticSearch

Phishing to oszutwo, w którym przestępca podszywa się pod inną osobę lub instytucję w celu wyłudzenia poufnych informacji lub pieniędzy. ZespółCERT Polska chroni nas przed niebezpiecznymi stronami publikując listy. Dostępne są w wielu formatach. Jeśli znajdziesz złośliwą stronę, możesz zgłosić to do CSIRT NASK. W artykule wykorzystamy wymieniony feed w SIEM Elastic Stack i spróbujemy coś wykryć 😁.Spis treścihide1A komu to potrzebne? A dlaczego?2Środowisko3Feed Cert Polska4Threat Intel5Logstash6Template7...

Jak wykryć phishing - feed CERT Polska w SIEM Elastic Stack. - Wiadro Danych

Inne 800 dni, 1 godzinę, 28 minut temu mszymczyk 16 źrodło rozwiń

Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.

Elastic Stack jako SIEM - YouTube

Windows 1077 dni, 40 minut temu mszymczyk 35 źrodło rozwiń

Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...

Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych

Bazy danych i XML 1087 dni, 3 godziny, 21 minut temu mszymczyk 60 źrodło rozwiń

Jest to kontynuacja poprzedniego wpisu. Tym razem przyjrzymy się zakładce Detections w Elastic SIEM. Naszym celem jest automatyzacja wykrywania IOC wykorzystując sprawdzone reguły. Przypomnijmy: Zainstalowaliśmy Elasticsearch + Kibana na jednej z maszyn. Monitorujemy maszynę z Ubuntu (Auditbeat, Filebeat, Packetbeat) i Windows 10 (Winlogbeat), choć w tym wpisie skupimy się na tej drugiej.Spis treścihide1Jak odblokować Detections w Elastic SIEM?Konfiguracja security w ElasticsearchKonfiguracja TLS między ...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Elastic SIEM w pigułce (część 2) - Wiadro Danych

Inne 1331 dni, 2 godziny, 3 minuty temu mszymczyk 25 źrodło rozwiń

Środowiska IT robią się coraz większe, rozproszone i ciężkie do zarządzania. Wszystkie komponenty systemu trzeba zabezpieczyć i monitorować przed cyber zagrożeniami. Potrzebna jest skalowalna platforma, która potrafi magazynować i analizować logi, metryki oraz zdarzenia. Rozwiązania SIEM potrafią kosztować niemałe pieniądze. W tym wpisie przyjrzymy się darmowemu rozwiązaniu dostępnego w Elastic Stack, czyli Elastic SIEM.

Źródło: wiadrodanych.pl
Dziel się z innymi:
Elastic SIEM w pigułce (część 1) - Wiadro Danych

Inne 1353 dni, 2 godziny, 41 minut temu mszymczyk 42 źrodło rozwiń

Elasticsearch zaskakuje nas swoimi możliwościami i szybkością działania, ale czy zwracane wyniki są prawidłowe? W tym wpisie dowiesz się jak Elasticsearch działa pod maską i dlaczego zwracane agregacje są pewnego rodzaju przybliżeniem.Spis treścihide1Elasticsearch pod maskąIndeksy, shardy i replikiZapytania i agregacjeSzacowanie2TestDataFrame w Apache SparkTop 20 LinesTop 10 vehicleNumber3WnioskiPodziel się:Dodaj do ulubionych:PodobneElasticsearch pod maskąIndeksy, shardy i repliki Zacznijmy od tego, ja...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Dlaczego Elasticsearch kłamie? Jak działa Elasticsearch? - Wiadro Danych

Bazy danych i XML 1402 dni, 1 godzinę, 43 minuty temu mszymczyk 76 źrodło rozwiń

W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Analiza Danych Transportu Miejskiego Warszawy w Kibana i Elasticsearch - Wiadro Danych

Inne 1415 dni, 2 godziny, 52 minuty temu mszymczyk 64 źrodło rozwiń

Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...

Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych

Bazy danych i XML 1430 dni, 2 godziny, 52 minuty temu mszymczyk 63 źrodło rozwiń

Elasticsearch najczęściej wykorzystywany jest do agregowania logów i monitorowania elementów systemu. Umożliwia również alertowanie, ale jest to funkcjonalność dostępna od wersji Gold, czyli trzeba za nią zapłacić 😥. Są jednak darmowe rozwiązania. W tym przypadku przyjrzymy się rozwiązaniu Praeco (z łac. obwoływacz, herold) opartym o ElastAlert.Spis treścihide1Praeco2Środowisko3KonfiguracjaPraeco & ElastAlertLogstashReguła w Praeco4Akcja5Reakcja6PodsumowaniePodobnePraeco ElastAlert jest to rozwiązan...

Źródło: wiadrodanych.pl
Dziel się z innymi:
(Darmowe) Alerty w Elasticsearch - Wiadro Danych

Bazy danych i XML 1507 dni, 1 godzinę, 3 minuty temu mszymczyk 42 źrodło rozwiń

Pewnie się zdziwi Cie ta informacja. Elasticsearch służy do… szukania. Tak. To prawda. Okazuje się, że można go wykorzystać również do indeksowania zawartości plików typu doc, docx, pdf itp. W tym wpisie przyjrzymy się jak to zrobić, jak zmienić analizator oraz jak „zgubić” plik jeśli i tak trzymamy go np. na S3.Spis treścihide1Po co?2Środowisko3Przygotowanie Pipeline4Dodanie pliku5Wyszukiwanie6Ale ja nie potrzebuję analizować całego pliku7Wystarczy mi treść. Pliki trzymam na S38To co z tym OCR-em?9A co ...

Nie czytaj plików. Elasticsearch zrobi to za Ciebie. - Wiadro Danych

Bazy danych i XML 1521 dni, 1 godzinę, 33 minuty temu mszymczyk 132 źrodło rozwiń

Elasticsearch można lubić lub nie. Fakty są takie, że robi robotę. Razem z Kibana, Logstash i Beats pozwalają w prosty sposób zbierać logi, metryki i przeprowadzać analizy w czasie rzeczywistym. Gdy potrzebujemy więcej, możemy chwycić za inne narzędzia. W tym wpisie przyjrzymy się jak połączyć Apache Spark i Elasticsearch. Psst! Repo z kodem na dole wpisu!😎Czemu Spark? Ostatnio zwrócił moją uwagę HELK, czyli rozwiązanie do analizy cyber oparte na Elastic Stack. Patrząc na jego architekturę, widzimy wy...

Spark i Elasticsearch? To tak można? elasticsearch-spark - Wiadro Danych

Bazy danych i XML 1548 dni, 1 godzinę, 5 minut temu mszymczyk 52 źrodło rozwiń

Prędzej czy później programista dowiaduje się o istotności logowania w swojej aplikacji. Najlepiej podejść do tematu w sposób „leniwy” tj. minimum wysiłku, maksimum efektów 😉. Elasticsearch i Kibana bardzo w tym pomagają. 16.01.2020 przedstawiłem swoje doświadczenia z tym związane na meetup-ie Warszawskiej Grupy .NET . Slajdy i kod znajdziesz tutaj: https://wiadrodanych.pl/wg-net-serilog-elk/Autor MaciejOpublikowano Kategorie Elasticsearch, Logowanie, Programowanie, Wystąpienia, Zbieranie logówTagi a...

Keep Calm And Serilog Elasticsearch Kibana on .NET Core - 132. Spotkanie WG.NET - Wiadro Danych

Myślisz o analizie i wizualizacji danych geo? Czemu nie spróbować Elasticsearch? Tzw. ELK (Elasticsearch + Logstash + Kibana) to nie tylko baza NoSQL. Jest to cały system, który umożliwia przechowywanie, wyszukiwanie, analizę i wizualizację danych z dowolnego źródła w czasie rzeczywistym. W tym przypadku wykorzystamy otwarte dane lokalizacji komunikacji miejskiej w Warszawie. Wspomniałem o nich w tym artykule.Instalacja Elasticsearch + Kibana Tak jak opisywałem to w poprzednim wpisie, użyjemy docker + d...

Wizualizacja map w Elasticsearch i Kibana - GPS komunikacji miejskiej - Wiadro Danych

Bazy danych i XML 1564 dni, 2 godziny, 1 minutę temu mszymczyk 104 źrodło rozwiń

Bazy danych SQL LIKE – Kiedy Twój serwer płonie cz. 1 Większość projektów, w których brałem udział posiadało funkcjonalność wyszukiwania tekstowego. We wszystkich z nich było to zrealizowane klauzulą LIKE w SQL. Często ten element aplikacji stawał się wąskim gardłem i redukował responsywność aplikacji. Kiedy serwery Więcej…

Źródło: itdepends.pl
Dziel się z innymi:
SQL LIKE – Kiedy Twój serwer płonie cz. 2

Bazy danych i XML 1857 dni, 1 godzinę, 22 minuty temu Daniel Dziubecki 143 źrodło rozwiń

Cześć. Dziś postaram się opisać, jak zmigrowałem dosyć sporą ilość danych (110 mln wierszy) z SQL Servera do Elasticsearcha.

Źródło: itdepends.pl
Dziel się z innymi:
Migracja 110 mln wierszy z SQL Server do Elasticsearch

Bazy danych i XML 1969 dni, 22 godziny, 25 minut temu Daniel Dziubecki 209 źrodło rozwiń

Prosty sposób na połączenie biblioteki Nlog z Elasticsearch w ASP.NET Core

Źródło: fildev.net
Dziel się z innymi:
Configure Nlog with Elasticsearch in ASP.NET Core

Narzędzia 2179 dni, 22 godziny, 49 minut temu fildev 136 źrodło rozwiń

Yes, ElasticSearch can be now installed and used much easier (that’s probably not a breaking news because I’m writing about it after one month since I have got a confirmed info) but summer is not the best time for writing a blog’s post 😉.)! In this post I will focus on the dilemma – when exactly a .msi file can be useful and when it is better to stick to the old fashioned command line. At the end of the post I also added some personal experiences with ElasticSearch logs when working with ES as a ...

ElasticSearch has a Windows Installer! – A Girl Among Geeks

Inne 2455 dni, 15 godzin, 48 minut temu AGirlAmongGeeks 90 źrodło rozwiń

Last time we talked about creating indexes. We also searched for some data in our index in some easy manner. Today I would like to focus on other search-alike operations – bool queries.

ElasticSearch – part 2. Bool Query (searching basis) – A Girl Among Geeks

Jak uruchomić in skonfigurować ElasticSearch w dockerze w lokalnym srodowisku developerskim

Źródło: devblog.dymel.pl
Dziel się z innymi:
ElasticSearch development environment with docker

Daj się poznać 2017 2522 dni, 14 godzin, 8 minut temu Michal Dymel 57 źrodło rozwiń

Last week I wrote about installing ElasticSearch on your local machine. Today I will focus on using this search engine – indexing and searching for data. First of all, I recommend installing Sense plugin for Chrome. It works like a charm and makes you be able to focus on indexing and only indexing. Very helpful...

ElasticSearch – part 1. A warm-up! – A Girl Among Geeks

Daj się poznać 2017 2535 dni, 1 godzinę, 57 minut temu AGirlAmongGeeks 99 źrodło rozwiń

1 2

Najaktywniejsi w tym miesiącu