Deduplikacja to W systemach rozproszonych występują tylko dwa trudne problemy: Dostarczenie wiadomości dokładnie raz Gwarantowana kolejność wiadomości Dostarczenie wiadomości dokładnie raz. Inny mi słowy: w tym wpisie zajmiemy się deduplikacją zdarzeń 😁. Ostatnio miałem z tym problem w SIEM’ie, więc padło na Logstash’a.Spis treścihide1Dlaczego jest to istotne?2Dlaczego Logstash?3Dlaczego Redis?4ImplementacjaKodFiltr rubyDziałanie5RepozytoriumPodziel się:Like this:RelatedDlaczego jest to...
Strona głównaUżytkownik
mszymczyk | użytkownik
Nazwa:
mszymczyk
Punkty:
845,06
Ostatnio widziany:
39 dni, 16 godzin, 3 minuty
temu
Zarejestrowany od:
19 kwietnia, 2018
dotnetomaniak.pl
![Ogarnij monitoring (serio) - Wiadro Danych]()
![Elastic Stack jako SIEM - YouTube]()
![Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych]()
![Apache Spark - 2 Kroki do Lepszej Utylizacji Zasobów - Wiadro Danych]()
![Change Data Capture - Zmień Bazę W Strumień (Debezium) - Wiadro Danych]()
![10 powodów, dla których warto znać Model C4.]()
![Jak Używać Variables i XCom w Apache Airflow? - Wiadro Danych]()
![Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation) - Wiadro Danych]()
![Kafka Connect w pigułce - Wiadro Danych]()
![5 pułapek NoSQL - Wiadro Danych]()
![PySpark ETL z MySQL i MongoDB do Cassandra - Wiadro Danych]()
![Elastic SIEM w pigułce (część 2) - Wiadro Danych]()
![Elastic SIEM w pigułce (część 1) - Wiadro Danych]()
![Czemu Bazy NoSQL? (5 powodów) - YouTube]()
![Lifehacks for working with big databases – A Girl Among Geeks]()
![Jak zacząć z Apache Spark i Cassandra - Wiadro Danych]()
![7 Powodów Dla Których Potrzebujesz Kolejki - YouTube]()
![Jak działa MapReduce?]()
Systemy są coraz większe, rozproszone i skomplikowane. W tym wpisie poruszona jest kwestia monitoringu. Dlaczego jest ważny i co możemy monitorować.
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.
Tagi:
beats, cyber, cybersec, cybersecurity, elastic, elastic stack, ElasticSearch, kibana, logstash, Security, SIEM, webinar, youtube
Źródło:
youtu.be
Dziel się z innymi:
Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 173 dni, 20 godzin, 21 minut temu 58 źrodło rozwiń
Chcemy, aby nasze aplikacje w Apache Spark wykorzystywały wszystkie przydzielone zasoby. Niestety nie jest to takie proste. Rozproszenie obliczeń niesie za sobą koszty zarządzania zadaniami, a same zadania mają wobec siebie zależności. Z jednej strony ogranicza nas CPU (szybkość obliczeń), z drugiej strony dyski i sieć. MapReduce poświęciłem dedykowany materiał wideo. W artykule dowiesz się jak w 2 prostych krokach poprawić utylizację zasobów w Apache Spark.Spis treścihide1Prosta aplikacja2Nie taka prost...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Programowanie rozproszone 229 dni, 17 godzin, 51 minut temu 13 źrodło rozwiń
Myślałeś/aś kiedyś o utworzeniu strumienia z operacji w bazie danych? W tym wpisie dowiesz się czym jest Change Data Capture i jak go wykorzystać planując architekturę naszego systemu. W części praktycznej sprawdzimy działanie Debezium na bazie MySQLSpis treścihide1Co to jest Change Data Capture?Rodzaje Change Data CaptureQuery-BasedLog-Based2Jak mogę to wykorzystać?Zapis do wielu źródełIntegracja baz danychETL i Stream Processing3DebeziumŚrodowiskoKonfiguracja Debezium MySQL w Kafka ConnectDodanie danyc...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 285 dni, 17 godzin, 59 minut temu 60 źrodło rozwiń
Czy znasz Model C4? A może nie wiesz, dlaczego warto zapoznać się z tym Terminem? W artykule przedstawiam 10 powodów. Dlaczego jest to temat gody uwagi. Przeczytaj poniższy tekst, a zainteresujesz się tematem.
Źródło:
mrdev.pl
Dziel się z innymi:
Architektura 290 dni, 17 godzin, 51 minut temu 230 źrodło rozwiń
Mówi się, że Apache Airflow to CRON na sterydach. Zdobywa uznanie wśród narzędzi do orchestracji ETL’i. Harmonogramowanie, zarządzanie i monitorowanie zadań mu nie straszne. Podstawowym sposobem definiowania zadań są acyklicze grafy skierowane (DAG). Zadania w nich muszą wymieniać się informacjami. We wpisie dowiesz się jak używać Variables i XCom w Apache Airflow.
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Dane z Twitter można pozyskać na wiele sposobów, ale komu chce się pisać kod 😉. Szczególnie taki, który będzie działał 24/7. W Elastic Stack można w prosty sposób zbierać i analizować dane z Twitter’a. Logstash ma gotowe wejście do zbierania strumienia tweet’ów. Kafka Connect omawiana w poprzednim artykule również ma taką opcję, jednak Logstash może wysyłać dane do wielu źródeł (w tym do Apache Kafka) i jest prostszy w obsłudze.Spis treścihide1Środowisko Elastic Stack2Logstash Pipeline3Dane4KibanaTag Cl...
Kafka Connect to część platformy Apache Kafka. Służy do łączenia Kafki z zewnętrznymi serwisami takimi jak systemy plików lub bazy danych. W artykule dowiesz się jaki problem rozwiązuje i jak ją uruchomić.Spis treścihide1Dlaczego Kafka Connect?2Alternatywy3Konektory4Środowisko5Tryb Standalone – Zapis do pliku6Tryb DistributedGenerowanie danych – Datagen SourceZapis danych – AWS S3 Sink7PodsumowaniePodziel się:Like this:RelatedDlaczego Kafka Connect? Apache Kafka wykorzystywana jest w architekturze mikro...
Nagrałem film, w którym mówię o zaletach baz NoSQL. Odzew był ciekawy, ale momentami miałem wrażenie, że nie wszyscy widzą dwie strony medalu. Fakty są takie, że na bazach NoSQL można się nieźle przejechać 😉.Spis treścihide1Wersja wideo2Zarządzanie schematem3Mniej wybacza4Brak ACID5Brak SQL6Ograniczona analityka i/lub brak JOINów7PodsumowaniePodziel się:Like this:RelatedWersja wideoZarządzanie schematem Każda baza NoSQL podchodzi do schematu na swój sposób. W niektórych schematu nie ma (MongoDB), w nie...
Bazy danych i XML 397 dni, 19 godzin, 6 minut temu 110 źrodło rozwiń
W Apache Spark/PySpark posługujemy się abstrakcjami, a faktyczne przetwarzanie dokonywane jest dopiero gdy chcemy zmaterializować wynik operacji. Do dyspozycji mamy szereg bibliotek, którymi możemy łączyć się z różnymi bazami i systemów plików. W tym artykule dowiesz się jak połączyć dane z MySQL i MongoDB, a następnie zapisać je w Apache Cassandra.Spis treścihide1Środowisko2Dodanie danych do MongoDB3Dodanie danych do MySQL4Schemat danych w Cassandrze5ETL do Apache Cassandra w PySpark6Ciekawostka7Repozyt...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 411 dni, 18 godzin, 56 minut temu 22 źrodło rozwiń
Jest to kontynuacja poprzedniego wpisu. Tym razem przyjrzymy się zakładce Detections w Elastic SIEM. Naszym celem jest automatyzacja wykrywania IOC wykorzystując sprawdzone reguły. Przypomnijmy: Zainstalowaliśmy Elasticsearch + Kibana na jednej z maszyn. Monitorujemy maszynę z Ubuntu (Auditbeat, Filebeat, Packetbeat) i Windows 10 (Winlogbeat), choć w tym wpisie skupimy się na tej drugiej.Spis treścihide1Jak odblokować Detections w Elastic SIEM?Konfiguracja security w ElasticsearchKonfiguracja TLS między ...
Środowiska IT robią się coraz większe, rozproszone i ciężkie do zarządzania. Wszystkie komponenty systemu trzeba zabezpieczyć i monitorować przed cyber zagrożeniami. Potrzebna jest skalowalna platforma, która potrafi magazynować i analizować logi, metryki oraz zdarzenia. Rozwiązania SIEM potrafią kosztować niemałe pieniądze. W tym wpisie przyjrzymy się darmowemu rozwiązaniu dostępnego w Elastic Stack, czyli Elastic SIEM.
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy relacyjne są sprawdzonym rozwiązaniem, ale nie pasują do wszystkich problemów. Na ratunek przychodzą bazy NoSQL.
Bazy danych i XML 446 dni, 6 godzin, 5 minut temu 84 źrodło rozwiń
Working with big databases, consisting of many, many tables (like hundreds or thousands), can be really painful. Recently, this happened to me and I discovered 2 lifehacks that help me survive this hard days. Filtering tables You know the struggle when you know a part of a database table name but cannot remember the whole name? How could it be named? BasketPositions, CustomerBasketPositions or maybe PositionsOfBasket? How can you know?! Yeah, it’s the everyday struggle with huge projects! This is...
Tagi:
big database, filter tables in sql server, filtering tables, lots of tables, sql server, SQL Server Management Studio
Źródło:
agirlamonggeeks.com
Dziel się z innymi:
Apache Cassandra to specyficzna baza danych. Skaluje się (uwaga) liniowo. Ma to swoją cenę: specyficzne modelowanie tabel, konfigurowalna spójność i ograniczona analityka. Apple wykonuje miliony operacji na sekundę na ponad 160 tys. instancjach Cassandry. Gromadzi przy tym ponad 100 PB danych. Ograniczoną analitykę można „wyleczyć” wykorzystując Apache Spark i connector od DataStax i o tym jest ten wpis.Spis treścihide1Środowisko2Dane3Utworzenie tabel w Apache Cassandra4Zasilenie Cassandry SparkiemWczyta...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 453 dni, 18 godzin, 43 minuty temu 48 źrodło rozwiń
Kolejki można wykorzystywać zarówno na poziomie kodu i struktur danych jak i planując architekturę. Występuje w większości systemów rozproszonych.
Źródło:
youtu.be
Dziel się z innymi:
Architektura 461 dni, 19 godzin, 39 minut temu 80 źrodło rozwiń
Było o HDFS. Teraz wjeżdża temat MapReduce. Trzeba zagonić serwery do roboty 😈
Źródło:
youtu.be
Dziel się z innymi:
Programowanie rozproszone 468 dni, 20 godzin, 23 minuty temu 97 źrodło rozwiń
Programowanie rozproszone 475 dni, 19 godzin, 14 minut temu 102 źrodło rozwiń
Konkurs z Code Europe - ranking
Polecamy
Nadchodzące wydarzenia
Najaktywniejsi w tym miesiącu
.Net
.net core
architektura
ASP .NET
asp.net
Asp.Net Core
ASP.NET MVC
Azure
C#
C# .NET
certyfikacja
certyfikat
cloud
csharp
daj sie poznac 2017
Daj się poznać
Daj Się Poznać 2017
dajsiepoznac
DDD
docker
dotnet
dsp2017
egzamin
Entity Framework
F#
git
JavaScript
jQuery
konferencja
Linq
mvc
MVVM
Narzędzia
performance
podcast
praca
programowanie
SharePoint
Silverlight
SQL
sql server
TDD
testy
Visual Studio
WCF
Windows
windows phone
WPF
Wzorce projektowe
Xamarin