Strona głównaUżytkownik

mszymczyk | użytkownik

mszymczyk
mszymczyk
830,06
35 dni, 12 godzin, 56 minut temu
19 kwietnia, 2018
dotnetomaniak.pl

Systemy są coraz większe, rozproszone i skomplikowane. W tym wpisie poruszona jest kwestia monitoringu. Dlaczego jest ważny i co możemy monitorować.

Źródło: wiadrodanych.pl
Dziel się z innymi:
Ogarnij monitoring (serio) - Wiadro Danych

Inne 35 dni, 1 godzinę, 16 minut temu mszymczyk 96 źrodło rozwiń

Elastic Stack, czyli produkty Elasticsearch, Logstash, Kibana, Beats to platforma wykorzystywana na całym świecie. Wykorzystuje się ją na wiele sposobów: agregacja logów i metryk, analityka, silnik wyszukiwarki i jako SIEM w dziedzinie cyberbezpieczeństwa.

Elastic Stack jako SIEM - YouTube

Windows 81 dni, 31 minut temu mszymczyk 34 źrodło rozwiń

Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...

Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych

Bazy danych i XML 91 dni, 3 godziny, 13 minut temu mszymczyk 58 źrodło rozwiń

Chcemy, aby nasze aplikacje w Apache Spark wykorzystywały wszystkie przydzielone zasoby. Niestety nie jest to takie proste. Rozproszenie obliczeń niesie za sobą koszty zarządzania zadaniami, a same zadania mają wobec siebie zależności. Z jednej strony ogranicza nas CPU (szybkość obliczeń), z drugiej strony dyski i sieć. MapReduce poświęciłem dedykowany materiał wideo. W artykule dowiesz się jak w 2 prostych krokach poprawić utylizację zasobów w Apache Spark.Spis treścihide1Prosta aplikacja2Nie taka prost...

Apache Spark - 2 Kroki do Lepszej Utylizacji Zasobów - Wiadro Danych

Myślałeś/aś kiedyś o utworzeniu strumienia z operacji w bazie danych? W tym wpisie dowiesz się czym jest Change Data Capture i jak go wykorzystać planując architekturę naszego systemu. W części praktycznej sprawdzimy działanie Debezium na bazie MySQLSpis treścihide1Co to jest Change Data Capture?Rodzaje Change Data CaptureQuery-BasedLog-Based2Jak mogę to wykorzystać?Zapis do wielu źródełIntegracja baz danychETL i Stream Processing3DebeziumŚrodowiskoKonfiguracja Debezium MySQL w Kafka ConnectDodanie danyc...

Change Data Capture - Zmień Bazę W Strumień (Debezium) - Wiadro Danych

Czy znasz Model C4? A może nie wiesz, dlaczego warto zapoznać się z tym Terminem? W artykule przedstawiam 10 powodów. Dlaczego jest to temat gody uwagi. Przeczytaj poniższy tekst, a zainteresujesz się tematem.

Źródło: mrdev.pl
Dziel się z innymi:
10 powodów, dla których warto znać Model C4.

Architektura 208 dni, 42 minuty temu godev 228 źrodło rozwiń

Mówi się, że Apache Airflow to CRON na sterydach. Zdobywa uznanie wśród narzędzi do orchestracji ETL’i. Harmonogramowanie, zarządzanie i monitorowanie zadań mu nie straszne. Podstawowym sposobem definiowania zadań są acyklicze grafy skierowane (DAG). Zadania w nich muszą wymieniać się informacjami. We wpisie dowiesz się jak używać Variables i XCom w Apache Airflow.

Źródło: wiadrodanych.pl
Dziel się z innymi:
Jak Używać Variables i XCom w Apache Airflow? - Wiadro Danych

Inne 236 dni, 40 minut temu mszymczyk 15 źrodło rozwiń

Dane z Twitter można pozyskać na wiele sposobów, ale komu chce się pisać kod 😉. Szczególnie taki, który będzie działał 24/7. W Elastic Stack można w prosty sposób zbierać i analizować dane z Twitter’a. Logstash ma gotowe wejście do zbierania strumienia tweet’ów. Kafka Connect omawiana w poprzednim artykule również ma taką opcję, jednak Logstash może wysyłać dane do wielu źródeł (w tym do Apache Kafka) i jest prostszy w obsłudze.Spis treścihide1Środowisko Elastic Stack2Logstash Pipeline3Dane4KibanaTag Cl...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Analiza danych z Twitter dla leni w Elastic Stack (Xbox VS PlayStation) - Wiadro Danych

Inne 288 dni, 1 godzinę, 51 minut temu mszymczyk 33 źrodło rozwiń

Kafka Connect to część platformy Apache Kafka. Służy do łączenia Kafki z zewnętrznymi serwisami takimi jak systemy plików lub bazy danych. W artykule dowiesz się jaki problem rozwiązuje i jak ją uruchomić.Spis treścihide1Dlaczego Kafka Connect?2Alternatywy3Konektory4Środowisko5Tryb Standalone – Zapis do pliku6Tryb DistributedGenerowanie danych – Datagen SourceZapis danych – AWS S3 Sink7PodsumowaniePodziel się:Like this:RelatedDlaczego Kafka Connect? Apache Kafka wykorzystywana jest w architekturze mikro...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Connect w pigułce - Wiadro Danych

Inne 300 dni, 2 godziny, 11 minut temu mszymczyk 45 źrodło rozwiń

Nagrałem film, w którym mówię o zaletach baz NoSQL. Odzew był ciekawy, ale momentami miałem wrażenie, że nie wszyscy widzą dwie strony medalu. Fakty są takie, że na bazach NoSQL można się nieźle przejechać 😉.Spis treścihide1Wersja wideo2Zarządzanie schematem3Mniej wybacza4Brak ACID5Brak SQL6Ograniczona analityka i/lub brak JOINów7PodsumowaniePodziel się:Like this:RelatedWersja wideoZarządzanie schematem Każda baza NoSQL podchodzi do schematu na swój sposób. W niektórych schematu nie ma (MongoDB), w nie...

Źródło: wiadrodanych.pl
Dziel się z innymi:
5 pułapek NoSQL - Wiadro Danych

Bazy danych i XML 315 dni, 1 godzinę, 58 minut temu mszymczyk 110 źrodło rozwiń

W Apache Spark/PySpark posługujemy się abstrakcjami, a faktyczne przetwarzanie dokonywane jest dopiero gdy chcemy zmaterializować wynik operacji. Do dyspozycji mamy szereg bibliotek, którymi możemy łączyć się z różnymi bazami i systemów plików. W tym artykule dowiesz się jak połączyć dane z MySQL i MongoDB, a następnie zapisać je w Apache Cassandra.Spis treścihide1Środowisko2Dodanie danych do MongoDB3Dodanie danych do MySQL4Schemat danych w Cassandrze5ETL do Apache Cassandra w PySpark6Ciekawostka7Repozyt...

Źródło: wiadrodanych.pl
Dziel się z innymi:
PySpark ETL z MySQL i MongoDB do Cassandra - Wiadro Danych

Bazy danych i XML 329 dni, 1 godzinę, 47 minut temu mszymczyk 22 źrodło rozwiń

Jest to kontynuacja poprzedniego wpisu. Tym razem przyjrzymy się zakładce Detections w Elastic SIEM. Naszym celem jest automatyzacja wykrywania IOC wykorzystując sprawdzone reguły. Przypomnijmy: Zainstalowaliśmy Elasticsearch + Kibana na jednej z maszyn. Monitorujemy maszynę z Ubuntu (Auditbeat, Filebeat, Packetbeat) i Windows 10 (Winlogbeat), choć w tym wpisie skupimy się na tej drugiej.Spis treścihide1Jak odblokować Detections w Elastic SIEM?Konfiguracja security w ElasticsearchKonfiguracja TLS między ...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Elastic SIEM w pigułce (część 2) - Wiadro Danych

Inne 335 dni, 1 godzinę, 55 minut temu mszymczyk 20 źrodło rozwiń

Środowiska IT robią się coraz większe, rozproszone i ciężkie do zarządzania. Wszystkie komponenty systemu trzeba zabezpieczyć i monitorować przed cyber zagrożeniami. Potrzebna jest skalowalna platforma, która potrafi magazynować i analizować logi, metryki oraz zdarzenia. Rozwiązania SIEM potrafią kosztować niemałe pieniądze. W tym wpisie przyjrzymy się darmowemu rozwiązaniu dostępnego w Elastic Stack, czyli Elastic SIEM.

Źródło: wiadrodanych.pl
Dziel się z innymi:
Elastic SIEM w pigułce (część 1) - Wiadro Danych

Inne 357 dni, 2 godziny, 33 minuty temu mszymczyk 40 źrodło rozwiń

Bazy relacyjne są sprawdzonym rozwiązaniem, ale nie pasują do wszystkich problemów. Na ratunek przychodzą bazy NoSQL.

Źródło: youtu.be
Dziel się z innymi:
Czemu Bazy NoSQL? (5 powodów) - YouTube

Bazy danych i XML 363 dni, 12 godzin, 56 minut temu mszymczyk 84 źrodło rozwiń

Working with big databases, consisting of many, many tables (like hundreds or thousands), can be really painful. Recently, this happened to me and I discovered 2 lifehacks that help me survive this hard days. Filtering tables You know the struggle when you know a part of a database table name but cannot remember the whole name? How could it be named? BasketPositions, CustomerBasketPositions or maybe PositionsOfBasket? How can you know?! Yeah, it’s the everyday struggle with huge projects! This is...

Lifehacks for working with big databases – A Girl Among Geeks

Narzędzia 364 dni, 23 godziny, 20 minut temu AGirlAmongGeeks 86 źrodło rozwiń

Apache Cassandra to specyficzna baza danych. Skaluje się (uwaga) liniowo. Ma to swoją cenę: specyficzne modelowanie tabel, konfigurowalna spójność i ograniczona analityka. Apple wykonuje miliony operacji na sekundę na ponad 160 tys. instancjach Cassandry. Gromadzi przy tym ponad 100 PB danych. Ograniczoną analitykę można „wyleczyć” wykorzystując Apache Spark i connector od DataStax i o tym jest ten wpis.Spis treścihide1Środowisko2Dane3Utworzenie tabel w Apache Cassandra4Zasilenie Cassandry SparkiemWczyta...

Jak zacząć z Apache Spark i Cassandra - Wiadro Danych

Bazy danych i XML 371 dni, 1 godzinę, 35 minut temu mszymczyk 48 źrodło rozwiń

Kolejki można wykorzystywać zarówno na poziomie kodu i struktur danych jak i planując architekturę. Występuje w większości systemów rozproszonych.

7 Powodów Dla Których Potrzebujesz Kolejki - YouTube

Architektura 379 dni, 2 godziny, 31 minut temu mszymczyk 80 źrodło rozwiń

Było o HDFS. Teraz wjeżdża temat MapReduce. Trzeba zagonić serwery do roboty 😈

Jak działa MapReduce?

Programowanie rozproszone 386 dni, 3 godziny, 14 minut temu mszymczyk 97 źrodło rozwiń

Dlaczego nie wystarczy nam macierz i jak działa HDFS.

Po co rozpraszać storage? Krótko o HDFS.

Programowanie rozproszone 393 dni, 2 godziny, 6 minut temu mszymczyk 102 źrodło rozwiń

Jednym z podstawowych narzędzi Data Scientist jest Numpy. Niestety nadmiar danych może znacznie utrudnić nam zabawę. Dlatego powstało Koalas. Biblioteka umożliwiająca korzystanie z Apache Spark w taki sposób, jakbyśmy robili to za pomocą Numpy.Spis treścihide1Cel2Środowisko3Pip i Spark Session4Przygotowanie Spark DataFrame5Przygotowanie Koalas DataFrame6Top 10 najczęściej ocenianych filmówPySparkKoalas/PandasSpark SQL7Top 10 filmów wg średnich ocen (ale tylko takich, które mają >100 ocen)PySparkKoalas/Pa...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Koalas, czyli PySpark w przebraniu Numpy - Wiadro Danych

Inne 398 dni, 23 godziny, 46 minut temu mszymczyk 23 źrodło rozwiń

1 2 3

sierpień

27.
dynamIT 2021
Kraków, Browar Lubicz, ul. Lubicz 17J

październik

Najaktywniejsi

1
(32 895,6)
2
(32 816,53)
3
(27 178,29)
4
(21 178,88)
5
(20 336,33)
6
(13 018,14)
7
(10 531,65)
8
(9 790,28)
9
(8 866,31)
10
(6 837,96)
11
(6 214,22)
12
(5 393,84)
13
(4 157,41)
14
(4 026,73)
15
(3 908,07)
16
(3 599,64)
17
(3 448,35)
18
(3 318,39)
19
(3 224,66)
20
(3 221,45)