Strona głównaUżytkownik

mszymczyk | użytkownik

mszymczyk
mszymczyk
708,06
4 dni, 20 godzin, 6 minut temu
19 kwietnia, 2018
dotnetomaniak.pl

Nagrałem film, w którym mówię o zaletach baz NoSQL. Odzew był ciekawy, ale momentami miałem wrażenie, że nie wszyscy widzą dwie strony medalu. Fakty są takie, że na bazach NoSQL można się nieźle przejechać 😉.Spis treścihide1Wersja wideo2Zarządzanie schematem3Mniej wybacza4Brak ACID5Brak SQL6Ograniczona analityka i/lub brak JOINów7PodsumowaniePodziel się:Like this:RelatedWersja wideoZarządzanie schematem Każda baza NoSQL podchodzi do schematu na swój sposób. W niektórych schematu nie ma (MongoDB), w nie...

Źródło: wiadrodanych.pl
Dziel się z innymi:
5 pułapek NoSQL - Wiadro Danych

Bazy danych i XML 3 dni, 20 godzin, 7 minut temu mszymczyk 81 źrodło rozwiń

W Apache Spark/PySpark posługujemy się abstrakcjami, a faktyczne przetwarzanie dokonywane jest dopiero gdy chcemy zmaterializować wynik operacji. Do dyspozycji mamy szereg bibliotek, którymi możemy łączyć się z różnymi bazami i systemów plików. W tym artykule dowiesz się jak połączyć dane z MySQL i MongoDB, a następnie zapisać je w Apache Cassandra.Spis treścihide1Środowisko2Dodanie danych do MongoDB3Dodanie danych do MySQL4Schemat danych w Cassandrze5ETL do Apache Cassandra w PySpark6Ciekawostka7Repozyt...

Źródło: wiadrodanych.pl
Dziel się z innymi:
PySpark ETL z MySQL i MongoDB do Cassandra - Wiadro Danych

Bazy danych i XML 17 dni, 19 godzin, 56 minut temu mszymczyk 20 źrodło rozwiń

Jest to kontynuacja poprzedniego wpisu. Tym razem przyjrzymy się zakładce Detections w Elastic SIEM. Naszym celem jest automatyzacja wykrywania IOC wykorzystując sprawdzone reguły. Przypomnijmy: Zainstalowaliśmy Elasticsearch + Kibana na jednej z maszyn. Monitorujemy maszynę z Ubuntu (Auditbeat, Filebeat, Packetbeat) i Windows 10 (Winlogbeat), choć w tym wpisie skupimy się na tej drugiej.Spis treścihide1Jak odblokować Detections w Elastic SIEM?Konfiguracja security w ElasticsearchKonfiguracja TLS między ...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Elastic SIEM w pigułce (część 2) - Wiadro Danych

Inne 23 dni, 20 godzin, 3 minuty temu mszymczyk 18 źrodło rozwiń

Środowiska IT robią się coraz większe, rozproszone i ciężkie do zarządzania. Wszystkie komponenty systemu trzeba zabezpieczyć i monitorować przed cyber zagrożeniami. Potrzebna jest skalowalna platforma, która potrafi magazynować i analizować logi, metryki oraz zdarzenia. Rozwiązania SIEM potrafią kosztować niemałe pieniądze. W tym wpisie przyjrzymy się darmowemu rozwiązaniu dostępnego w Elastic Stack, czyli Elastic SIEM.

Źródło: wiadrodanych.pl
Dziel się z innymi:
Elastic SIEM w pigułce (część 1) - Wiadro Danych

Inne 45 dni, 20 godzin, 42 minuty temu mszymczyk 38 źrodło rozwiń

Bazy relacyjne są sprawdzonym rozwiązaniem, ale nie pasują do wszystkich problemów. Na ratunek przychodzą bazy NoSQL.

Źródło: youtu.be
Dziel się z innymi:
Czemu Bazy NoSQL? (5 powodów) - YouTube

Bazy danych i XML 52 dni, 7 godzin, 5 minut temu mszymczyk 82 źrodło rozwiń

Working with big databases, consisting of many, many tables (like hundreds or thousands), can be really painful. Recently, this happened to me and I discovered 2 lifehacks that help me survive this hard days. Filtering tables You know the struggle when you know a part of a database table name but cannot remember the whole name? How could it be named? BasketPositions, CustomerBasketPositions or maybe PositionsOfBasket? How can you know?! Yeah, it’s the everyday struggle with huge projects! This is...

Lifehacks for working with big databases – A Girl Among Geeks

Narzędzia 53 dni, 17 godzin, 29 minut temu AGirlAmongGeeks 82 źrodło rozwiń

Apache Cassandra to specyficzna baza danych. Skaluje się (uwaga) liniowo. Ma to swoją cenę: specyficzne modelowanie tabel, konfigurowalna spójność i ograniczona analityka. Apple wykonuje miliony operacji na sekundę na ponad 160 tys. instancjach Cassandry. Gromadzi przy tym ponad 100 PB danych. Ograniczoną analitykę można „wyleczyć” wykorzystując Apache Spark i connector od DataStax i o tym jest ten wpis.Spis treścihide1Środowisko2Dane3Utworzenie tabel w Apache Cassandra4Zasilenie Cassandry SparkiemWczyta...

Jak zacząć z Apache Spark i Cassandra - Wiadro Danych

Bazy danych i XML 59 dni, 19 godzin, 43 minuty temu mszymczyk 47 źrodło rozwiń

Kolejki można wykorzystywać zarówno na poziomie kodu i struktur danych jak i planując architekturę. Występuje w większości systemów rozproszonych.

7 Powodów Dla Których Potrzebujesz Kolejki - YouTube

Architektura 67 dni, 20 godzin, 40 minut temu mszymczyk 78 źrodło rozwiń

Było o HDFS. Teraz wjeżdża temat MapReduce. Trzeba zagonić serwery do roboty 😈

Jak działa MapReduce?

Programowanie rozproszone 74 dni, 21 godzin, 23 minuty temu mszymczyk 93 źrodło rozwiń

Dlaczego nie wystarczy nam macierz i jak działa HDFS.

Po co rozpraszać storage? Krótko o HDFS.

Programowanie rozproszone 81 dni, 20 godzin, 15 minut temu mszymczyk 101 źrodło rozwiń

Jednym z podstawowych narzędzi Data Scientist jest Numpy. Niestety nadmiar danych może znacznie utrudnić nam zabawę. Dlatego powstało Koalas. Biblioteka umożliwiająca korzystanie z Apache Spark w taki sposób, jakbyśmy robili to za pomocą Numpy.Spis treścihide1Cel2Środowisko3Pip i Spark Session4Przygotowanie Spark DataFrame5Przygotowanie Koalas DataFrame6Top 10 najczęściej ocenianych filmówPySparkKoalas/PandasSpark SQL7Top 10 filmów wg średnich ocen (ale tylko takich, które mają >100 ocen)PySparkKoalas/Pa...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Koalas, czyli PySpark w przebraniu Numpy - Wiadro Danych

Inne 87 dni, 17 godzin, 55 minut temu mszymczyk 23 źrodło rozwiń

Elasticsearch zaskakuje nas swoimi możliwościami i szybkością działania, ale czy zwracane wyniki są prawidłowe? W tym wpisie dowiesz się jak Elasticsearch działa pod maską i dlaczego zwracane agregacje są pewnego rodzaju przybliżeniem.Spis treścihide1Elasticsearch pod maskąIndeksy, shardy i replikiZapytania i agregacjeSzacowanie2TestDataFrame w Apache SparkTop 20 LinesTop 10 vehicleNumber3WnioskiPodziel się:Dodaj do ulubionych:PodobneElasticsearch pod maskąIndeksy, shardy i repliki Zacznijmy od tego, ja...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Dlaczego Elasticsearch kłamie? Jak działa Elasticsearch? - Wiadro Danych

Bazy danych i XML 94 dni, 19 godzin, 44 minuty temu mszymczyk 73 źrodło rozwiń

W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Analiza Danych Transportu Miejskiego Warszawy w Kibana i Elasticsearch - Wiadro Danych

Inne 107 dni, 20 godzin, 53 minuty temu mszymczyk 64 źrodło rozwiń

Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...

Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych

Bazy danych i XML 122 dni, 20 godzin, 53 minuty temu mszymczyk 59 źrodło rozwiń

No właśnie. Jak zacząć w świecie Big Data? Przecież tyle tych technologii. Widać to choćby na tym schemacie. http://mattturck.com/wp-content/uploads/2019/07/2019MattTurckBigDataLandscapeFinal_Fullsize.png.Newsletter Amerykańscy naukowcy i radzieccy uczeni są zgodni w jednym: nie ma lepszego sposobu na początek przygody z Big Data, jak subskrypcja Wiadro Danych 😎 Przechodząc dalej, akceptujesz politykę prywatnościJęzyk Oczywiście najważniejszym językiem w IT jest… język angielski. Ale skończmy h...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Big Data - Jak zacząć? - Wiadro Danych

Inne 135 dni, 20 godzin, 3 minuty temu mszymczyk 45 źrodło rozwiń

Obrazy Dockera są łatwe w obsłudze. Nie musimy instalować konkretnej wersji środowiska, bibliotek i innych zależności. Wszystko powinno być zamknięte w abstrakcji zwanej kontenerem. Możemy je uruchamiać i skalować w Docker Swarm lub Kubernetes. W tym wpisie zajmiemy się dockeryzacją aplikacji Kafka Streams na przykładzie strumienia dla lokalizacji autobusów ZTM przedstawionym w poprzednim wpisie.Spis treścihide1Zmiany w pom.xml2Zmiany w kodzie aplikacji Kafka Streams3Dockerfile4Zbudowanie obrazu Docker5D...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 202 - Dockeryzacja aplikacji, czyli Kafka w kontenerze - Wiadro Danych

Programowanie rozproszone 136 dni, 19 godzin, 56 minut temu mszymczyk 27 źrodło rozwiń

Czasami klasyczne Kafka DSL nam nie wystarcza. Processor API pozwala na dowolne zdefiniowanie procesora, a co najlepsze, wykorzystanie State Store. W tym przypadku obliczymy prędkość, kierunek i dystans pojazdów komunikacji miejskiej w Warszwie.Spis treścihide1Rozkład jazdy2Źródło3Plan4Dlaczego Processor API?5No to lecimyOdczyt danych z KafkiTestyTopologiaProcesorTesty6Czy z prawdziwą Kafką też działa?7Repozytorium8PodsumowaniePodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyją...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 201 – Obliczanie prędkości, Processor API, KeyValueStore - Wiadro Danych

Programowanie rozproszone 149 dni, 20 godzin, 31 minut temu mszymczyk 25 źrodło rozwiń

Nie wyobrażam sobie programowania bez pisania testów. Gdy śpieszy mi się i o nich „zapominam”, potem i tak poprawiam kod przez jakąś głupotę. Poprawiają jakość i przyśpieszają czas tworzenia oprogramowania. Nie wierzysz?Spis treścihide1Rozkład jazdy2Co zyskamy?3Zależności4Testowalny kod Kafka Streams5Test 1 – LowercaseStreamTopologyTestDriverTest właściwy6Test 2 – SerDeJsonStream7Repozytorium8WnioskiPodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyjątki i Dead Letter QueueKafka...

Kafka Streams 103 - Pisz testy, zapomnij o Kafce - Wiadro Danych

Sztuka programowania 164 dni, 19 godzin, 53 minuty temu mszymczyk 41 źrodło rozwiń

Błędy zdarzają się każdemu. Prędzej czy później nasza aplikacja Kafka Streams dostanie wiadomość, która ją zabije (Poison Pill). Niestety uruchomienie jej ponownie nie pomoże, dopóki wiadomość nie zniknie z kolejki. W tym wpisie spróbujemy obsłużyć takie wiadomości i zapisać je do Dead Letter Queue.Spis treścihide1Rozkład jazdy2Poison Pill3Rozwiązania4Problemy5Dead Letter Queue6Filtrowanie wadliwych rekordówPodczas deserializacjiPodczas transformacji7Wykorzystanie Dead Letter QueuePodczas deserializacjiP...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 102 - Wyjątki i Dead Letter Queue - Wiadro Danych

Programowanie rozproszone 178 dni, 20 godzin, 2 minuty temu mszymczyk 29 źrodło rozwiń

Przetwarzanie strumieniowe jest dzisiaj standardem. Skoro i tak większość osób korzysta z Apache Kafka jako kolejki, czemu nie spróbować Kafka Streams? Jest to rozwiązanie skalowalne i nie wymaga specjalnych środowisk typu YARN czy Apache Mesos. Ten wpis rozpoczyna serię wpisów dotyczących Kafka Streams.Spis treścihide1Cel2Podstawy3Środowisko4Pierwszy strumień – LowerCaseStream5De/Serializacja z łapyPoison Pill6De/Serializacja nie z łapyPoison Pill7Co dalej?8RepozytoriumPodobneCel We wpisach z tego cykl...

Kafka Streams 101 - Wiadro Danych

Programowanie rozproszone 192 dni, 19 godzin, 34 minuty temu mszymczyk 48 źrodło rozwiń

1 2 3

Najaktywniejsi

1
(32 895,6)
2
(32 816,53)
3
(27 178,29)
4
(21 178,88)
5
(20 336,33)
6
(13 018,14)
7
(10 512,54)
8
(9 775,28)
9
(8 433,28)
10
(6 822,96)
11
(6 214,22)
12
(5 393,84)
13
(4 152,41)
14
(4 026,73)
15
(3 908,07)
16
(3 599,64)
17
(3 448,35)
18
(3 318,39)
19
(3 224,66)
20
(3 183,43)