Strona głównaUżytkownik

mszymczyk | użytkownik

mszymczyk
mszymczyk
170,02
5 godzin, 40 minut temu
19 kwietnia, 2018
dotnetomaniak.pl

Mistrzostwa świata w Tri na dystansie Ironman za nami. Współzawodnictwo na Hawajach to marzenie każdego ambitnego triathlonisty. Z tej okazji wziąłem na warsztat wyniki zawodów triathlonowych na dystansie Ironman w latach 2005-2016 (436131 rekordów) znalezione na http://academictorrents.com. Do analizy wykorzystałem pythona, a wszczególności numpy, pandas oraz matplotlib. Repo z plikiem jupyter i wykresamidane CSV-ki wyglądają mniej więcej tak:Importy import numpy as np import pandas as pd import mat...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Jak zostać Ironmanem? Analiza CSV-ek w pandas - Wiadro Danych

Inne wtorek, 15 października 2019 21:14:52 GMT mszymczyk 0 spam? źrodło rozwiń

W poprzednim wpisie wyjaśniłem na szybko co to Data Lake. Teraz dowiesz się z jakich warstw się składa i co się pod nimi kryje.Transient Loading Zone Jest to pierwsza warstwa do której trafiają dane do naszego Data Lake-a. Mogą to być np.: pliki, logi, dane z baz, hurtowni, wyniki procesów ETL, stream-y i wyniki zapytań jakiegoś API. Warstwa ta odpowiada za kontrole jakości. Nikt nie chce śmieci w swojej bazie. Wadliwe dane lepiej odrzucić, jednostki sprowadzić do metrycznych (lub odwrotnie) i tak dal...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Cebula ma warstwy. Data Lake ma warstwy - Wiadro Danych

Architektura 7 dni, 20 godzin, 11 minut temu mszymczyk 88 źrodło rozwiń

W poprzednim wpisie (Big Data to 3 słowa) wspomniałem z jakimi wyzwaniami mierzy się Big Data. Dotyczy to również architektury. Wykorzystywana wcześniej EDW (Enterprise Data Warehouse) nie pasuje do nowych standardów. Opracowano nową architekturę o bardzo obrazowej nazwie Data Lake (dosłownie Jezioro Danych). Wyobraź sobie te wszystkie górskie potoki (nazwa strumień danych nie wygląda na przypadkową), które spływają do jeziorka z którego wszyscy korzystają… ale najpierw przyjrzyjmy się co było nie tak w ...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Czy słonie pływają? Kilka słów o Data Lake - Wiadro Danych

Architektura 12 dni, 20 godzin, 49 minut temu mszymczyk 57 źrodło rozwiń

Co to jest w ogóle Big Data? Słyszymy o systemach Big Data, technologiach Big Data, rozwiązaniach Big Data… a nawet o systemach klasy Big Data. Jest to trochę takie słowo wytrych, buzzword które nabrało popularności i się „sprzedaje”. Poniżej opisałem to co kryje się pod tym terminem według mnie. Termin Big Data najczęściej kojarzony jest z technologią Hadoop, czyli podejściem do rozproszonego przetwarzania danych wykorzystującego technikę MapReduce. Czy Hadoop to Big Data? Nie, nie tylko. Jak widać np....

Tagi: Big Data, hadoop
Źródło: wiadrodanych.pl
Dziel się z innymi:
Big Data to 3 słowa - Wiadro Danych

Inne 15 dni, 20 godzin, 11 minut temu mszymczyk 60 źrodło rozwiń

Ciężko czyta się grafy w postaci tekstowej. Znacznie lepsze jest do tego pismo pierwotne jakim są obrazki. Jeśli miałeś kiedyś problem z wizualizacją grafu w bibliotece GraphFrames na Apache Zeppelin to zapraszam do zerknięcia w kod.

Źródło: www.mszymczyk.com
Dziel się z innymi:
Visualizing GraphFrames in Apache Zeppelin - mSzymczyk Blog

Bazy danych i XML 152 dni, 20 godzin, 36 minut temu mszymczyk 32 źrodło rozwiń

Konkretne przypadki które warto znać w temacie konwersji konceptualnego modelu danych (ERD) do modelu fizycznego. Wersja polska i angielska.

[EN] Converting conceptual/logical to physical data model - mSzymczyk Blog

Bazy danych i XML 349 dni, 18 godzin, 52 minuty temu mszymczyk 46 źrodło rozwiń

O tym jak bardzo Doker potrafi ułatwić pracę programiście. Jeśli Docker jest dla Ciebie zagadką, warto się zapoznać.

Technology that every developer should use

Narzędzia 509 dni, 20 godzin, 50 minut temu mszymczyk 84 źrodło rozwiń

What makes you a happy developer?

Happy Developer - mSzymczyk Blog

Inne 529 dni, 20 godzin, 10 minut temu mszymczyk 52 źrodło rozwiń

I have impression that there is not enough talk about denormalization at universities. One gets the impression that normalization is a standard and should be used anytime, anywhere.

A few thoughts about normalization and N+1 problem - mSzymczyk Blog

Bazy danych i XML 529 dni, 20 godzin, 10 minut temu mszymczyk 57 źrodło rozwiń

Nie wydaje Ci się czasem że za dużo czasu "tracisz" na coś co wydaje się rozwijające?

Learning or rather procrastination?

Inne 536 dni, 18 godzin, 39 minut temu mszymczyk 80 źrodło rozwiń

Sklep z gadzetami
Dotnetos Conference

Najaktywniejsi

1
(32 891,59)
2
(32 816,53)
3
(27 178,29)
4
(21 178,88)
5
(20 336,33)
6
(13 018,14)
7
(10 510,13)
8
(9 775,28)
9
(8 358,27)
10
(6 822,96)
11
(6 214,22)
12
(5 393,84)
13
(4 097,38)
14
(4 004,63)
15
(3 863,06)
16
(3 599,49)
17
(3 448,35)
18
(3 318,39)
19
(3 224,66)
20
(3 105,41)