Dziś przyjrzymy się narzędziu, jakim jest Apache Airflow. Spróbujemy użyć dwóch operatorów i zasilić kafkę danymi z API. Przy okazji rozpoczynam taki „mini projekcik”. Nie wiem jak Tobie, ale najlepiej poznaję różne technologie poprzez praktykę. W tym wpisie wspomniałem o źródle, którym są otwarte dane Warszawy https://api.um.warszawa.pl/. Mój plan to wysyłanie takich danych na Kafkę i przetworzenie ich strumieniowo (np. w Sparku). Takie dane potem wylądują na HDFS, ELK (sprawdzimy czy da się sensownie ...
Strona głównaUżytkownik
mszymczyk | użytkownik
Nazwa:
mszymczyk
Punkty:
890,06
Ostatnio widziany:
1023 dni, 10 godzin, 40 minut
temu
Zarejestrowany od:
19 kwietnia, 2018
dotnetomaniak.pl
![Problem małych plików w HDFS - Wiadro Danych]()
![Skąd brać dane? 11 źródeł (w tym polskie) - Wiadro Danych]()
![Półtora miliarda haseł w Spark – część 3 – partycjonowanie danych - Wiadro Danych]()
![Półtora miliarda haseł w Spark - część 1 - czyszczenie - Wiadro Danych]()
![Gdy Kasia gubi CQL-e - Apache Cassandra i NTP - Wiadro Danych]()
![Jak zostać Ironmanem? Analiza CSV-ek w pandas - Wiadro Danych]()
![Cebula ma warstwy. Data Lake ma warstwy - Wiadro Danych]()
![Czy słonie pływają? Kilka słów o Data Lake - Wiadro Danych]()
![Big Data to 3 słowa - Wiadro Danych]()
![Visualizing GraphFrames in Apache Zeppelin - mSzymczyk Blog]()
![[EN] Converting conceptual/logical to physical data model - mSzymczyk Blog]()
![Technology that every developer should use]()
![A few thoughts about normalization and N+1 problem - mSzymczyk Blog]()
![Learning or rather procrastination?]()
Bazy danych i XML 1833 dni, 42 minuty temu 93 źrodło rozwiń
Korzystanie z HDFS bardzo przypomina korzystanie ze zwykłego systemu plików z użyciem terminala. Grupy, uprawnienia, pliki, foldery itp. Bawiąc się kolejnymi technologiami Big Data można zapomnieć się i potraktować HDFS jak zwykły dysk.Dane W ostanim wpisie wspomniałem kilkanaście źródeł danych. Na jednym z nich znalazłem Enron Email Dataset. Jest to zbiór maili przedsiębiorstwa energetycznego Enron. Co takiego charakteryzuje ten zbiór? Zawiera dużo małych plików.Jak dużo? Ściągnąłem, rozpakowałem i wy...
Bazy danych i XML 1840 dni, 49 minut temu 37 źrodło rozwiń
Bawiąc się różnymi bibliotekami, frameworkami itp. potrzebujemy danych. Możemy takie wygenerować, ale efekt nie będzie ten sam. Dane pochodzące z rzeczywistego źródła lepiej oddają różnorodność (jedna z V z której składa się Big Data). Są też po prostu ciekawsze, trudniejsze i mogą być związane naszymi zainteresowaniami (np. triathlon)
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 1847 dni, 39 minut temu 173 źrodło rozwiń
Zapytanie szybsze 40-krotnie? Czemu nie. A to wszystko przez dwie operacje w Apache Spark
Bazy danych i XML 1854 dni, 47 minut temu 43 źrodło rozwiń
Bazy danych i XML 1857 dni, 48 minut temu 40 źrodło rozwiń
W skrócie: Apache Spark + HDInsight na Azure. Zajmiemy się prostym, ale pokaźnym zbiorem maili i haseł z różnych wycieków danych. W tym przykładzie będę używał DataFrames w Spark 2.0.
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Mieliście kiedyś taką sytuację przy Apache Cassandra, że aplikacja robi UPDATE na bazie danych ale nigdzie nie ma śladu po tym UPDATE? Jak już jej trochę poużywałeś, to prawdopodobnie znasz temat. Jak dopiero z nią zaczynasz… W projekcie używamy Cassandry która, póki co, na każdym ze środowisk składa się z jednego node-a. Każdy z serwisów ma swój keyspace. Wszystko pięknie działało. Nie było problemów. Do czasu. Była potrzeba przepisania jednego z serwisów i tymczasowo dwa serwisy (a czasami jeden ser...
Bazy danych i XML 1871 dni, 2 godziny, 48 minut temu 72 źrodło rozwiń
Mistrzostwa świata w Tri na dystansie Ironman za nami. Współzawodnictwo na Hawajach to marzenie każdego ambitnego triathlonisty. Z tej okazji wziąłem na warsztat wyniki zawodów triathlonowych na dystansie Ironman w latach 2005-2016 (436131 rekordów) znalezione na http://academictorrents.com. Do analizy wykorzystałem pythona, a wszczególności numpy, pandas oraz matplotlib. Repo z plikiem jupyter i wykresamidane CSV-ki wyglądają mniej więcej tak:Importy import numpy as np import pandas as pd import mat...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
W poprzednim wpisie wyjaśniłem na szybko co to Data Lake. Teraz dowiesz się z jakich warstw się składa i co się pod nimi kryje.Transient Loading Zone Jest to pierwsza warstwa do której trafiają dane do naszego Data Lake-a. Mogą to być np.: pliki, logi, dane z baz, hurtowni, wyniki procesów ETL, stream-y i wyniki zapytań jakiegoś API. Warstwa ta odpowiada za kontrole jakości. Nikt nie chce śmieci w swojej bazie. Wadliwe dane lepiej odrzucić, jednostki sprowadzić do metrycznych (lub odwrotnie) i tak dal...
Architektura 1884 dni, 1 godzinę, 47 minut temu 111 źrodło rozwiń
W poprzednim wpisie (Big Data to 3 słowa) wspomniałem z jakimi wyzwaniami mierzy się Big Data. Dotyczy to również architektury. Wykorzystywana wcześniej EDW (Enterprise Data Warehouse) nie pasuje do nowych standardów. Opracowano nową architekturę o bardzo obrazowej nazwie Data Lake (dosłownie Jezioro Danych). Wyobraź sobie te wszystkie górskie potoki (nazwa strumień danych nie wygląda na przypadkową), które spływają do jeziorka z którego wszyscy korzystają… ale najpierw przyjrzyjmy się co było nie tak w ...
Architektura 1889 dni, 2 godziny, 25 minut temu 69 źrodło rozwiń
Co to jest w ogóle Big Data? Słyszymy o systemach Big Data, technologiach Big Data, rozwiązaniach Big Data… a nawet o systemach klasy Big Data. Jest to trochę takie słowo wytrych, buzzword które nabrało popularności i się „sprzedaje”. Poniżej opisałem to co kryje się pod tym terminem według mnie. Termin Big Data najczęściej kojarzony jest z technologią Hadoop, czyli podejściem do rozproszonego przetwarzania danych wykorzystującego technikę MapReduce. Czy Hadoop to Big Data? Nie, nie tylko. Jak widać np....
Ciężko czyta się grafy w postaci tekstowej. Znacznie lepsze jest do tego pismo pierwotne jakim są obrazki. Jeśli miałeś kiedyś problem z wizualizacją grafu w bibliotece GraphFrames na Apache Zeppelin to zapraszam do zerknięcia w kod.
Źródło:
www.mszymczyk.com
Dziel się z innymi:
Bazy danych i XML 2029 dni, 2 godziny, 12 minut temu 33 źrodło rozwiń
Konkretne przypadki które warto znać w temacie konwersji konceptualnego modelu danych (ERD) do modelu fizycznego. Wersja polska i angielska.
Tagi:
bazy danych, data, data model, DATABASE, ERD, model danych, model fizyczny, model konceptualny, power designer, rdb, rdbms
Źródło:
www.mszymczyk.com
Dziel się z innymi:
Bazy danych i XML 2226 dni, 28 minut temu 47 źrodło rozwiń
O tym jak bardzo Doker potrafi ułatwić pracę programiście. Jeśli Docker jest dla Ciebie zagadką, warto się zapoznać.
Źródło:
www.mszymczyk.com
Dziel się z innymi:
I have impression that there is not enough talk about denormalization at universities. One gets the impression that normalization is a standard and should be used anytime, anywhere.
Tagi:
dane, denormalizacja, denormalization, model, model danych, n+1 problem, normalizacja, normalization, postać normalna
Źródło:
www.mszymczyk.com
Dziel się z innymi:
Bazy danych i XML 2406 dni, 1 godzinę, 45 minut temu 58 źrodło rozwiń
Nie wydaje Ci się czasem że za dużo czasu "tracisz" na coś co wydaje się rozwijające?
Źródło:
www.mszymczyk.com
Dziel się z innymi:
Polecamy
Najaktywniejsi w tym miesiącu
Nadchodzące wydarzenia
.Net
.net core
architektura
ASP .NET
asp.net
Asp.Net Core
ASP.NET MVC
Azure
C#
C# .NET
certyfikacja
certyfikat
cloud
csharp
daj sie poznac 2017
Daj się poznać
Daj Się Poznać 2017
dajsiepoznac
DDD
docker
dotnet
dsp2017
egzamin
Entity Framework
F#
git
JavaScript
jQuery
konferencja
Linq
mvc
MVVM
Narzędzia
performance
podcast
praca
programowanie
SharePoint
Silverlight
SQL
sql server
TDD
testy
Visual Studio
WCF
Windows
windows phone
WPF
Wzorce projektowe
Xamarin