Korzystanie z HDFS bardzo przypomina korzystanie ze zwykłego systemu plików z użyciem terminala. Grupy, uprawnienia, pliki, foldery itp. Bawiąc się kolejnymi technologiami Big Data można zapomnieć się i potraktować HDFS jak zwykły dysk.Dane W ostanim wpisie wspomniałem kilkanaście źródeł danych. Na jednym z nich znalazłem Enron Email Dataset. Jest to zbiór maili przedsiębiorstwa energetycznego Enron. Co takiego charakteryzuje ten zbiór? Zawiera dużo małych plików.Jak dużo? Ściągnąłem, rozpakowałem i wy...
dotnetomaniak.pl - Artykuły z tagiem Big Data
![Czy słonie pływają? Kilka słów o Data Lake - Wiadro Danych]()
![Big Data to 3 słowa - Wiadro Danych]()
![Visualizing GraphFrames in Apache Zeppelin - mSzymczyk Blog]()
![Data scientist – nowy zawód na nowe czasy]()
![DevReview #3 O Big Data z Hubertem Chylikiem i Jackiem Byliną - Forever F[r]ame]()
![[EN] Using Hortonworks Hive in .NET]()
Big Data
Bazy danych i XML 21 dni, 9 godzin, 28 minut temu 35 źrodło rozwiń
W poprzednim wpisie (Big Data to 3 słowa) wspomniałem z jakimi wyzwaniami mierzy się Big Data. Dotyczy to również architektury. Wykorzystywana wcześniej EDW (Enterprise Data Warehouse) nie pasuje do nowych standardów. Opracowano nową architekturę o bardzo obrazowej nazwie Data Lake (dosłownie Jezioro Danych). Wyobraź sobie te wszystkie górskie potoki (nazwa strumień danych nie wygląda na przypadkową), które spływają do jeziorka z którego wszyscy korzystają… ale najpierw przyjrzyjmy się co było nie tak w ...
Architektura 70 dni, 11 godzin, 3 minuty temu 67 źrodło rozwiń
Co to jest w ogóle Big Data? Słyszymy o systemach Big Data, technologiach Big Data, rozwiązaniach Big Data… a nawet o systemach klasy Big Data. Jest to trochę takie słowo wytrych, buzzword które nabrało popularności i się „sprzedaje”. Poniżej opisałem to co kryje się pod tym terminem według mnie. Termin Big Data najczęściej kojarzony jest z technologią Hadoop, czyli podejściem do rozproszonego przetwarzania danych wykorzystującego technikę MapReduce. Czy Hadoop to Big Data? Nie, nie tylko. Jak widać np....
Ciężko czyta się grafy w postaci tekstowej. Znacznie lepsze jest do tego pismo pierwotne jakim są obrazki. Jeśli miałeś kiedyś problem z wizualizacją grafu w bibliotece GraphFrames na Apache Zeppelin to zapraszam do zerknięcia w kod.
Źródło:
www.mszymczyk.com
Dziel się z innymi:
Bazy danych i XML 210 dni, 10 godzin, 50 minut temu 32 źrodło rozwiń
Kim jest data scientist? Co to za twór? Jakie języki programowania warto znać, aby pracować w świeżej gałęzi IT - czyli data science?
Źródło:
www.dobreprogramy.pl
Dziel się z innymi:
Bazy danych i XML 437 dni, 9 godzin, 39 minut temu 78 źrodło rozwiń
Dzisiejszy odcinek jest dość nietypowy, ponieważ goszczę aż dwie osoby. A są to moi dobrzy znajomi z czasów studenckich: Huber Chylik oraz Jacek Bylina. Obaj programiści oraz miłośnicy dość świeżego „trendu” jakim jest Big Data. I to właśnie ten temat został poruszony w dzisiejszym odcinku Chłopaki powiedzieli co określa się mianem Big Data, jakie narzędzia i środowiska ułatwiają przetwarzanie i analizę dużych zbiorów danych oraz przedstawili kilka autorskich przykładów wykorzystania tej technologi, któ...
A first step into big data world.
Bazy danych i XML 1758 dni, 4 godziny, 51 minut temu 258 źrodło rozwiń
Polecamy
Nadchodzące wydarzenia
Najaktywniejsi
.Net
.net core
architektura
ASP .NET
asp.net
Asp.Net Core
ASP.NET MVC
Azure
C#
C# .NET
certyfikacja
certyfikat
daj sie poznac 2017
Daj się poznać
Daj Się Poznać 2017
dajsiepoznac
DDD
docker
dotnet
DSP
dsp2017
egzamin
Entity Framework
F#
git
JavaScript
jQuery
konferencja
Linq
mvc
MVVM
Narzędzia
praca
programowanie
project management
SharePoint
Silverlight
SQL
sql server
TDD
testy
Visual Studio
Visual Studio 2010
WCF
Windows
Windows 8
windows phone
WPF
Wzorce projektowe
Xamarin