dotnetomaniak.pl - Artykuły z tagiem Big Data

No właśnie. Jak zacząć w świecie Big Data? Przecież tyle tych technologii. Widać to choćby na tym schemacie. http://mattturck.com/wp-content/uploads/2019/07/2019MattTurckBigDataLandscapeFinal_Fullsize.png.Newsletter Amerykańscy naukowcy i radzieccy uczeni są zgodni w jednym: nie ma lepszego sposobu na początek przygody z Big Data, jak subskrypcja Wiadro Danych 😎 Przechodząc dalej, akceptujesz politykę prywatnościJęzyk Oczywiście najważniejszym językiem w IT jest… język angielski. Ale skończmy h...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Big Data - Jak zacząć? - Wiadro Danych

Inne 206 dni, 8 godzin, 31 minut temu mszymczyk 45 źrodło rozwiń

Delta Lake zdobywa ostatnio coraz większa popularność. Słychać o nim na konferencjach na całym świecie. W tym artykule przyjrzymy się jakie problemy rozwiązuje.Spis treścihide1Co to Delta Lake?2Jupyter + Delta Lake3Przygotowanie danych4Bez Delta Lake5Z Delta LakeHistoria i podróże w czasieZarządzanie schematemVacuumDelta Lake APIDeleteUpdateMergeStreaming Sink6Co jest pod maską?7RepoCo to Delta Lake? Delta Lake to nakładka na Apache Spark. Pełni rolę warstwy persystencji i gwarantuje ACID na HDFS, S3, A...

Delta Lake w Pigułce (czyli o podróżach w czasie) - Wiadro Danych

Bazy danych i XML 298 dni, 7 godzin, 38 minut temu mszymczyk 50 źrodło rozwiń

Dzisiaj wstęp do usługi Data Lake Storage. Czyli ewolucja blob storage stworzona pod analizy narzędziami big data, ale nie tylko. Kilka słów o tym jak działa, pare demek i na koniec łączenie się z Databricks.

Źródło: youtu.be
Dziel się z innymi:
Azure Data Lake Storage (Gen 2) | Najlepsza usługa do składowania plików dla technologii big data

Cloud 358 dni, 8 godzin, 23 minuty temu AdamMarczak 28 źrodło rozwiń

Korzystanie z HDFS bardzo przypomina korzystanie ze zwykłego systemu plików z użyciem terminala. Grupy, uprawnienia, pliki, foldery itp. Bawiąc się kolejnymi technologiami Big Data można zapomnieć się i potraktować HDFS jak zwykły dysk.Dane W ostanim wpisie wspomniałem kilkanaście źródeł danych. Na jednym z nich znalazłem Enron Email Dataset. Jest to zbiór maili przedsiębiorstwa energetycznego Enron. Co takiego charakteryzuje ten zbiór? Zawiera dużo małych plików.Jak dużo? Ściągnąłem, rozpakowałem i wy...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Problem małych plików w HDFS - Wiadro Danych

Bazy danych i XML 380 dni, 7 godzin, 35 minut temu mszymczyk 36 źrodło rozwiń

W poprzednim wpisie (Big Data to 3 słowa) wspomniałem z jakimi wyzwaniami mierzy się Big Data. Dotyczy to również architektury. Wykorzystywana wcześniej EDW (Enterprise Data Warehouse) nie pasuje do nowych standardów. Opracowano nową architekturę o bardzo obrazowej nazwie Data Lake (dosłownie Jezioro Danych). Wyobraź sobie te wszystkie górskie potoki (nazwa strumień danych nie wygląda na przypadkową), które spływają do jeziorka z którego wszyscy korzystają… ale najpierw przyjrzyjmy się co było nie tak w ...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Czy słonie pływają? Kilka słów o Data Lake - Wiadro Danych

Architektura 429 dni, 9 godzin, 11 minut temu mszymczyk 67 źrodło rozwiń

Co to jest w ogóle Big Data? Słyszymy o systemach Big Data, technologiach Big Data, rozwiązaniach Big Data… a nawet o systemach klasy Big Data. Jest to trochę takie słowo wytrych, buzzword które nabrało popularności i się „sprzedaje”. Poniżej opisałem to co kryje się pod tym terminem według mnie. Termin Big Data najczęściej kojarzony jest z technologią Hadoop, czyli podejściem do rozproszonego przetwarzania danych wykorzystującego technikę MapReduce. Czy Hadoop to Big Data? Nie, nie tylko. Jak widać np....

Tagi: Big Data, hadoop
Źródło: wiadrodanych.pl
Dziel się z innymi:
Big Data to 3 słowa - Wiadro Danych

Inne 432 dni, 8 godzin, 33 minuty temu mszymczyk 68 źrodło rozwiń

Ciężko czyta się grafy w postaci tekstowej. Znacznie lepsze jest do tego pismo pierwotne jakim są obrazki. Jeśli miałeś kiedyś problem z wizualizacją grafu w bibliotece GraphFrames na Apache Zeppelin to zapraszam do zerknięcia w kod.

Źródło: www.mszymczyk.com
Dziel się z innymi:
Visualizing GraphFrames in Apache Zeppelin - mSzymczyk Blog

Bazy danych i XML 569 dni, 8 godzin, 58 minut temu mszymczyk 32 źrodło rozwiń

Kim jest data scientist? Co to za twór? Jakie języki programowania warto znać, aby pracować w świeżej gałęzi IT - czyli data science?

Data scientist – nowy zawód na nowe czasy

Bazy danych i XML 796 dni, 7 godzin, 47 minut temu djfoxer 79 źrodło rozwiń

Dzisiejszy odcinek jest dość nietypowy, ponieważ goszczę aż dwie osoby. A są to moi dobrzy znajomi z czasów studenckich: Huber Chylik oraz Jacek Bylina. Obaj programiści oraz miłośnicy dość świeżego „trendu” jakim jest Big Data. I to właśnie ten temat został poruszony w dzisiejszym odcinku Chłopaki powiedzieli co określa się mianem Big Data, jakie narzędzia i środowiska ułatwiają przetwarzanie i analizę dużych zbiorów danych oraz przedstawili kilka autorskich przykładów wykorzystania tej technologi, któ...

Tagi: Big Data, podcast
Źródło: foreverframe.pl
Dziel się z innymi:
DevReview #3 O Big Data z Hubertem Chylikiem i Jackiem Byliną - Forever F[r]ame

Inne 1633 dni, 7 godzin, 13 minut temu dpawlukiewicz 82 źrodło rozwiń

A first step into big data world.

Dziel się z innymi:
[EN] Using Hortonworks Hive in .NET

Bazy danych i XML 2117 dni, 2 godziny, 59 minut temu dzapart 258 źrodło rozwiń

.NET diagnostic expert
DAC2019baner

Najaktywniejsi

1
(32 895,6)
2
(32 816,53)
3
(27 178,29)
4
(21 178,88)
5
(20 336,33)
6
(13 018,14)
7
(10 531,64)
8
(9 775,28)
9
(8 558,3)
10
(6 837,96)
11
(6 214,22)
12
(5 393,84)
13
(4 157,41)
14
(4 026,73)
15
(3 908,07)
16
(3 599,64)
17
(3 448,35)
18
(3 318,39)
19
(3 224,66)
20
(3 221,43)