Witaj Maniaku , Zaloguj sięlub Zarejestruj

dotnetomaniak.pl

Dodaj artykuł

Zobacz listę oczekujących artykułów (0)

dotnetomaniak.pl - Artykuły z tagiem apache spark

apache spark

atom rss facebook
1
spam Podbij ↑ Odbij ↓

Apache Spark - 2 Kroki do Lepszej Utylizacji Zasobów - Wiadro Danych

Chcemy, aby nasze aplikacje w Apache Spark wykorzystywały wszystkie przydzielone zasoby. Niestety nie jest to takie proste. Rozproszenie obliczeń niesie za sobą koszty zarządzania zadaniami, a same zadania mają wobec siebie zależności. Z jednej strony ogranicza nas CPU (szybkość obliczeń), z drugiej strony dyski i sieć. MapReduce poświęciłem dedykowany materiał wideo. W artykule dowiesz się jak w 2 prostych krokach poprawić utylizację zasobów w Apache Spark.Spis treścihide1Prosta aplikacja2Nie taka prost...

Tagi: apache spark, Big Data, Distributed Processing, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
Apache Spark - 2 Kroki do Lepszej Utylizacji Zasobów - Wiadro Danych

Programowanie rozproszone 1340 dni, 11 godzin, 50 minut temu mszymczyk 14 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

PySpark ETL z MySQL i MongoDB do Cassandra - Wiadro Danych

W Apache Spark/PySpark posługujemy się abstrakcjami, a faktyczne przetwarzanie dokonywane jest dopiero gdy chcemy zmaterializować wynik operacji. Do dyspozycji mamy szereg bibliotek, którymi możemy łączyć się z różnymi bazami i systemów plików. W tym artykule dowiesz się jak połączyć dane z MySQL i MongoDB, a następnie zapisać je w Apache Cassandra.Spis treścihide1Środowisko2Dodanie danych do MongoDB3Dodanie danych do MySQL4Schemat danych w Cassandrze5ETL do Apache Cassandra w PySpark6Ciekawostka7Repozyt...

Tagi: apache spark, Cassandra, etl, mongodb, MySQL, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
PySpark ETL z MySQL i MongoDB do Cassandra - Wiadro Danych

Bazy danych i XML 1522 dni, 12 godzin, 54 minuty temu mszymczyk 22 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

Jak zacząć z Apache Spark i Cassandra - Wiadro Danych

Apache Cassandra to specyficzna baza danych. Skaluje się (uwaga) liniowo. Ma to swoją cenę: specyficzne modelowanie tabel, konfigurowalna spójność i ograniczona analityka. Apple wykonuje miliony operacji na sekundę na ponad 160 tys. instancjach Cassandry. Gromadzi przy tym ponad 100 PB danych. Ograniczoną analitykę można „wyleczyć” wykorzystując Apache Spark i connector od DataStax i o tym jest ten wpis.Spis treścihide1Środowisko2Dane3Utworzenie tabel w Apache Cassandra4Zasilenie Cassandry SparkiemWczyta...

Tagi: analityka, apache cassandra, apache spark, bazy danych, Cassandra, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
Jak zacząć z Apache Spark i Cassandra - Wiadro Danych

Bazy danych i XML 1564 dni, 12 godzin, 42 minuty temu mszymczyk 50 źrodło rozwiń

2
spam Podbij ↑ Odbij ↓

Dlaczego Elasticsearch kłamie? Jak działa Elasticsearch? - Wiadro Danych

Elasticsearch zaskakuje nas swoimi możliwościami i szybkością działania, ale czy zwracane wyniki są prawidłowe? W tym wpisie dowiesz się jak Elasticsearch działa pod maską i dlaczego zwracane agregacje są pewnego rodzaju przybliżeniem.Spis treścihide1Elasticsearch pod maskąIndeksy, shardy i replikiZapytania i agregacjeSzacowanie2TestDataFrame w Apache SparkTop 20 LinesTop 10 vehicleNumber3WnioskiPodziel się:Dodaj do ulubionych:PodobneElasticsearch pod maskąIndeksy, shardy i repliki Zacznijmy od tego, ja...

Tagi: apache spark, elastic stack, ElasticSearch, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
Dlaczego Elasticsearch kłamie? Jak działa Elasticsearch? - Wiadro Danych

Bazy danych i XML 1599 dni, 12 godzin, 42 minuty temu mszymczyk 78 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

Delta Lake w Pigułce (czyli o podróżach w czasie) - Wiadro Danych

Delta Lake zdobywa ostatnio coraz większa popularność. Słychać o nim na konferencjach na całym świecie. W tym artykule przyjrzymy się jakie problemy rozwiązuje.Spis treścihide1Co to Delta Lake?2Jupyter + Delta Lake3Przygotowanie danych4Bez Delta Lake5Z Delta LakeHistoria i podróże w czasieZarządzanie schematemVacuumDelta Lake APIDeleteUpdateMergeStreaming Sink6Co jest pod maską?7RepoCo to Delta Lake? Delta Lake to nakładka na Apache Spark. Pełni rolę warstwy persystencji i gwarantuje ACID na HDFS, S3, A...

Tagi: apache spark, Big Data, data lake, Delta, Delta Lake, hdfs, pyspark, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
Delta Lake w Pigułce (czyli o podróżach w czasie) - Wiadro Danych

Bazy danych i XML 1732 dni, 12 godzin, 8 minut temu mszymczyk 52 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

Spark i Elasticsearch? To tak można? elasticsearch-spark - Wiadro Danych

Elasticsearch można lubić lub nie. Fakty są takie, że robi robotę. Razem z Kibana, Logstash i Beats pozwalają w prosty sposób zbierać logi, metryki i przeprowadzać analizy w czasie rzeczywistym. Gdy potrzebujemy więcej, możemy chwycić za inne narzędzia. W tym wpisie przyjrzymy się jak połączyć Apache Spark i Elasticsearch. Psst! Repo z kodem na dole wpisu!😎Czemu Spark? Ostatnio zwrócił moją uwagę HELK, czyli rozwiązanie do analizy cyber oparte na Elastic Stack. Patrząc na jego architekturę, widzimy wy...

Tagi: apache spark, elastic stack, ElasticSearch, elasticsearch-spark, ELK, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
Spark i Elasticsearch? To tak można? elasticsearch-spark - Wiadro Danych

Bazy danych i XML 1745 dni, 12 godzin, 3 minuty temu mszymczyk 53 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

Obliczanie prędkości w Apache Spark - GPS komunikacji miejskiej - Wiadro Danych

W poprzednim poście utworzyliśmy strumień danych lokalizacji pojazdów komunikacji miejskiej na jednym z topiców w Apache Kafka. Teraz dorwiemy się do tego strumienia z poziomu Apache Spark, zapiszemy trochę danych na HDFS i zobaczymy czy da się coś z nimi zrobić. Dla przypomnienia, wpis jest częścią mini projektu związanego z danymi lokalizacji pojazdów komunikacji miejskiej w Warszawie. Plan na dzień dzisiejszy poniżej, a zastanawiamy się nad jego środkiem => Apache SparkOdczyt z Kafki Najszybszą meto...

Tagi: apache kafka, apache spark, GPS, kafka, przetwarzanie strumieniowe, Spark, spark streaming, ztm
Źródło: wiadrodanych.pl
Dziel się z innymi:
Obliczanie prędkości w Apache Spark - GPS komunikacji miejskiej - Wiadro Danych

Bazy danych i XML 1799 dni, 12 godzin, 16 minut temu mszymczyk 45 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

Półtora miliarda haseł w Spark – część 3 – partycjonowanie danych - Wiadro Danych

Zapytanie szybsze 40-krotnie? Czemu nie. A to wszystko przez dwie operacje w Apache Spark

Tagi: apache spark, breachcompilation, pyspark, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
Półtora miliarda haseł w Spark – część 3 – partycjonowanie danych - Wiadro Danych

Bazy danych i XML 1828 dni, 12 godzin, 3 minuty temu mszymczyk 43 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

Półtora miliarda haseł w Spark – część 2 – formaty danych - Wiadro Danych

Gdzie jest Json? Porównanie CSV, JSON, Parquet i ORC.

Tagi: apache spark, csv, JSON, orc, parquet, pyspark, Spark
Źródło: wiadrodanych.pl
Dziel się z innymi:
Półtora miliarda haseł w Spark – część 2 – formaty danych - Wiadro Danych

Bazy danych i XML 1831 dni, 12 godzin, 4 minuty temu mszymczyk 40 źrodło rozwiń

1
spam Podbij ↑ Odbij ↓

Półtora miliarda haseł w Spark - część 1 - czyszczenie - Wiadro Danych

W skrócie: Apache Spark + HDInsight na Azure. Zajmiemy się prostym, ale pokaźnym zbiorem maili i haseł z różnych wycieków danych. W tym przykładzie będę używał DataFrames w Spark 2.0.

Tagi: apache spark, apache zeppelin, Azure, hdfs, hdinsight, parquet, Scala, Spark, zeppelin
Źródło: wiadrodanych.pl
Dziel się z innymi:
Półtora miliarda haseł w Spark - część 1 - czyszczenie - Wiadro Danych

Cloud 1841 dni, 13 godzin, 10 minut temu mszymczyk 62 źrodło rozwiń

Polecamy

Nadchodzące wydarzenia

dotnetomaniak.pl