dotnetomaniak.pl - Najnowsze artykuły o .NET w dziale Programowanie rozproszone

Było o HDFS. Teraz wjeżdża temat MapReduce. Trzeba zagonić serwery do roboty 😈

Jak działa MapReduce?

Programowanie rozproszone 73 dni, 21 godzin, 56 minut temu mszymczyk 93 źrodło rozwiń

Dlaczego nie wystarczy nam macierz i jak działa HDFS.

Po co rozpraszać storage? Krótko o HDFS.

Programowanie rozproszone 80 dni, 20 godzin, 47 minut temu mszymczyk 101 źrodło rozwiń

Obrazy Dockera są łatwe w obsłudze. Nie musimy instalować konkretnej wersji środowiska, bibliotek i innych zależności. Wszystko powinno być zamknięte w abstrakcji zwanej kontenerem. Możemy je uruchamiać i skalować w Docker Swarm lub Kubernetes. W tym wpisie zajmiemy się dockeryzacją aplikacji Kafka Streams na przykładzie strumienia dla lokalizacji autobusów ZTM przedstawionym w poprzednim wpisie.Spis treścihide1Zmiany w pom.xml2Zmiany w kodzie aplikacji Kafka Streams3Dockerfile4Zbudowanie obrazu Docker5D...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 202 - Dockeryzacja aplikacji, czyli Kafka w kontenerze - Wiadro Danych

Programowanie rozproszone 135 dni, 20 godzin, 29 minut temu mszymczyk 27 źrodło rozwiń

Czasami klasyczne Kafka DSL nam nie wystarcza. Processor API pozwala na dowolne zdefiniowanie procesora, a co najlepsze, wykorzystanie State Store. W tym przypadku obliczymy prędkość, kierunek i dystans pojazdów komunikacji miejskiej w Warszwie.Spis treścihide1Rozkład jazdy2Źródło3Plan4Dlaczego Processor API?5No to lecimyOdczyt danych z KafkiTestyTopologiaProcesorTesty6Czy z prawdziwą Kafką też działa?7Repozytorium8PodsumowaniePodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyją...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 201 – Obliczanie prędkości, Processor API, KeyValueStore - Wiadro Danych

Programowanie rozproszone 148 dni, 21 godzin, 4 minuty temu mszymczyk 25 źrodło rozwiń

Błędy zdarzają się każdemu. Prędzej czy później nasza aplikacja Kafka Streams dostanie wiadomość, która ją zabije (Poison Pill). Niestety uruchomienie jej ponownie nie pomoże, dopóki wiadomość nie zniknie z kolejki. W tym wpisie spróbujemy obsłużyć takie wiadomości i zapisać je do Dead Letter Queue.Spis treścihide1Rozkład jazdy2Poison Pill3Rozwiązania4Problemy5Dead Letter Queue6Filtrowanie wadliwych rekordówPodczas deserializacjiPodczas transformacji7Wykorzystanie Dead Letter QueuePodczas deserializacjiP...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 102 - Wyjątki i Dead Letter Queue - Wiadro Danych

Programowanie rozproszone 177 dni, 20 godzin, 35 minut temu mszymczyk 29 źrodło rozwiń

Kto lubi ciasto? Ja uwielbiam! Zwłaszcza takie dotnetowe :) Cake pozwala pisać build skrypty w C#. Zamiast ręcznie uruchamiać skrypty, albo bawić się Powershellem, można je zaprogramować w znanym języku. Co lepsze, można stworzyć repozytorium i w nim trzymać cały kod związany z deploymentem

Tagi: C#, Cake, devops, Powershel
Dziel się z innymi:
O Cake słów kilka – programmer-girl

Przetwarzanie strumieniowe jest dzisiaj standardem. Skoro i tak większość osób korzysta z Apache Kafka jako kolejki, czemu nie spróbować Kafka Streams? Jest to rozwiązanie skalowalne i nie wymaga specjalnych środowisk typu YARN czy Apache Mesos. Ten wpis rozpoczyna serię wpisów dotyczących Kafka Streams.Spis treścihide1Cel2Podstawy3Środowisko4Pierwszy strumień – LowerCaseStream5De/Serializacja z łapyPoison Pill6De/Serializacja nie z łapyPoison Pill7Co dalej?8RepozytoriumPodobneCel We wpisach z tego cykl...

Kafka Streams 101 - Wiadro Danych

Programowanie rozproszone 191 dni, 20 godzin, 7 minut temu mszymczyk 48 źrodło rozwiń

Ostatni wpis zamknął serię związaną z implementacją mikroserwisów jako takich. Jest jednak jeszcze wiele tematów związanych z ich utrzymywaniem i wdrażaniem, które chciałbym sukcesywnie poruszać na blogu. Dziś zaczniemy od moim zdanim kluczowego mechanizmu, bez którego praca z systemem rozproszonym na produkcji może okazać się piekłem.  Cym jest rozproszone śledzenie? Wyobraź sobie, że zakończył się etap implementacj...

Rozproszone śledzenie mikroserwisów z OpenTracing i Jaeger - Forever F[r]ame

Programowanie rozproszone 332 dni, 19 godzin, 37 minut temu dpawlukiewicz 147 źrodło rozwiń

W poprzednim wpisie poruszyłem tematykę transakcji biznesowych w systemach rozproszonych, przedstawiając różne sposoby na ich projektowania i kontrolowanie. Dziś, zgodnie z zapowiedzią przedstawię kod C#, który będzie niczym innym jak implementacją hybrydową wzorca saga/oraz process manager. Bez zbędnego przedłużania, zaczynajmy!  Chronicle – potrzeba matką wynalazków… Jeżeli czytałeś/aś...

Źródło: foreverframe.net
Dziel się z innymi:
Chronicle, czyli saga/process manager dla .NET Core - Forever F[r]ame

Programowanie rozproszone 344 dni, 20 godzin, 36 minut temu dpawlukiewicz 257 źrodło rozwiń

A little while ago I blogged here and I set it up to be a "continues..." style post. I haven't had the energy to continue it in that context, and this fact was putting me off concluding the post. I then realised: the thing that matters isn't some overarching narrative structure, but that I get my ideas down. So: I'm aborting any attempt at making this post a continuation, and just focusing on the content! There's been a lot of confusion over when to use Task[

Tagi: Task
Dziel się z innymi:
Code, code and more code.: Prefer ValueTask to Task, always; and don't await twice

Programowanie rozproszone 395 dni, 20 godzin, 35 minut temu rroszczyk 111 źrodło rozwiń

Dziś odpowiedź na zdecydowanie najczęściej zadawane pytanie w kontekście naszego projektu DShop. Brzmi ono „w jaki sposób użytkownik końcowy aplikacji wie czy jego komenda została (i kiedy została) przetworzona?”. Na pierwszy rzut oka odpowiedź na to pytanie może wydawać się trywialna, prawda? Wszak większość typowych aplikacji webowych po wykonaniu jakiejś akcji informuje nas o jej powodzeniu lub błędzie poprzez np. toastry...

CQRS i mikroserwisy...i async: jak poinformować użytkownika o stanie przetwarzanej operacji? - Forever F[r]ame

Programowanie rozproszone 540 dni, 20 godzin, 53 minuty temu dpawlukiewicz 307 źrodło rozwiń

Kontynuujemy naszą podróż z mikroserwisami! Dziś przejdziemy do nieco bardziej „zaawansowanych” zagadnień, które mam nadzieje okażą się dla Ciebie zrozumiałe, a ich użycie – zasadne. Zacznijmy od problemu, aby móc w ogóle przejść do tematu dzisiejszego wpisu. Jak zapewne pamiętasz we wpisie o odczycie danych przedstawiłem bibliotekę RestEase, dzięki której w łatwy sposób mogliśmy wykonywać żądania HTTP z API Gateway do konkr...

Źródło: foreverframe.net
Dziel się z innymi:
Service Discovery i Load Balancing z Consul i Fabio - Forever F[r]ame

Programowanie rozproszone 577 dni, 18 godzin, 50 minut temu dpawlukiewicz 188 źrodło rozwiń

Pierwszy odcinek naszego obiecanego kursu o mikroserwisach.

Źródło: www.youtube.com
Dziel się z innymi:
Distributed .NET Core - Episode 1

Programowanie rozproszone 657 dni, 19 godzin, 19 minut temu spetz 161 źrodło rozwiń

Akka.NET is quite opinionated in terms of persistence. Paraphrasing Henry Ford’s famous quote: You can persist your data any way you want in Akka.NET, so long as you use event sourcing. But what if you don’t want to? Perhaps the problem you are trying to solve doesn’t overlap with this particular mental model, and yet you think you can still gain a lot by leveraging Akka. Then you have to bake your own solution. In this blog post, I would like to show you one way of integrating Akka.NET with an ORM. To k...

Źródło: havret.io
Dziel się z innymi:
How to use Entity Framework Core with Akka.NET

Programowanie rozproszone 710 dni, 19 godzin, 46 minut temu Havret 125 źrodło rozwiń

Od mojego ostatniego artykułu, w którym wspominałem o rabbicie, minął prawie rok. Chyba najwyższa pora, aby napisać coś więcej. Szczególnie, że ostatnio w moje łapki wpadła bardzo ciekawa książka: Let’s learn 🙂 @[email protected]#neverstoplearningpic.twitter.com/ymGlRp6Ytq — Kamil Kiełbasa (@bd90) Tak off-topic – jeżeli chcielibyście, abym skrobnął drobną recenzję tej książki, dajcie mi znać 🙂 Moją nową miłością okazało się tworzenie aplikacji rozproszonych przy wykorzystaniu DDD, TDD i je...

Źródło: bd90.pl
Dziel się z innymi:
RabbitMQ - Bezbolesna integracja z .NET Core - bd90

Programowanie rozproszone 762 dni, 19 godzin, 37 minut temu bd90 164 źrodło rozwiń

Programowanie asynchroniczne na dobre zagościło na platformie .NET. Proces transformacji wszystkich bibliotek nie był najszybszy, ale większość liczących się graczy na rynku komponentów przygotowało już wersje asynchroniczne. Z przyrostkiem Async czy bez, metody zwracające Task albo Task stały się naszą codziennością, zwiększając przepustowość aplikacji i zmniejszając jałowy czas czekania na zwrócenie danych przez bazę (albo dowolne inne IO). Zatem skoro cała asynchroniczność miała przynieść takie zyski...

Źródło: devstyle.pl
Dziel się z innymi:
200% asynchronicznej mocy w C# z .NET Core 2.1 | devstyle.pl

Programowanie rozproszone 807 dni, 20 godzin, 15 minut temu Piotr Stapp 136 źrodło rozwiń

ASP.NET Core 2.1 was released by Microsoft at the end of May, and last week we deployed two consumer-facing applications upgraded to use ASP.NET Core 2.1 to production for the first time. These applications have now been run in production for an entire weekend of peak traffic, and we’ve seen some great performance improvements – in some cases improving average response times by over 40%.

Tagi: dotnetcore
Źródło: tech.just-eat.com
Dziel się z innymi:
[EN] Just-Eat - ASP.NET Core 2.1 – Supercharging Our Applications 🚀

Programowanie rozproszone 811 dni, 19 godzin, 18 minut temu Piotr Stapp 44 źrodło rozwiń

There are some common questions when it comes to microservices. One of them is „how to forward request from API gateway to the particular microservice?”. There’s no rule of thumb here because everyone has a slightly different approach, but the most popular solution I know is:For writes, so creates, updates and deletes (CUD) create a command and publish it to the service bus based on a queue like RabbitMQ.For reads (GET) forward the HTTP request to the internal API (not p...

Źródło: foreverframe.net
Dziel się z innymi:
Microservices, HTTP forwarding and RestEase - Forever F[r]ame

Programowanie rozproszone 981 dni, 21 godzin, 31 minut temu dpawlukiewicz 153 źrodło rozwiń

Wstęp do protokołu MQTT szeroko wykorzystywanego w komunikacji IoT. Prosty, lekki świetnie sprawdza się nie tylko w przesyłaniu odczytów z urządzeń do serwera pośredniczącego ale także komunikacji dwustronnej. Artykuł oparty o przykład w node.js oraz OpenSourcowy broker Mosquiotto.

Źródło: devenv.pl
Dziel się z innymi:
MQTT - protokół transmisji danych dla IoT - DevEnv

Programowanie rozproszone 1025 dni, 20 godzin, 15 minut temu devenv 138 źrodło rozwiń

How to start with Docker on Windows with ASP.Net Core.

Źródło: fildev.pl
Dziel się z innymi:
Docker on Windows - ASP.NET Core

Programowanie rozproszone 1089 dni, 21 godzin, 40 minut temu fildev 157 źrodło rozwiń

1 2 3 4 5... 11 12
AsyncExpert

Najaktywniejsi

1
(32 895,6)
2
(32 816,53)
3
(27 178,29)
4
(21 178,88)
5
(20 336,33)
6
(13 018,14)
7
(10 512,54)
8
(9 775,28)
9
(8 433,28)
10
(6 822,96)
11
(6 214,22)
12
(5 393,84)
13
(4 142,41)
14
(4 026,73)
15
(3 908,07)
16
(3 599,64)
17
(3 448,35)
18
(3 318,39)
19
(3 224,66)
20
(3 183,43)