dotnetomaniak.pl - Najnowsze artykuły o .NET w dziale Programowanie rozproszone

Czym właściwie jest Kafka i jakie są jej zastosowania? Zgodnie z definicją jest to platforma przeznaczona głównie do przetwarzania danych strumieniowo. Ciekawostką jest, że projekt zapoczątkowano w LinkedIn, a w późniejszym etapie stał się open-source’owy.

Źródło: pieceofdata.pl
Dziel się z innymi:
Apache Kafka – Niezbędne podstawy teoretyczne

Programowanie rozproszone 63 dni, 13 godzin, 39 minut temu LukaszIdz 66 źrodło rozwiń

Pierwszy wpis na blogu i zarazem mój debiut. Co prawda ten artykuł z .NET powiązany nie jest - ale nie wykluczam w przyszłości i takich z pogranicza .NET – Data ;) Każdy feedback będzie mile widziany.

Źródło: pieceofdata.pl
Dziel się z innymi:
Czy potrzebujesz Big Data? – Piece of Data

Programowanie rozproszone 232 dni, 14 godzin, 22 minuty temu LukaszIdz 24 źrodło rozwiń

Chcemy, aby nasze aplikacje w Apache Spark wykorzystywały wszystkie przydzielone zasoby. Niestety nie jest to takie proste. Rozproszenie obliczeń niesie za sobą koszty zarządzania zadaniami, a same zadania mają wobec siebie zależności. Z jednej strony ogranicza nas CPU (szybkość obliczeń), z drugiej strony dyski i sieć. MapReduce poświęciłem dedykowany materiał wideo. W artykule dowiesz się jak w 2 prostych krokach poprawić utylizację zasobów w Apache Spark.Spis treścihide1Prosta aplikacja2Nie taka prost...

Apache Spark - 2 Kroki do Lepszej Utylizacji Zasobów - Wiadro Danych

Programowanie rozproszone 266 dni, 13 godzin, 19 minut temu mszymczyk 13 źrodło rozwiń

If you want to know : - why I think that distributed systems are like Rocky Balboa. - the difference between Saga, Process Manager and Choreography. Here's my take on that together with the real-world samples.

Źródło: event-driven.io
Dziel się z innymi:
Saga and Process Manager - distributed processes in practice - Oskar Dudycz

Programowanie rozproszone 292 dni, 13 godzin, 20 minut temu oskar-at-net 116 źrodło rozwiń

gRPC is a modern open source remote procedure call framework. There are many exciting features in gRPC: real-time streaming, client-to-server code generation, and great cross-platform support to name a few. The most exciting to me, and consistently mentioned by developers who are interested in gRPC, is performance. Last year Microsoft contributed a new implementation of gRPC for .NET to the CNCF. Built on top of Kestrel and HttpClient, gRPC for .NET makes gRPC a first-class me...

Tagi: gRPC
Dziel się z innymi:
gRPC performance improvements in .NET 5

Programowanie rozproszone 397 dni, 13 godzin, 44 minuty temu rroszczyk 71 źrodło rozwiń

Było o HDFS. Teraz wjeżdża temat MapReduce. Trzeba zagonić serwery do roboty 😈

Jak działa MapReduce?

Programowanie rozproszone 505 dni, 15 godzin, 50 minut temu mszymczyk 97 źrodło rozwiń

Dlaczego nie wystarczy nam macierz i jak działa HDFS.

Po co rozpraszać storage? Krótko o HDFS.

Programowanie rozproszone 512 dni, 14 godzin, 42 minuty temu mszymczyk 102 źrodło rozwiń

Obrazy Dockera są łatwe w obsłudze. Nie musimy instalować konkretnej wersji środowiska, bibliotek i innych zależności. Wszystko powinno być zamknięte w abstrakcji zwanej kontenerem. Możemy je uruchamiać i skalować w Docker Swarm lub Kubernetes. W tym wpisie zajmiemy się dockeryzacją aplikacji Kafka Streams na przykładzie strumienia dla lokalizacji autobusów ZTM przedstawionym w poprzednim wpisie.Spis treścihide1Zmiany w pom.xml2Zmiany w kodzie aplikacji Kafka Streams3Dockerfile4Zbudowanie obrazu Docker5D...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 202 - Dockeryzacja aplikacji, czyli Kafka w kontenerze - Wiadro Danych

Programowanie rozproszone 567 dni, 14 godzin, 23 minuty temu mszymczyk 30 źrodło rozwiń

Czasami klasyczne Kafka DSL nam nie wystarcza. Processor API pozwala na dowolne zdefiniowanie procesora, a co najlepsze, wykorzystanie State Store. W tym przypadku obliczymy prędkość, kierunek i dystans pojazdów komunikacji miejskiej w Warszwie.Spis treścihide1Rozkład jazdy2Źródło3Plan4Dlaczego Processor API?5No to lecimyOdczyt danych z KafkiTestyTopologiaProcesorTesty6Czy z prawdziwą Kafką też działa?7Repozytorium8PodsumowaniePodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyją...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 201 – Obliczanie prędkości, Processor API, KeyValueStore - Wiadro Danych

Programowanie rozproszone 580 dni, 14 godzin, 58 minut temu mszymczyk 29 źrodło rozwiń

Błędy zdarzają się każdemu. Prędzej czy później nasza aplikacja Kafka Streams dostanie wiadomość, która ją zabije (Poison Pill). Niestety uruchomienie jej ponownie nie pomoże, dopóki wiadomość nie zniknie z kolejki. W tym wpisie spróbujemy obsłużyć takie wiadomości i zapisać je do Dead Letter Queue.Spis treścihide1Rozkład jazdy2Poison Pill3Rozwiązania4Problemy5Dead Letter Queue6Filtrowanie wadliwych rekordówPodczas deserializacjiPodczas transformacji7Wykorzystanie Dead Letter QueuePodczas deserializacjiP...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Kafka Streams 102 - Wyjątki i Dead Letter Queue - Wiadro Danych

Programowanie rozproszone 609 dni, 14 godzin, 29 minut temu mszymczyk 29 źrodło rozwiń

Kto lubi ciasto? Ja uwielbiam! Zwłaszcza takie dotnetowe :) Cake pozwala pisać build skrypty w C#. Zamiast ręcznie uruchamiać skrypty, albo bawić się Powershellem, można je zaprogramować w znanym języku. Co lepsze, można stworzyć repozytorium i w nim trzymać cały kod związany z deploymentem

Tagi: C#, Cake, devops, Powershel
Dziel się z innymi:
O Cake słów kilka – programmer-girl

Przetwarzanie strumieniowe jest dzisiaj standardem. Skoro i tak większość osób korzysta z Apache Kafka jako kolejki, czemu nie spróbować Kafka Streams? Jest to rozwiązanie skalowalne i nie wymaga specjalnych środowisk typu YARN czy Apache Mesos. Ten wpis rozpoczyna serię wpisów dotyczących Kafka Streams.Spis treścihide1Cel2Podstawy3Środowisko4Pierwszy strumień – LowerCaseStream5De/Serializacja z łapyPoison Pill6De/Serializacja nie z łapyPoison Pill7Co dalej?8RepozytoriumPodobneCel We wpisach z tego cykl...

Kafka Streams 101 - Wiadro Danych

Programowanie rozproszone 623 dni, 14 godzin, 1 minutę temu mszymczyk 48 źrodło rozwiń

Ostatni wpis zamknął serię związaną z implementacją mikroserwisów jako takich. Jest jednak jeszcze wiele tematów związanych z ich utrzymywaniem i wdrażaniem, które chciałbym sukcesywnie poruszać na blogu. Dziś zaczniemy od moim zdanim kluczowego mechanizmu, bez którego praca z systemem rozproszonym na produkcji może okazać się piekłem.  Cym jest rozproszone śledzenie? Wyobraź sobie, że zakończył się etap implementacj...

Rozproszone śledzenie mikroserwisów z OpenTracing i Jaeger - Forever F[r]ame

Programowanie rozproszone 764 dni, 13 godzin, 31 minut temu dpawlukiewicz 154 źrodło rozwiń

W poprzednim wpisie poruszyłem tematykę transakcji biznesowych w systemach rozproszonych, przedstawiając różne sposoby na ich projektowania i kontrolowanie. Dziś, zgodnie z zapowiedzią przedstawię kod C#, który będzie niczym innym jak implementacją hybrydową wzorca saga/oraz process manager. Bez zbędnego przedłużania, zaczynajmy!  Chronicle – potrzeba matką wynalazków… Jeżeli czytałeś/aś...

Źródło: foreverframe.net
Dziel się z innymi:
Chronicle, czyli saga/process manager dla .NET Core - Forever F[r]ame

Programowanie rozproszone 776 dni, 14 godzin, 30 minut temu dpawlukiewicz 283 źrodło rozwiń

A little while ago I blogged here and I set it up to be a "continues..." style post. I haven't had the energy to continue it in that context, and this fact was putting me off concluding the post. I then realised: the thing that matters isn't some overarching narrative structure, but that I get my ideas down. So: I'm aborting any attempt at making this post a continuation, and just focusing on the content! There's been a lot of confusion over when to use Task[

Tagi: Task
Dziel się z innymi:
Code, code and more code.: Prefer ValueTask to Task, always; and don't await twice

Programowanie rozproszone 827 dni, 14 godzin, 30 minut temu rroszczyk 111 źrodło rozwiń

Dziś odpowiedź na zdecydowanie najczęściej zadawane pytanie w kontekście naszego projektu DShop. Brzmi ono „w jaki sposób użytkownik końcowy aplikacji wie czy jego komenda została (i kiedy została) przetworzona?”. Na pierwszy rzut oka odpowiedź na to pytanie może wydawać się trywialna, prawda? Wszak większość typowych aplikacji webowych po wykonaniu jakiejś akcji informuje nas o jej powodzeniu lub błędzie poprzez np. toastry...

CQRS i mikroserwisy...i async: jak poinformować użytkownika o stanie przetwarzanej operacji? - Forever F[r]ame

Programowanie rozproszone 972 dni, 14 godzin, 47 minut temu dpawlukiewicz 315 źrodło rozwiń

Kontynuujemy naszą podróż z mikroserwisami! Dziś przejdziemy do nieco bardziej „zaawansowanych” zagadnień, które mam nadzieje okażą się dla Ciebie zrozumiałe, a ich użycie – zasadne. Zacznijmy od problemu, aby móc w ogóle przejść do tematu dzisiejszego wpisu. Jak zapewne pamiętasz we wpisie o odczycie danych przedstawiłem bibliotekę RestEase, dzięki której w łatwy sposób mogliśmy wykonywać żądania HTTP z API Gateway do konkr...

Źródło: foreverframe.net
Dziel się z innymi:
Service Discovery i Load Balancing z Consul i Fabio - Forever F[r]ame

Programowanie rozproszone 1009 dni, 12 godzin, 45 minut temu dpawlukiewicz 209 źrodło rozwiń

Pierwszy odcinek naszego obiecanego kursu o mikroserwisach.

Źródło: www.youtube.com
Dziel się z innymi:
Distributed .NET Core - Episode 1

Programowanie rozproszone 1089 dni, 13 godzin, 14 minut temu spetz 167 źrodło rozwiń

Akka.NET is quite opinionated in terms of persistence. Paraphrasing Henry Ford’s famous quote: You can persist your data any way you want in Akka.NET, so long as you use event sourcing. But what if you don’t want to? Perhaps the problem you are trying to solve doesn’t overlap with this particular mental model, and yet you think you can still gain a lot by leveraging Akka. Then you have to bake your own solution. In this blog post, I would like to show you one way of integrating Akka.NET with an ORM. To k...

Źródło: havret.io
Dziel się z innymi:
How to use Entity Framework Core with Akka.NET

Programowanie rozproszone 1142 dni, 13 godzin, 40 minut temu Havret 127 źrodło rozwiń

Od mojego ostatniego artykułu, w którym wspominałem o rabbicie, minął prawie rok. Chyba najwyższa pora, aby napisać coś więcej. Szczególnie, że ostatnio w moje łapki wpadła bardzo ciekawa książka: Let’s learn 🙂 @[email protected]#neverstoplearningpic.twitter.com/ymGlRp6Ytq — Kamil Kiełbasa (@bd90) Tak off-topic – jeżeli chcielibyście, abym skrobnął drobną recenzję tej książki, dajcie mi znać 🙂 Moją nową miłością okazało się tworzenie aplikacji rozproszonych przy wykorzystaniu DDD, TDD i je...

Źródło: bd90.pl
Dziel się z innymi:
RabbitMQ - Bezbolesna integracja z .NET Core - bd90

Programowanie rozproszone 1194 dni, 13 godzin, 31 minut temu bd90 168 źrodło rozwiń

1 2 3 4 5... 11 12
Webinar Back-End development
devadventcalendar2021.png

Najaktywniejsi w tym miesiącu