dotnetomaniak.pl - Najnowsze artykuły o .NET w dziale Bazy danych i XML

Elastic wprowadził mechanizm Runetime fields, a Facebook’owi przydarzył się wyciek. Jest to dobry prektest by przetestować jedno i przyjrzeć się drugiemu 😁. Szczegóły o wycieku znajdziesz w artykule Niebezpiecznika.Spis treścihide1Wczytanie danychStruktura dokumentuLogstashEksploracja danych2Przetworzenie danychIngest PipelineReindexEksploracja danychRuntime fieldsBirthsday Month & yearWork normalizedEmail domain3AnalizaPracodawcyZagraniczne numery telefonu4Jakie roczniki najczęściej korzystają z Fa...

Elasticsearch Runtime fields, albo analiza "polskiej szlachty" na podstawie danych z Facebook w Kibana - Wiadro Danych

Bazy danych i XML 10 dni, 5 godzin, 31 minut temu mszymczyk 50 źrodło rozwiń

Używanie kontenerów bardzo ułatwia lokalne programowanie. W szczególności gdy nasz projekt jest rozbudowany i wykorzystuje różne elementy infrastrukturalne, takie jak baza danych, storage, kolejki i tym podobne rzeczy. Dzięki dockerowi możemy w kilka chwil postawić lokalne środowisko do pracy bez konieczności spędzania długich godzin na instalowaniu niezbędnych komponentów. W tym wpisie pokażę Ci, w jaki sposób postawić w dockerze SQL Server, jak go skonfigurow...

Źródło: plawgo.pl
Dziel się z innymi:
SQL Server i Docker - PROGRAMUJE .NET - Daniel Plawgo

Bazy danych i XML 43 dni, 3 godziny, 45 minut temu danielplawgo 135 źrodło rozwiń

Are you one of those people saying that Event Sourcing is detached from reality? Do you think that you don’t need such extravagance, as you have relational databases? Why go wild? What if I told you that relational databases use the Event Sourcing approach?

Źródło: event-driven.io
Dziel się z innymi:
What if I told you that Relational Databases are in fact Event Stores? - Oskar Dudycz

Bazy danych i XML 99 dni, 2 godziny, 55 minut temu oskar-at-net 53 źrodło rozwiń

Jedną z nowości, jaka pojawiła się w Entity Framework Core 5 jest obsługa relacji wiele do wielu bez konieczności dodawania klasy dla tabeli łączącej. Trochę to zajęło, szczególnie, że było to dostępne w zwykłym Entity Framework. Jednak, co istotne, systematycznie są dodawane kolejne rzeczy do Entity Framework Core. Bardzo fajne jest to, że z relacji możemy korzystać na dwa sposoby, o czym w tym wpisie 🙂Relacja wiele do wielu Relacje wiele do wielu realizuje ...

Źródło: plawgo.pl
Dziel się z innymi:
EF Core 5 relacja wiele do wielu - PROGRAMUJE .NET - Daniel Plawgo

Bazy danych i XML 99 dni, 23 godziny, 53 minuty temu danielplawgo 117 źrodło rozwiń

Myślałeś/aś kiedyś o utworzeniu strumienia z operacji w bazie danych? W tym wpisie dowiesz się czym jest Change Data Capture i jak go wykorzystać planując architekturę naszego systemu. W części praktycznej sprawdzimy działanie Debezium na bazie MySQLSpis treścihide1Co to jest Change Data Capture?Rodzaje Change Data CaptureQuery-BasedLog-Based2Jak mogę to wykorzystać?Zapis do wielu źródełIntegracja baz danychETL i Stream Processing3DebeziumŚrodowiskoKonfiguracja Debezium MySQL w Kafka ConnectDodanie danyc...

Change Data Capture - Zmień Bazę W Strumień (Debezium) - Wiadro Danych

Bazy danych i XML 122 dni, 3 godziny, 8 minut temu mszymczyk 59 źrodło rozwiń

W tym wpisie zajmę się tematem, który mam wrażenie bardzo często jest pomijany. To może niestety prowadzić do poważnych konsekwencji (utraty danych lub ich niepoprawności), które ciężko będzie namierzyć. Zobaczysz, w jaki sposób można rozwiązać ten problem dzięki optymistycznej współbieżności w .NET Core.Problem? Wcześniej czy później natrafimy na problem, w którym dwóch użytkowników/dwa procesy, czy jakieś inne elementy, będą próbowały zmienić w tym samym cza...

Optymistyczna współbieżność w EF Core - Blog Daniela Plawgo

Bazy danych i XML 183 dni, 3 godziny, 45 minut temu danielplawgo 145 źrodło rozwiń

Standard PostgreSQL management tool – pgAdmin, Differences in build SQL queries from TSQL dialect, Base differences in the search engine.

Źródło: the-worst.dev
Dziel się z innymi:
Entity Framework Core & PostgreSQL – differences from the perspective of using Microsoft SQL Server | The-worst.dev

Bazy danych i XML 221 dni, 4 godziny, 31 minut temu proguszewski 65 źrodło rozwiń

Cześć, dziś krótko rzucimy okiem na dosyć “nowy” poziom izolacji transakcji bazodanowej, na który natknąłem się czytając książkę Designing Data-Intensive Applications. Mowa o Snapshot Serializable Isolation. Zacznijmy jednak od przypomnienia, jak działają poziomy izolacji Snapshot i Serializable oraz po co w ogóle istnieją.

Źródło: itdepends.pl
Dziel się z innymi:
Snapshot + Serializable isolation = Snapshot Serializable Isolation

Bazy danych i XML 228 dni, 4 godziny, 2 minuty temu Daniel Dziubecki 45 źrodło rozwiń

Nagrałem film, w którym mówię o zaletach baz NoSQL. Odzew był ciekawy, ale momentami miałem wrażenie, że nie wszyscy widzą dwie strony medalu. Fakty są takie, że na bazach NoSQL można się nieźle przejechać 😉.Spis treścihide1Wersja wideo2Zarządzanie schematem3Mniej wybacza4Brak ACID5Brak SQL6Ograniczona analityka i/lub brak JOINów7PodsumowaniePodziel się:Like this:RelatedWersja wideoZarządzanie schematem Każda baza NoSQL podchodzi do schematu na swój sposób. W niektórych schematu nie ma (MongoDB), w nie...

Źródło: wiadrodanych.pl
Dziel się z innymi:
5 pułapek NoSQL - Wiadro Danych

Bazy danych i XML 234 dni, 4 godziny, 16 minut temu mszymczyk 110 źrodło rozwiń

W Apache Spark/PySpark posługujemy się abstrakcjami, a faktyczne przetwarzanie dokonywane jest dopiero gdy chcemy zmaterializować wynik operacji. Do dyspozycji mamy szereg bibliotek, którymi możemy łączyć się z różnymi bazami i systemów plików. W tym artykule dowiesz się jak połączyć dane z MySQL i MongoDB, a następnie zapisać je w Apache Cassandra.Spis treścihide1Środowisko2Dodanie danych do MongoDB3Dodanie danych do MySQL4Schemat danych w Cassandrze5ETL do Apache Cassandra w PySpark6Ciekawostka7Repozyt...

Źródło: wiadrodanych.pl
Dziel się z innymi:
PySpark ETL z MySQL i MongoDB do Cassandra - Wiadro Danych

Bazy danych i XML 248 dni, 4 godziny, 5 minut temu mszymczyk 22 źrodło rozwiń

Bazy relacyjne są sprawdzonym rozwiązaniem, ale nie pasują do wszystkich problemów. Na ratunek przychodzą bazy NoSQL.

Źródło: youtu.be
Dziel się z innymi:
Czemu Bazy NoSQL? (5 powodów) - YouTube

Bazy danych i XML 282 dni, 15 godzin, 14 minut temu mszymczyk 84 źrodło rozwiń

A couple of tricks which simplify database access code while using Dapper library.

Tagi: C#, DAPPER, SQLServer
Dziel się z innymi:
Working efficiently with legacy database using Dapper · Cezary Piątek Blog

Bazy danych i XML 284 dni, 1 godzinę, 38 minut temu cezarypiatek 127 źrodło rozwiń

Apache Cassandra to specyficzna baza danych. Skaluje się (uwaga) liniowo. Ma to swoją cenę: specyficzne modelowanie tabel, konfigurowalna spójność i ograniczona analityka. Apple wykonuje miliony operacji na sekundę na ponad 160 tys. instancjach Cassandry. Gromadzi przy tym ponad 100 PB danych. Ograniczoną analitykę można „wyleczyć” wykorzystując Apache Spark i connector od DataStax i o tym jest ten wpis.Spis treścihide1Środowisko2Dane3Utworzenie tabel w Apache Cassandra4Zasilenie Cassandry SparkiemWczyta...

Jak zacząć z Apache Spark i Cassandra - Wiadro Danych

Bazy danych i XML 290 dni, 3 godziny, 52 minuty temu mszymczyk 48 źrodło rozwiń

Elasticsearch zaskakuje nas swoimi możliwościami i szybkością działania, ale czy zwracane wyniki są prawidłowe? W tym wpisie dowiesz się jak Elasticsearch działa pod maską i dlaczego zwracane agregacje są pewnego rodzaju przybliżeniem.Spis treścihide1Elasticsearch pod maskąIndeksy, shardy i replikiZapytania i agregacjeSzacowanie2TestDataFrame w Apache SparkTop 20 LinesTop 10 vehicleNumber3WnioskiPodziel się:Dodaj do ulubionych:PodobneElasticsearch pod maskąIndeksy, shardy i repliki Zacznijmy od tego, ja...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Dlaczego Elasticsearch kłamie? Jak działa Elasticsearch? - Wiadro Danych

Bazy danych i XML 325 dni, 3 godziny, 53 minuty temu mszymczyk 75 źrodło rozwiń

W ramach urlopu i siedzenia w domu postanowiłam zaprogramować coś ciekawego w celu poszerzenia swoich umiejętności dotyczących m.in. .NET Core i Web API. Tak powstał pet projekt MyNozbe oparty na Nozbe. W trakcie programowania natknęłam się na ciekawy problem dotyczący Entity Frameworka, którym chciałam się z Wami podzielić.

EntityFramework – IncludeFilter() i IncludeOptimized() – Programmer-girl

Bazy danych i XML 347 dni, 5 godzin, 3 minuty temu Weronika Mularczyk 136 źrodło rozwiń

Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...

Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych

Bazy danych i XML 353 dni, 5 godzin, 2 minuty temu mszymczyk 62 źrodło rozwiń

Przemysław Walkowski No i stało się. Skończyłem kurs. 12 tygodni, co tydzień nowe lekcje i dużo wiedzy. Poniżej zamieszczam moją recenzję. Kurs kupiłem za 800zł i od początku zgodnie z terminami robiłem to co było wymagane. Głownie zadania domowe. Kurs jest dostępny https://dbmaster.pl/. Kurs prowadził w całości Damian Widera. Zapraszam do recenzji.TLTR; Kurs jest bardzo ale to bardzo nie równy. Brak stałego poziomu prowadzi do tego, że czasem byłem bardzo za...

Tagi: bazy danych, kurs
Dziel się z innymi:
Recenzja kursu DB-Master | Blog Programisty.NET

Bazy danych i XML 361 dni, 4 godziny, 8 minut temu przemekwa 138 źrodło rozwiń

Pisząc aplikację zwykle piszemy testy. Raczej nie muszę wyjaśniać po co 🙂 Czy tworząc różne procedury lub funkcje na bazie danych też sprawdzamy ich poprawność pisząc testy? Tu już niekoniecznie. A szkoda, bo pisanie testów w tSQLt nie różni się za bardzo od pisania zwykłych testów jednostkowych...

Dziel się z innymi:
tSQLt czyli testy SQL – Programmer-girl

Bazy danych i XML 361 dni, 4 godziny, 8 minut temu Weronika Mularczyk 58 źrodło rozwiń

Entity Framework Core 5 vs SQLBulkCopyPosted in ASP.NET Core 5 & EF Core 5. Entity Framework Core 5 is a great ORM to use and connect to the database with. It is easy to use and easy to understand. It offers just enough for the most common scenarios. So what about inserting big amounts of data in a one go? Would it be fast enough?Let’s have a look at the code As my example, I’ll take a very simple entity – a Profile and PrimeHotel repository available here at my GitHub.  My DbContext is very simple ...

Tagi: .net 5, ef core
Dziel się z innymi:
Entity Framework Core 5 vs SQLBulkCopy – Michał Białecki Blog

Bazy danych i XML 365 dni, 3 godziny, 56 minut temu michal-bialecki 80 źrodło rozwiń

Elasticsearch najczęściej wykorzystywany jest do agregowania logów i monitorowania elementów systemu. Umożliwia również alertowanie, ale jest to funkcjonalność dostępna od wersji Gold, czyli trzeba za nią zapłacić 😥. Są jednak darmowe rozwiązania. W tym przypadku przyjrzymy się rozwiązaniu Praeco (z łac. obwoływacz, herold) opartym o ElastAlert.Spis treścihide1Praeco2Środowisko3KonfiguracjaPraeco & ElastAlertLogstashReguła w Praeco4Akcja5Reakcja6PodsumowaniePodobnePraeco ElastAlert jest to rozwiązan...

Źródło: wiadrodanych.pl
Dziel się z innymi:
(Darmowe) Alerty w Elasticsearch - Wiadro Danych

Bazy danych i XML 430 dni, 3 godziny, 12 minut temu mszymczyk 42 źrodło rozwiń

1 2 3 4 5... 21 22

Najaktywniejsi

1
(32 895,6)
2
(32 816,53)
3
(27 178,29)
4
(21 178,88)
5
(20 336,33)
6
(13 018,14)
7
(10 531,65)
8
(9 775,28)
9
(8 851,31)
10
(6 837,96)
11
(6 214,22)
12
(5 393,84)
13
(4 157,41)
14
(4 026,73)
15
(3 908,07)
16
(3 599,64)
17
(3 448,35)
18
(3 318,39)
19
(3 224,66)
20
(3 221,45)