dotnetomaniak.pl

dotnetomaniak.pl - Najnowsze artykuły o .NET w dziale Bazy danych i XML

Cześć. Dziś postaram się opisać, jak zmigrowałem dosyć sporą ilość danych (110 mln wierszy) z SQL Servera do Elasticsearcha.

Źródło: itdepends.pl
Dziel się z innymi:
Migracja 110 mln wierszy z SQL Server do Elasticsearch

Bazy danych i XML 13 dni, 14 godzin, 47 minut temu Daniel Dziubecki 177 rozwiń

W ostatnim wpisie poruszyłem temat testowania i w dzisiejszym wpisie zostaniemy przy tym temacie. O ile z testowaniem warstwy logiki biznesowej na ogół nie mamy problemów, to już dużo gorzej wygląda to z warstwą dostępu do danych. Entity Framework z pudełka nie umożliwia prostego pisania testów jednostkowych. Są różne rozwiązania tego problemu. Część osób idzie tak naprawdę w testy integracyjne i wykonuje zapytania na realnej bazie. Część osób korzysta z baz da...

Źródło: plawgo.pl
Dziel się z innymi:
Effort - testy Entity Framework - Blog Daniela Plawgo

Bazy danych i XML 17 dni, 16 godzin, 41 minut temu danielplawgo 177 rozwiń

Using .NET Database Project and DbUp library for database management.

Tagi: DATABASE, DbUp, SQL, tools
Dziel się z innymi:
[EN] Using Database Project and DbUp for database management - Kamil Grzybek

Bazy danych i XML 19 dni, 16 godzin, 45 minut temu kamgrzybek 64 rozwiń

Description of most common database change management approaches.

Dziel się z innymi:
[EN] Database change management - Kamil Grzybek

Bazy danych i XML 26 dni, 16 godzin, 48 minut temu kamgrzybek 80 rozwiń

Bardzo lubię wykorzystywać Entity Framework w swoich projektach. W szczególności za łatwość i szybkość tworzenia kodu (na przykład za opisywany ostatnio mechanizm migracji). Ale, żeby nie było tak różowo, Entity Framework ma również swoje problemy. Głównie są one związane z wydajnością. Szczególnie, że niektóre operacje, który wykonalibyśmy w czystym SQLu jednym prostym zapytaniem, w Entity Framework wymagają wielu operacji na bazie danych. Taką operacji jest ...

Tagi: .Net, C#, EF
Źródło: plawgo.pl
Dziel się z innymi:
EF Plus - aktualizacja wielu obiektów jednym zapytaniem

Bazy danych i XML 32 dni, 17 godzin, 7 minut temu rroszczyk 177 rozwiń

Cześć. dzisiaj chciałbym skupić się na trochę innym temacie niż ostatnio. Pomówimy o bazach danych. A dokładniej o rozwiązaniu które dostarcza Azure, zwanym read scale-out replicas. Zanim jednak przejdę do meritum, chciałbym wam przestawić powód dla którego się tym zainteresowałem. Wszystko zaczęło się od naszego firmowego projektu. Jako że projekt już jakiś czas istnieje, pojawiła się naturalna potr...

Źródło: www.contend.pl
Dziel się z innymi:
Azure Read Scale-Out feature - Contend

Bazy danych i XML 33 dni, 15 godzin, 39 minut temu contend 33 rozwiń

Konkretne przypadki które warto znać w temacie konwersji konceptualnego modelu danych (ERD) do modelu fizycznego. Wersja polska i angielska.

[EN] Converting conceptual/logical to physical data model - mSzymczyk Blog

Bazy danych i XML 46 dni, 17 godzin, 7 minut temu mszymczyk 46 rozwiń

Dwa ostatnie wpisy na blogu dotyczyły sposób migracji schematu bazy danych. Migracje w Entity Framework oraz Fluent Migrator charakteryzują się tym, że cały proces migracji jest zapisany w klasach za pomocą api, które udostępnia dana biblioteka. Ilość sqla, którą piszemy w tych migracjach jest minimalizowana i sprowadza się głównie do wykonywania jakiś specyficznych rzeczy – np. skopiowania danych z jednego miejsca w drugie. Natomiast dzisiejsza biblioteka (DbU...

Tagi: DbUp, migracja
Źródło: plawgo.pl
Dziel się z innymi:
Migracja schematu bazy danych z DbUp - Blog Daniela Plawgo

Bazy danych i XML 59 dni, 16 godzin, 26 minut temu danielplawgo 100 rozwiń

W ubiegłym tygodniu pokazałem Ci w jaki sposób migrować schemat bazy w Entity Framework (zachęcam pierw do przeczytania tamtego wpisu). W tym wpisie pokaże Ci inną bibliotekę, którą możesz użyć do migracji schematu bazy, w momencie, gdy z jakiegoś powodu nie możesz użyć Entity Framework. Biblioteka nazywa się Fluent Migrator (https://fluentmigrator.github.io/) i w swoim działaniu jest bardzo podobna do mechanizmu migracji z Entity Framework. Największą różnicą ...

Źródło: plawgo.pl
Dziel się z innymi:
Migracja schematu bazy danych z Fluent Migrator - Blog Daniela Plawgo

Bazy danych i XML 66 dni, 18 godzin, 6 minut temu danielplawgo 99 rozwiń

W obecnych czasach bardzo rzadko tworzy się aplikacje, które nie korzystają z bazy danych. Gdzieś trzeba zapisać dane. Od jakiegoś czasu coraz bardziej popularne stają są bazy nierelacyjne, ale dalej najczęściej używamy baz relacyjnych, takich jak na przykład SQL Server. Jednym z problemów z jaki musimy się zmierzyć jest zmiana schematu bazy danych na przestrzeni czasu. A to musimy dodać miejsce na nowe dane. Usunąć już istniejące. Czy też zmienić strukturę, ab...

Źródło: plawgo.pl
Dziel się z innymi:
Migracja schematu bazy danych w Entity Framework - Blog Daniela Plawgo

Bazy danych i XML 73 dni, 17 godzin, 55 minut temu danielplawgo 164 rozwiń

Założę, że programujesz obiektowo. W takim razie niemalże na pewno zdarzyło Ci się stanąć przed wyborem bibliotek w momencie tworzenia rozwiązania lub przeglądać stos technologiczny istniejącego projektu. Myślę, że się nie pomylę, jeżeli napiszę, że w większości, jeśli nie we wszystkich przypadkach przed Twoimi oczami mignął jakiś ORM. Czasem okazuje się też, że SQL jest wymagany tylko i wyłącznie dlatego, że ten konkretny maper stoi nad tą, a nie inną technologią bazodanową.

Tagi: ORM, SQL
Źródło: devstyle.pl
Dziel się z innymi:
Kilka słów o tabelach w obiektowym świecie – ORM czy SQL?

Bazy danych i XML 75 dni, 18 godzin, 2 minuty temu rroszczyk 171 rozwiń

Kim jest data scientist? Co to za twór? Jakie języki programowania warto znać, aby pracować w świeżej gałęzi IT - czyli data science?

Data scientist – nowy zawód na nowe czasy

Bazy danych i XML 76 dni, 17 godzin, 40 minut temu djfoxer 77 rozwiń

Entity Framework jest bardzo fajnym narzędziem bardzo ułatwiającym pracę z bazami danych. Budowanie zapytań SQL na podstawie Linq, tworzenie struktury bazy danych na podstawie obiektów w C#, czy mechanizm migracji, powodują, że wielu programistów .NET wybiera Entity Framework. Niestety Entity Framework ma również swoje ciemne strony. Wystarczy chociażby wrócić do wpisu, w którym poruszałem problem aktualizowanie oraz usuwania danych. Pracując z Entity Framewor...

Źródło: plawgo.pl
Dziel się z innymi:
Jak profilować zapytania w Entity Framework? - Blog Daniela Plawgo

Bazy danych i XML 87 dni, 18 godzin, 6 minut temu danielplawgo 233 rozwiń

Z MongoDB pierwszy raz zetknąłem się kilka miesięcy temu, kiedy to zacząłem projekt właśnie osadzony w klimacie tej bazy danych. Jako .NET-owiec pracowałem wcześniej tylko z relacyjnymi bazami danych SQL, był to głównie MSSQL wraz ze środowiskiem SMS, czyli Server Management Studio. MongoDB zrobiło na mnie pozytywne wrażenie, a o tym

MongoDB, a baza danych SQL - nomesscode

Bazy danych i XML 103 dni, 18 godzin, 2 minuty temu igorzysko 102 rozwiń

Od czasu do czasu musimy wstawić do bazy wiele rekordów na raz, najczęściej w przypadku importu danych. Jest wiele sposobów na wykonanie tej czynności, ale najprościej stworzyć DbContext, dodać elementy do kolekcji, a następnie zapisać za pomocą SaveChanges. Gdy korzystamy z Entity Framework 6, istnieje kilka zasad, których powinniśmy przestrzegać, aby wydajnośc rozwiązania była odpowiednia ...

Dziel się z innymi:
Entity Framework - dodawanie / import wielu rekordów na raz

Bazy danych i XML 111 dni, 18 godzin, 7 minut temu Łukasz Ledóchowski 142 rozwiń

Wyobraźmy sobie następujący scenariusz. Mamy jakąś bazę danych i chcemy do niej wstawić gotowe testowe rekordy lub zaktualizować już istniejące. Jak możemy to zrobić?

Tagi: SQL, Union, with
Dziel się z innymi:
Rekurencja w SQL – magiczne słówko WITH – programmer-girl

Bazy danych i XML 132 dni, 18 godzin, 6 minut temu Weronika Tobor 140 rozwiń

Dzisiejszy wpis jest zainspirowanym jednym z ostatnich code review jaki robiłem. Zauważyłem, że gdy pracujemy z Entity Framework często niektóre rzeczy zaczynamy robić nieefektywnie w stosunku do tego, jakbyśmy zrobili to w chociażby w przypadku ADO.NET. Taką właśnie czynnością jest aktualizowanie oraz usuwanie obiektów z bazy.Aktualizacja obiektu z jego pobraniem Standardowo, gdy zaczynamy uczyć się pracować z Entity Framework, do aktualizacji obiektu możemy ...

Źródło: plawgo.pl
Dziel się z innymi:
Entity Framework - aktualizacja danych bez ich pobierania - Blog Daniela Plawgo

Bazy danych i XML 164 dni, 17 godzin, 55 minut temu danielplawgo 187 rozwiń

Many web applications use databases for persistent data storage, and using Object Relational Mapping (ORM) frameworks is a common way to develop such database-backed web applications. Unfortunately, developing efficient ORM applications is challenging, as the ORM framework hides the underlying database query generation and execution. This problem is becoming more severe as these applications need to process an increasingly large amount of persistent data. Recent research has targeted specific aspects of ...

Tagi: ORM
Dziel się z innymi:
[EN] How not to structure your database-backed web applications: a study of performance bugs in the wild.

Bazy danych i XML 164 dni, 17 godzin, 55 minut temu Piotr Stapp 39 rozwiń

For some time now I am working quite heavily on AWS in my current project. And of course we try and give our systems the shape of micro services (who wouldn't?). When using micro services architecture it is very often a good practice to not use a single database to which every single service is connecting whenever it needs data. Instead it is recommended to give every service which uses data its own database to store its model. AWS give us a very interesting NoSql database named DynamoDb which purpose is...

Tagi: AWS, NoSQL
Dziel się z innymi:
AWS DynamoDb. The great ugly database

Bazy danych i XML 206 dni, 19 godzin, 5 minut temu g_naj 22 rozwiń

I have impression that there is not enough talk about denormalization at universities. One gets the impression that normalization is a standard and should be used anytime, anywhere.

A few thoughts about normalization and N+1 problem - mSzymczyk Blog

Bazy danych i XML 226 dni, 18 godzin, 25 minut temu mszymczyk 57 rozwiń

1 2 3 4 5... 18 19