dotnetomaniak.pl - Artykuły z tagiem data

Mówi się, że Apache Airflow to CRON na sterydach. Zdobywa uznanie wśród narzędzi do orchestracji ETL’i. Harmonogramowanie, zarządzanie i monitorowanie zadań mu nie straszne. Podstawowym sposobem definiowania zadań są acyklicze grafy skierowane (DAG). Zadania w nich muszą wymieniać się informacjami. We wpisie dowiesz się jak używać Variables i XCom w Apache Airflow.

Źródło: wiadrodanych.pl
Dziel się z innymi:
Jak Używać Variables i XCom w Apache Airflow? - Wiadro Danych

Inne 1429 dni, 14 godzin, 16 minut temu mszymczyk 19 źrodło rozwiń

Zapraszam do historii 3 PRów, które optymalizują jednego z klientów Ethereum, Nethermind. Zaczęło się niewinnie, od profilowania, a skończyło na przepisaniu implementacji cache'a.

[EN] Optymalizacja wydajności w Nethermind (Ethereum)

Sztuka programowania 1445 dni, 14 godzin, 24 minuty temu Scooletz 59 źrodło rozwiń

Nagrałem film, w którym mówię o zaletach baz NoSQL. Odzew był ciekawy, ale momentami miałem wrażenie, że nie wszyscy widzą dwie strony medalu. Fakty są takie, że na bazach NoSQL można się nieźle przejechać 😉.Spis treścihide1Wersja wideo2Zarządzanie schematem3Mniej wybacza4Brak ACID5Brak SQL6Ograniczona analityka i/lub brak JOINów7PodsumowaniePodziel się:Like this:RelatedWersja wideoZarządzanie schematem Każda baza NoSQL podchodzi do schematu na swój sposób. W niektórych schematu nie ma (MongoDB), w nie...

Źródło: wiadrodanych.pl
Dziel się z innymi:
5 pułapek NoSQL - Wiadro Danych

Bazy danych i XML 1508 dni, 15 godzin, 34 minuty temu mszymczyk 112 źrodło rozwiń

Bawiąc się różnymi bibliotekami, frameworkami itp. potrzebujemy danych. Możemy takie wygenerować, ale efekt nie będzie ten sam. Dane pochodzące z rzeczywistego źródła lepiej oddają różnorodność (jedna z V z której składa się Big Data). Są też po prostu ciekawsze, trudniejsze i mogą być związane naszymi zainteresowaniami (np. triathlon)

Źródło: wiadrodanych.pl
Dziel się z innymi:
Skąd brać dane? 11 źródeł (w tym polskie) - Wiadro Danych

Bazy danych i XML 1821 dni, 14 godzin, 24 minuty temu mszymczyk 173 źrodło rozwiń

Konkretne przypadki które warto znać w temacie konwersji konceptualnego modelu danych (ERD) do modelu fizycznego. Wersja polska i angielska.

[EN] Converting conceptual/logical to physical data model - mSzymczyk Blog

Bazy danych i XML 2200 dni, 14 godzin, 13 minut temu mszymczyk 47 źrodło rozwiń

Niejednokrotnie musimy przeczytać jakieś dane “skądś”, i nie mam na myśli bazy danych. Czy to zewnętrzny system przysyła excela, czy na dysku ląduje plik tekstowy, czy jeszcze coś innego. Takie pliki musimy przetworzyć, więc prawdopodobnie utworzymy klasę “XFileProcessor” albo “XFileParser”, czy coś w ten deseń. To jest akurat idealny scenariusz do pisania testów: dostajemy input i znamy oczekiwany output. Klient przysyła plik wejściowy i mówi, ja...

Dziel się z innymi:
Pliki z danymi testowymi | Maciej Aniserowicz o programowaniu

Inne 3708 dni, 22 godziny, 54 minuty temu psz750 215 źrodło rozwiń