Mówi się, że Apache Airflow to CRON na sterydach. Zdobywa uznanie wśród narzędzi do orchestracji ETL’i. Harmonogramowanie, zarządzanie i monitorowanie zadań mu nie straszne. Podstawowym sposobem definiowania zadań są acyklicze grafy skierowane (DAG). Zadania w nich muszą wymieniać się informacjami. We wpisie dowiesz się jak używać Variables i XCom w Apache Airflow.
Zapraszam do historii 3 PRów, które optymalizują jednego z klientów Ethereum, Nethermind. Zaczęło się niewinnie, od profilowania, a skończyło na przepisaniu implementacji cache'a.
Sztuka programowania 1488 dni, 18 godzin, 28 minut temu 59 źrodło rozwiń
Nagrałem film, w którym mówię o zaletach baz NoSQL. Odzew był ciekawy, ale momentami miałem wrażenie, że nie wszyscy widzą dwie strony medalu. Fakty są takie, że na bazach NoSQL można się nieźle przejechać 😉.Spis treścihide1Wersja wideo2Zarządzanie schematem3Mniej wybacza4Brak ACID5Brak SQL6Ograniczona analityka i/lub brak JOINów7PodsumowaniePodziel się:Like this:RelatedWersja wideoZarządzanie schematem Każda baza NoSQL podchodzi do schematu na swój sposób. W niektórych schematu nie ma (MongoDB), w nie...
Bazy danych i XML 1551 dni, 19 godzin, 38 minut temu 112 źrodło rozwiń
Bawiąc się różnymi bibliotekami, frameworkami itp. potrzebujemy danych. Możemy takie wygenerować, ale efekt nie będzie ten sam. Dane pochodzące z rzeczywistego źródła lepiej oddają różnorodność (jedna z V z której składa się Big Data). Są też po prostu ciekawsze, trudniejsze i mogą być związane naszymi zainteresowaniami (np. triathlon)
Bazy danych i XML 1864 dni, 18 godzin, 27 minut temu 173 źrodło rozwiń
Konkretne przypadki które warto znać w temacie konwersji konceptualnego modelu danych (ERD) do modelu fizycznego. Wersja polska i angielska.
Bazy danych i XML 2243 dni, 18 godzin, 17 minut temu 47 źrodło rozwiń
Niejednokrotnie musimy przeczytać jakieś dane “skądś”, i nie mam na myśli bazy danych. Czy to zewnętrzny system przysyła excela, czy na dysku ląduje plik tekstowy, czy jeszcze coś innego. Takie pliki musimy przetworzyć, więc prawdopodobnie utworzymy klasę “XFileProcessor” albo “XFileParser”, czy coś w ten deseń. To jest akurat idealny scenariusz do pisania testów: dostajemy input i znamy oczekiwany output. Klient przysyła plik wejściowy i mówi, ja...