Nagrałem film, w którym mówię o zaletach baz NoSQL. Odzew był ciekawy, ale momentami miałem wrażenie, że nie wszyscy widzą dwie strony medalu. Fakty są takie, że na bazach NoSQL można się nieźle przejechać 😉.Spis treścihide1Wersja wideo2Zarządzanie schematem3Mniej wybacza4Brak ACID5Brak SQL6Ograniczona analityka i/lub brak JOINów7PodsumowaniePodziel się:Like this:RelatedWersja wideoZarządzanie schematem Każda baza NoSQL podchodzi do schematu na swój sposób. W niektórych schematu nie ma (MongoDB), w nie...
Strona głównaUżytkownik
mszymczyk | użytkownik
Nazwa:
mszymczyk
Punkty:
708,06
Ostatnio widziany:
4 dni, 20 godzin, 6 minut
temu
Zarejestrowany od:
19 kwietnia, 2018
dotnetomaniak.pl
![PySpark ETL z MySQL i MongoDB do Cassandra - Wiadro Danych]()
![Elastic SIEM w pigułce (część 2) - Wiadro Danych]()
![Elastic SIEM w pigułce (część 1) - Wiadro Danych]()
![Czemu Bazy NoSQL? (5 powodów) - YouTube]()
![Lifehacks for working with big databases – A Girl Among Geeks]()
![Jak zacząć z Apache Spark i Cassandra - Wiadro Danych]()
![7 Powodów Dla Których Potrzebujesz Kolejki - YouTube]()
![Jak działa MapReduce?]()
![Koalas, czyli PySpark w przebraniu Numpy - Wiadro Danych]()
![Dlaczego Elasticsearch kłamie? Jak działa Elasticsearch? - Wiadro Danych]()
![Analiza Danych Transportu Miejskiego Warszawy w Kibana i Elasticsearch - Wiadro Danych]()
![Wizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych]()
![Big Data - Jak zacząć? - Wiadro Danych]()
![Kafka Streams 202 - Dockeryzacja aplikacji, czyli Kafka w kontenerze - Wiadro Danych]()
![Kafka Streams 201 – Obliczanie prędkości, Processor API, KeyValueStore - Wiadro Danych]()
![Kafka Streams 103 - Pisz testy, zapomnij o Kafce - Wiadro Danych]()
![Kafka Streams 102 - Wyjątki i Dead Letter Queue - Wiadro Danych]()
![Kafka Streams 101 - Wiadro Danych]()
Bazy danych i XML 3 dni, 20 godzin, 7 minut temu 81 źrodło rozwiń
W Apache Spark/PySpark posługujemy się abstrakcjami, a faktyczne przetwarzanie dokonywane jest dopiero gdy chcemy zmaterializować wynik operacji. Do dyspozycji mamy szereg bibliotek, którymi możemy łączyć się z różnymi bazami i systemów plików. W tym artykule dowiesz się jak połączyć dane z MySQL i MongoDB, a następnie zapisać je w Apache Cassandra.Spis treścihide1Środowisko2Dodanie danych do MongoDB3Dodanie danych do MySQL4Schemat danych w Cassandrze5ETL do Apache Cassandra w PySpark6Ciekawostka7Repozyt...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 17 dni, 19 godzin, 56 minut temu 20 źrodło rozwiń
Jest to kontynuacja poprzedniego wpisu. Tym razem przyjrzymy się zakładce Detections w Elastic SIEM. Naszym celem jest automatyzacja wykrywania IOC wykorzystując sprawdzone reguły. Przypomnijmy: Zainstalowaliśmy Elasticsearch + Kibana na jednej z maszyn. Monitorujemy maszynę z Ubuntu (Auditbeat, Filebeat, Packetbeat) i Windows 10 (Winlogbeat), choć w tym wpisie skupimy się na tej drugiej.Spis treścihide1Jak odblokować Detections w Elastic SIEM?Konfiguracja security w ElasticsearchKonfiguracja TLS między ...
Środowiska IT robią się coraz większe, rozproszone i ciężkie do zarządzania. Wszystkie komponenty systemu trzeba zabezpieczyć i monitorować przed cyber zagrożeniami. Potrzebna jest skalowalna platforma, która potrafi magazynować i analizować logi, metryki oraz zdarzenia. Rozwiązania SIEM potrafią kosztować niemałe pieniądze. W tym wpisie przyjrzymy się darmowemu rozwiązaniu dostępnego w Elastic Stack, czyli Elastic SIEM.
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy relacyjne są sprawdzonym rozwiązaniem, ale nie pasują do wszystkich problemów. Na ratunek przychodzą bazy NoSQL.
Bazy danych i XML 52 dni, 7 godzin, 5 minut temu 82 źrodło rozwiń
Working with big databases, consisting of many, many tables (like hundreds or thousands), can be really painful. Recently, this happened to me and I discovered 2 lifehacks that help me survive this hard days. Filtering tables You know the struggle when you know a part of a database table name but cannot remember the whole name? How could it be named? BasketPositions, CustomerBasketPositions or maybe PositionsOfBasket? How can you know?! Yeah, it’s the everyday struggle with huge projects! This is...
Tagi:
big database, filter tables in sql server, filtering tables, lots of tables, sql server, SQL Server Management Studio
Źródło:
agirlamonggeeks.com
Dziel się z innymi:
Apache Cassandra to specyficzna baza danych. Skaluje się (uwaga) liniowo. Ma to swoją cenę: specyficzne modelowanie tabel, konfigurowalna spójność i ograniczona analityka. Apple wykonuje miliony operacji na sekundę na ponad 160 tys. instancjach Cassandry. Gromadzi przy tym ponad 100 PB danych. Ograniczoną analitykę można „wyleczyć” wykorzystując Apache Spark i connector od DataStax i o tym jest ten wpis.Spis treścihide1Środowisko2Dane3Utworzenie tabel w Apache Cassandra4Zasilenie Cassandry SparkiemWczyta...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 59 dni, 19 godzin, 43 minuty temu 47 źrodło rozwiń
Kolejki można wykorzystywać zarówno na poziomie kodu i struktur danych jak i planując architekturę. Występuje w większości systemów rozproszonych.
Źródło:
youtu.be
Dziel się z innymi:
Architektura 67 dni, 20 godzin, 40 minut temu 78 źrodło rozwiń
Było o HDFS. Teraz wjeżdża temat MapReduce. Trzeba zagonić serwery do roboty 😈
Źródło:
youtu.be
Dziel się z innymi:
Programowanie rozproszone 74 dni, 21 godzin, 23 minuty temu 93 źrodło rozwiń
Programowanie rozproszone 81 dni, 20 godzin, 15 minut temu 101 źrodło rozwiń
Jednym z podstawowych narzędzi Data Scientist jest Numpy. Niestety nadmiar danych może znacznie utrudnić nam zabawę. Dlatego powstało Koalas. Biblioteka umożliwiająca korzystanie z Apache Spark w taki sposób, jakbyśmy robili to za pomocą Numpy.Spis treścihide1Cel2Środowisko3Pip i Spark Session4Przygotowanie Spark DataFrame5Przygotowanie Koalas DataFrame6Top 10 najczęściej ocenianych filmówPySparkKoalas/PandasSpark SQL7Top 10 filmów wg średnich ocen (ale tylko takich, które mają >100 ocen)PySparkKoalas/Pa...
Elasticsearch zaskakuje nas swoimi możliwościami i szybkością działania, ale czy zwracane wyniki są prawidłowe? W tym wpisie dowiesz się jak Elasticsearch działa pod maską i dlaczego zwracane agregacje są pewnego rodzaju przybliżeniem.Spis treścihide1Elasticsearch pod maskąIndeksy, shardy i replikiZapytania i agregacjeSzacowanie2TestDataFrame w Apache SparkTop 20 LinesTop 10 vehicleNumber3WnioskiPodziel się:Dodaj do ulubionych:PodobneElasticsearch pod maskąIndeksy, shardy i repliki Zacznijmy od tego, ja...
Bazy danych i XML 94 dni, 19 godzin, 44 minuty temu 73 źrodło rozwiń
W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Bazy danych i XML 122 dni, 20 godzin, 53 minuty temu 59 źrodło rozwiń
No właśnie. Jak zacząć w świecie Big Data? Przecież tyle tych technologii. Widać to choćby na tym schemacie. http://mattturck.com/wp-content/uploads/2019/07/2019MattTurckBigDataLandscapeFinal_Fullsize.png.Newsletter Amerykańscy naukowcy i radzieccy uczeni są zgodni w jednym: nie ma lepszego sposobu na początek przygody z Big Data, jak subskrypcja Wiadro Danych 😎 Przechodząc dalej, akceptujesz politykę prywatnościJęzyk Oczywiście najważniejszym językiem w IT jest… język angielski. Ale skończmy h...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Obrazy Dockera są łatwe w obsłudze. Nie musimy instalować konkretnej wersji środowiska, bibliotek i innych zależności. Wszystko powinno być zamknięte w abstrakcji zwanej kontenerem. Możemy je uruchamiać i skalować w Docker Swarm lub Kubernetes. W tym wpisie zajmiemy się dockeryzacją aplikacji Kafka Streams na przykładzie strumienia dla lokalizacji autobusów ZTM przedstawionym w poprzednim wpisie.Spis treścihide1Zmiany w pom.xml2Zmiany w kodzie aplikacji Kafka Streams3Dockerfile4Zbudowanie obrazu Docker5D...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Programowanie rozproszone 136 dni, 19 godzin, 56 minut temu 27 źrodło rozwiń
Czasami klasyczne Kafka DSL nam nie wystarcza. Processor API pozwala na dowolne zdefiniowanie procesora, a co najlepsze, wykorzystanie State Store. W tym przypadku obliczymy prędkość, kierunek i dystans pojazdów komunikacji miejskiej w Warszwie.Spis treścihide1Rozkład jazdy2Źródło3Plan4Dlaczego Processor API?5No to lecimyOdczyt danych z KafkiTestyTopologiaProcesorTesty6Czy z prawdziwą Kafką też działa?7Repozytorium8PodsumowaniePodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyją...
Programowanie rozproszone 149 dni, 20 godzin, 31 minut temu 25 źrodło rozwiń
Nie wyobrażam sobie programowania bez pisania testów. Gdy śpieszy mi się i o nich „zapominam”, potem i tak poprawiam kod przez jakąś głupotę. Poprawiają jakość i przyśpieszają czas tworzenia oprogramowania. Nie wierzysz?Spis treścihide1Rozkład jazdy2Co zyskamy?3Zależności4Testowalny kod Kafka Streams5Test 1 – LowercaseStreamTopologyTestDriverTest właściwy6Test 2 – SerDeJsonStream7Repozytorium8WnioskiPodobneRozkład jazdyKafka Streams 101 – de/serilizacjaKafka Streams 102 – Wyjątki i Dead Letter QueueKafka...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Sztuka programowania 164 dni, 19 godzin, 53 minuty temu 41 źrodło rozwiń
Błędy zdarzają się każdemu. Prędzej czy później nasza aplikacja Kafka Streams dostanie wiadomość, która ją zabije (Poison Pill). Niestety uruchomienie jej ponownie nie pomoże, dopóki wiadomość nie zniknie z kolejki. W tym wpisie spróbujemy obsłużyć takie wiadomości i zapisać je do Dead Letter Queue.Spis treścihide1Rozkład jazdy2Poison Pill3Rozwiązania4Problemy5Dead Letter Queue6Filtrowanie wadliwych rekordówPodczas deserializacjiPodczas transformacji7Wykorzystanie Dead Letter QueuePodczas deserializacjiP...
Programowanie rozproszone 178 dni, 20 godzin, 2 minuty temu 29 źrodło rozwiń
Przetwarzanie strumieniowe jest dzisiaj standardem. Skoro i tak większość osób korzysta z Apache Kafka jako kolejki, czemu nie spróbować Kafka Streams? Jest to rozwiązanie skalowalne i nie wymaga specjalnych środowisk typu YARN czy Apache Mesos. Ten wpis rozpoczyna serię wpisów dotyczących Kafka Streams.Spis treścihide1Cel2Podstawy3Środowisko4Pierwszy strumień – LowerCaseStream5De/Serializacja z łapyPoison Pill6De/Serializacja nie z łapyPoison Pill7Co dalej?8RepozytoriumPodobneCel We wpisach z tego cykl...
Źródło:
wiadrodanych.pl
Dziel się z innymi:
Programowanie rozproszone 192 dni, 19 godzin, 34 minuty temu 48 źrodło rozwiń
Polecamy
Nadchodzące wydarzenia
Najaktywniejsi
.Net
.net core
architektura
ASP .NET
asp.net
Asp.Net Core
ASP.NET MVC
Azure
C#
C# .NET
certyfikacja
certyfikat
cloud
daj sie poznac 2017
Daj się poznać
Daj Się Poznać 2017
dajsiepoznac
DDD
docker
dotnet
dsp2017
egzamin
Entity Framework
F#
git
JavaScript
jQuery
konferencja
Linq
mvc
MVVM
Narzędzia
performance
praca
programowanie
SharePoint
Silverlight
SQL
sql server
TDD
testy
Visual Studio
Visual Studio 2010
WCF
Windows
Windows 8
windows phone
WPF
Wzorce projektowe
Xamarin