dotnetomaniak.pl - Artykuły z tagiem ztmdotnetomaniak.pl - Artykuły z tagiem ztm2024-03-28T10:29:17Zhttps://dotnetomaniak.pl/Tags/ztmCopyright (c) dotnetomaniak.pldotnetomaniak.pl Atom Generatordotnetomaniak.pl webmasteradmin@dotnetomaniak.plhttps://dotnetomaniak.pl/Assets/Images/fav.icohttps://dotnetomaniak.pl/Assets/Images/dotnetomaniak_logo-negatyw_small.png3025https://dotnetomaniak.pl/Analiza-Danych-Transportu-Miejskiego-Warszawy-w-Kibana-i-Elasticsearch-Wiadro-DanychAnaliza Danych Transportu Miejskiego Warszawy w Kibana i Elasticsearch - Wiadro Danych2020-06-09T04:43:02Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_jiFGZ1ayz0-IJvCBVV1Eew.png"/></div><div>W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Analiza-Danych-Transportu-Miejskiego-Warszawy-w-Kibana-i-Elasticsearch-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fbazy-danych%2felasticsearch%2fanaliza-danych-transportu-miejskiego-warszawy-w-kibana-i-elasticsearch%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2020-06-10T05:55:16Zhttps://dotnetomaniak.pl/Analiza-Danych-Transportu-Miejskiego-Warszawy-w-Kibana-i-Elasticsearch-Wiadro-Danych2640W poprzednim wpisie udokumentowałem utworzenie przepływu danych wykorzystującego technologie takie jak Kafka, Kafka Streams, Logstash i Elasticsearch. Po kilku dniach pracy mam już wystarczającą ilość danych, aby przekonać się jakie możliwości analizy danych transportu miejskiego umożliwia Elasticsearch i Kibana.Spis treścihide1DaneLiczność zbioru2MapaHeatmapGrid rectangles3Wykresy, wykresikiDodanie pola z godzinąWykresiki – ogólnieWykresiki – dla linii 122 i 190Najszybszy w mieście wóz, najszybszy w mie...https://wiadrodanych.pl/bazy-danych/elasticsearch/analiza-danych-transportu-miejskiego-warszawy-w-kibana-i-elasticsearch/http://dotnetomaniak.pl/Data/Thumbnails/small_jiFGZ1ayz0-IJvCBVV1Eew.pnghttps://dotnetomaniak.pl/Wizualizacja-autobusow-w-Elasticsearch-i-Kibana-podejscie-strumieniowe-Kafka-Streams-Logstash-Wiadro-DanychWizualizacja autobusów w Elasticsearch i Kibana - podejście strumieniowe - Kafka Streams, Logstash - Wiadro Danych2020-05-25T05:00:34Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_40EzC8N0kUyptWETaDYqxQ.png"/></div><div>Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko
Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Wizualizacja-autobusow-w-Elasticsearch-i-Kibana-podejscie-strumieniowe-Kafka-Streams-Logstash-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fbazy-danych%2felasticsearch%2fwizualizacja-autobusow-w-elasticsearch-i-kibana-podejscie-strumieniowe-kafka-streams-logstash%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2020-05-26T05:55:12Zhttps://dotnetomaniak.pl/Wizualizacja-autobusow-w-Elasticsearch-i-Kibana-podejscie-strumieniowe-Kafka-Streams-Logstash-Wiadro-Danych3630Jest to drugie podejście Wizualizacja autobusów w Elasticsearch i Kibana. Tym razem wykorzystam napisany wcześniej program w Kafka Streams do obliczenia prędkości i orientacji autobusów, a następnie wrzucę Logstash-em z Apache Kafka do Elasticsearch.Spis treścihide1Środowisko2Data Flow3Wrzucanie rekordów do Apache Kafka4Logstash5Elasticsearch6Kibana7Mapa8Działanie9RepozytoriumPodziel się:Dodaj do ulubionych:PodobneŚrodowisko
Docker-compose już trochę puchnie. Znajduje się w nim Elasticsearch, Kibana, Zo...https://wiadrodanych.pl/bazy-danych/elasticsearch/wizualizacja-autobusow-w-elasticsearch-i-kibana-podejscie-strumieniowe-kafka-streams-logstash/http://dotnetomaniak.pl/Data/Thumbnails/small_40EzC8N0kUyptWETaDYqxQ.pnghttps://dotnetomaniak.pl/Obliczanie-predkosci-w-Apache-Spark-GPS-komunikacji-miejskiej-Wiadro-DanychObliczanie prędkości w Apache Spark - GPS komunikacji miejskiej - Wiadro Danych2019-12-05T15:38:34Z<div><div><div style="float:right"><img alt ="" src="http://dotnetomaniak.pl/Data/Thumbnails/small_QsOindzOFU-GcE-she54DA.png"/></div><div>W poprzednim poście utworzyliśmy strumień danych lokalizacji pojazdów komunikacji miejskiej na jednym z topiców w Apache Kafka. Teraz dorwiemy się do tego strumienia z poziomu Apache Spark, zapiszemy trochę danych na HDFS i zobaczymy czy da się coś z nimi zrobić.
Dla przypomnienia, wpis jest częścią mini projektu związanego z danymi lokalizacji pojazdów komunikacji miejskiej w Warszawie. Plan na dzień dzisiejszy poniżej, a zastanawiamy się nad jego środkiem => Apache SparkOdczyt z Kafki
Najszybszą meto...</div></div><div style="padding-top:4px"><a rev="vote-for" href="https://dotnetomaniak.pl/Obliczanie-predkosci-w-Apache-Spark-GPS-komunikacji-miejskiej-Wiadro-Danych"><img alt="Podbij ↑" src="https://dotnetomaniak.pl/image.axd?url=https%3a%2f%2fwiadrodanych.pl%2fbig-data%2fpredkosc-apache-spark-gps-komunikacji-miejskiej%2f" style="border:0px"/></a></div></div>mszymczykhttps://dotnetomaniak.pl/Users/yBR97Zmw1ES3aCuyQj33bg2019-12-06T07:29:52Zhttps://dotnetomaniak.pl/Obliczanie-predkosci-w-Apache-Spark-GPS-komunikacji-miejskiej-Wiadro-Danych1440W poprzednim poście utworzyliśmy strumień danych lokalizacji pojazdów komunikacji miejskiej na jednym z topiców w Apache Kafka. Teraz dorwiemy się do tego strumienia z poziomu Apache Spark, zapiszemy trochę danych na HDFS i zobaczymy czy da się coś z nimi zrobić.
Dla przypomnienia, wpis jest częścią mini projektu związanego z danymi lokalizacji pojazdów komunikacji miejskiej w Warszawie. Plan na dzień dzisiejszy poniżej, a zastanawiamy się nad jego środkiem => Apache SparkOdczyt z Kafki
Najszybszą meto...https://wiadrodanych.pl/big-data/predkosc-apache-spark-gps-komunikacji-miejskiej/http://dotnetomaniak.pl/Data/Thumbnails/small_QsOindzOFU-GcE-she54DA.png