Webentwicklung, Big Data & mehr
15.05.2020 | Kategorien: Data Engineering
Unveränderliche Daten, also Daten zu erzeugen aber nachträglich nicht mehr zu verändern, klingt nach einer erstmal seltsamen Idee. Wie man so etwas tun kann und welche Vorteile das bringt, beschreibt dieser Blogeintrag.
14.08.2018 | Kategorien: Data Engineering
Dieser Ausschnitt aus dem Buch Fast Data in der Praxis gibt eine Übersicht über den persistenten, verteilten Message-Broker und Streaming-Plattform Kafka.
07.08.2018 | Kategorien: Data Engineering
Dieser Ausschnitt aus dem Buch Fast Data in der Praxis, Kapitel Aufbau einer Fast Data Plattform, beschreibt, aus welchen Aktivitäten und Komponenten eine Plattform für Streaming und Fast Data besteht.
07.03.2017 | Kategorien: Data Engineering
Avro ist eine Modellierungssprache und ein Serialisierungsframework, mit dem man zentrale Schemata vorhalten kann. Damit weiß jeder, der auf zentrale Datenquellen in einem Unternehmen zugreift, welche Felder vorhanden sind.
29.01.2017 | Kategorien: Data Engineering
Um einige Schwächen der Lambda-Architektur auszugleichen, wird die Kappa-Architektur vorgestellt, die auf Basis einer zentralen Streaming-Plattform auf Datenströme und Echtzeitverarbeitung setzt.
22.12.2016 | Kategorien: Data Engineering
Spark bietet eine einfache API um Jobs zu schreiben, doch in Produktion laufen die Jobs nicht immer so performant wie gewünscht oder verbrauchen unnötig viele Ressourcen. Hier hilft es, einige Konzepte von Spark genauer zu verstehen um die eigenen Jobs optimieren zu können.
28.10.2016 | Kategorien: Data Engineering, Konferenzen
Mein persönliches Fazit zum Spark Summit Europe 2016 in Brüssel, dem europäischen Ableger der offiziellen Konferenz zu Apache Spark.
17.07.2016 | Kategorien: Data Engineering
Der aktuelle Stand in Big Data und Analytics ist es, Daten von einem System ins Nächste zu schieben und dann Auswertungen auf großen Datenmengen in definierten Zeitintervallen auszuführen. Durch kontinuierliches Streaming von Daten können wir jedoch auf wichtige Ereignisse reagieren, sobald diese eintreten, statt auf einen Batch-Job zu warten.
18.06.2016 | Kategorien: Scala, Konferenzen
Mein persönliches Fazit zu den ScalaDays 2016 in Berlin, der offiziellen Konferenz rund um Scala und Ökosystem.
11.03.2015 | Kategorien: Data Engineering
Spark ist ein clustergestütztes In-Memory Framework, das dem klassischen Hadoop Map/Reduce Konkurrenz bereitet. Es lockt mit einer deutlich schnelleren Ausführung von Jobs und vereint verschiedene Big Data-Tools, u.a. Streaming, SQL und Machine Learning, in einer API.
01.03.2015 | Kategorien: Data Engineering
Der klassische Data Warehouse-Prozess der vorstrukturierten Datenanalyse ist als ETL bekannt: Extract, Transform, Load. In BigData-Systemen wandelt der Prozess nun die Reihenfolge in ELT und ermöglicht damit eine umfassendere Analyse der im Unternehmen vorhandenen Daten.
23.02.2014 | Kategorien: Data Engineering
Die Lambda-Architektur beschreibt einen alternativen Ansatz zur klassischen Datenhaltung und -verarbeitung. Auf Basis aktueller BigData-Technologien können Probleme, die durch viele parallele Zugriffe und die Fehleranfälligkeit verteilter Systeme entstehen, begegneet werden. Sie erlaubt es zudem aus unseren Daten mehr Informationen zu ziehen.
04.08.2013 | Kategorien: Webentwicklung
AngularJS ist zwar ein bereits recht umfangreiches Framework, jedoch vermisst man schon mal die eine oder andere Funktion aus den umfangreichen Standardbibliotheken anderer Sprachen. Dazu wollen wir am Beispiel von $q#traverse eingebaute AngularJS-Services mit Hilfe des Decorator-Pattern erweitern.
26.07.2013 | Kategorien: Webentwicklung
Authentisierung ist ein Thema, das so gut wie jede größere Webanwendung betrifft. AngularJS-Anwendungen sind hier keine Ausnahme, und hier gibt es hier sogar einige Möglichkeiten, die einem das Leben leichter machen als in traditionellen Anwendungen.