Blog

Webentwicklung, Big Data & mehr

Daten modellieren und austauschen mit Apache Avro

07.03.2017 | Kategorien: BigData

Avro ist eine Modellierungssprache und ein Serialisierungsframework, mit dem man zentrale Schemata vorhalten kann. Damit weiß jeder, der auf zentrale Datenquellen in einem Unternehmen zugreift, welche Felder vorhanden sind.

▸ Weiterlesen...

Die Kappa-Architektur und NoETL

29.01.2017 | Kategorien: BigData

Um einige Schwächen der Lambda-Architektur auszugleichen, wird die Kappa-Architektur vorgestellt, die auf Basis einer zentralen Streaming-Plattform auf Datenströme und Echtzeitverarbeitung setzt.

▸ Weiterlesen...

Spark Performance-Optimierung - RDDs, Shuffles, Partitionen

22.12.2016 | Kategorien: BigData

Spark bietet eine einfache API um Jobs zu schreiben, doch in Produktion laufen die Jobs nicht immer so performant wie gewünscht oder verbrauchen unnötig viele Ressourcen. Hier hilft es, einige Konzepte von Spark genauer zu verstehen um die eigenen Jobs optimieren zu können.

▸ Weiterlesen...

Spark Summit Europe 2016

28.10.2016 | Kategorien: BigData, Konferenzen

Mein persönliches Fazit zum Spark Summit Europe 2016 in Brüssel, dem europäischen Ableger der offiziellen Konferenz zu Apache Spark.

▸ Weiterlesen...

Streaming - Modellieren und Verarbeiten von kontinuierlichen Datenströmen

17.07.2016 | Kategorien: BigData

Der aktuelle Stand in Big Data und Analytics ist es, Daten von einem System ins Nächste zu schieben und dann Auswertungen auf großen Datenmengen in definierten Zeitintervallen auszuführen. Durch kontinuierliches Streaming von Daten können wir jedoch auf wichtige Ereignisse reagieren, sobald diese eintreten, statt auf einen Batch-Job zu warten.

▸ Weiterlesen...

ScalaDays 2016 Berlin

18.06.2016 | Kategorien: Scala, Konferenzen

Mein persönliches Fazit zu den ScalaDays 2016 in Berlin, der offiziellen Konferenz rund um Scala und Ökosystem.

▸ Weiterlesen...

Einführung in Apache Spark

11.03.2015 | Kategorien: BigData

Spark ist ein clustergestütztes In-Memory Framework, das dem klassischen Hadoop Map/Reduce Konkurrenz bereitet. Es lockt mit einer deutlich schnelleren Ausführung von Jobs und vereint verschiedene Big Data-Tools, u.a. Streaming, SQL und Machine Learning, in einer API.

▸ Weiterlesen...

Von ETL zu ELT in BigData-Systemen

01.03.2015 | Kategorien: BigData

Der klassische Data Warehouse-Prozess der vorstrukturierten Datenanalyse ist als ETL bekannt: Extract, Transform, Load. In BigData-Systemen wandelt der Prozess nun die Reihenfolge in ELT und ermöglicht damit eine umfassendere Analyse der im Unternehmen vorhandenen Daten.

▸ Weiterlesen...

Die Lambda-Architektur

23.02.2014 | Kategorien: BigData

Die Lambda-Architektur beschreibt einen alternativen Ansatz zur klassischen Datenhaltung und -verarbeitung. Auf Basis aktueller BigData-Technologien können Probleme, die durch viele parallele Zugriffe und die Fehleranfälligkeit verteilter Systeme entstehen, begegneet werden. Sie erlaubt es zudem aus unseren Daten mehr Informationen zu ziehen.

▸ Weiterlesen...

AngularJS - Vorhandene Services erweitern

04.08.2013 | Kategorien: Webentwicklung

AngularJS ist zwar ein bereits recht umfangreiches Framework, jedoch vermisst man schon mal die eine oder andere Funktion aus den umfangreichen Standardbibliotheken anderer Sprachen. Dazu wollen wir am Beispiel von $q#traverse eingebaute AngularJS-Services mit Hilfe des Decorator-Pattern erweitern.

▸ Weiterlesen...

AngularJS Sicherheit und Authentisierung

26.07.2013 | Kategorien: Webentwicklung

Authentisierung ist ein Thema, das so gut wie jede größere Webanwendung betrifft. AngularJS-Anwendungen sind hier keine Ausnahme, und hier gibt es hier sogar einige Möglichkeiten, die einem das Leben leichter machen als in traditionellen Anwendungen.

▸ Weiterlesen...

RSS-Feed

Neue Posts direkt im Newsreader.

RSS-Feed abonnieren

Newsletter

Maximal eine E-Mail im Monat.