Webentwicklung, Big Data & mehr
07.03.2017 | Kategorien: BigData
Avro ist eine Modellierungssprache und ein Serialisierungsframework, mit dem man zentrale Schemata vorhalten kann. Damit weiß jeder, der auf zentrale Datenquellen in einem Unternehmen zugreift, welche Felder vorhanden sind.
29.01.2017 | Kategorien: BigData
Um einige Schwächen der Lambda-Architektur auszugleichen, wird die Kappa-Architektur vorgestellt, die auf Basis einer zentralen Streaming-Plattform auf Datenströme und Echtzeitverarbeitung setzt.
22.12.2016 | Kategorien: BigData
Spark bietet eine einfache API um Jobs zu schreiben, doch in Produktion laufen die Jobs nicht immer so performant wie gewünscht oder verbrauchen unnötig viele Ressourcen. Hier hilft es, einige Konzepte von Spark genauer zu verstehen um die eigenen Jobs optimieren zu können.
28.10.2016 | Kategorien: BigData, Konferenzen
Mein persönliches Fazit zum Spark Summit Europe 2016 in Brüssel, dem europäischen Ableger der offiziellen Konferenz zu Apache Spark.
17.07.2016 | Kategorien: BigData
Der aktuelle Stand in Big Data und Analytics ist es, Daten von einem System ins Nächste zu schieben und dann Auswertungen auf großen Datenmengen in definierten Zeitintervallen auszuführen. Durch kontinuierliches Streaming von Daten können wir jedoch auf wichtige Ereignisse reagieren, sobald diese eintreten, statt auf einen Batch-Job zu warten.
18.06.2016 | Kategorien: Scala, Konferenzen
Mein persönliches Fazit zu den ScalaDays 2016 in Berlin, der offiziellen Konferenz rund um Scala und Ökosystem.
11.03.2015 | Kategorien: BigData
Spark ist ein clustergestütztes In-Memory Framework, das dem klassischen Hadoop Map/Reduce Konkurrenz bereitet. Es lockt mit einer deutlich schnelleren Ausführung von Jobs und vereint verschiedene Big Data-Tools, u.a. Streaming, SQL und Machine Learning, in einer API.
01.03.2015 | Kategorien: BigData
Der klassische Data Warehouse-Prozess der vorstrukturierten Datenanalyse ist als ETL bekannt: Extract, Transform, Load. In BigData-Systemen wandelt der Prozess nun die Reihenfolge in ELT und ermöglicht damit eine umfassendere Analyse der im Unternehmen vorhandenen Daten.
23.02.2014 | Kategorien: BigData
Die Lambda-Architektur beschreibt einen alternativen Ansatz zur klassischen Datenhaltung und -verarbeitung. Auf Basis aktueller BigData-Technologien können Probleme, die durch viele parallele Zugriffe und die Fehleranfälligkeit verteilter Systeme entstehen, begegneet werden. Sie erlaubt es zudem aus unseren Daten mehr Informationen zu ziehen.
04.08.2013 | Kategorien: Webentwicklung
AngularJS ist zwar ein bereits recht umfangreiches Framework, jedoch vermisst man schon mal die eine oder andere Funktion aus den umfangreichen Standardbibliotheken anderer Sprachen. Dazu wollen wir am Beispiel von $q#traverse eingebaute AngularJS-Services mit Hilfe des Decorator-Pattern erweitern.
26.07.2013 | Kategorien: Webentwicklung
Authentisierung ist ein Thema, das so gut wie jede größere Webanwendung betrifft. AngularJS-Anwendungen sind hier keine Ausnahme, und hier gibt es hier sogar einige Möglichkeiten, die einem das Leben leichter machen als in traditionellen Anwendungen.