Rising flood of data

Die Anzahl der Objekt bzw. Geräte, die Daten produzieren, steigt heute täglich in unerhörtem Maße.

Die Menge der Daten, die von Sensoren, tracking systems oder radio frequency identification (RFID) tags erzeugt werden, steigt ins Unermessliche.

Mit dem massiven Wachstum der Anzahl der Geräte steigt die Menge der Daten exponentiell auf ein Volumen, dass heute kaum sinnvoll gemanaged, geschweige denn sinnvoll analysiert oder ausgewertet werden kann.


Organisationen können der Datenflut, die sie produzieren oder die zu analysieren sind, mit konventionellen Mitteln heute kaum Herr werden, um sich auf die relevanten Informationen aus der Datenflut zu konzentrieren und dabei 'die Spreu vom Weizen zu trennen'.

Auf der HADOOP Summit 2010 wurden die in den sozialen Netzwerken heute vorhandenen Datenmengen geschätzt:

Facebook
36 PB of uncompressed data
2250 machines
23,000 cores
32 GB of RAM per machine
processing 80-90TB/day

Yahoo
70 PB of data in HDFS
170 PB spread across the globe
34000 servers
Processing 3 PB per day
120 TB flow through Hadoop every day

Twitter
7 TB/day into HDFS

LinkedIn
120 Billion relationships
82 Hadoop jobs daily (IIRC)
16 TB of intermedia data
2 engineers

Tools werden zunehmend verfügbar, mit denen Daten gefilter werden können und mit denen Informationen grafisch sichtbar gemacht werden können.

Ein Ansatz dieser Tools ist es, Daten zu visualisieren. Diese 'data visualization tools' ermöglichen es, die komplexen, multi-dimensionalen Daten Bildhaft darzustellen und die Dimensionen durch Farben, Größen und Formen abzubilden. Dieser Ansatz ermöglicht es Anwendern die Information aus den Daten besser zu verstehen und sich auf die wichtigen Aspekte solcher Analysen zu konzentrieren.

JoAnn Kuchera-Morin demonstriert the AlloSphere, eine neue Art zu Sehen, zu Hören und wissenschaftliche Daten zu interpretieren. Eintauchen in das Gehirn, Bewegung der Elektronen fühlen, die Musik der Elemente hören... und dabei vorher unentdeckte Muster erleben, die zu völlig neuen Erkenntnissen führen können.

See it on TED:

Eine andere Art des Toolansatzes stellt David McCandless vor: er verwandelt komplexe Daten (wie z.B. weltweite Militärausgaben, Medien Daten , Facebook status updates) in schöne Diagramme, die bisher verborgene Muster und Verbindungen offenbaren.

Hier der Link auf weitergehende Informationen von Dave McCandless WebSite 'Information is beautiful'

Gutes Design, so seine Empfehlung, ist die beste Art, Informationsüberlastung zu bewältigen. Dies wird die Art, wie wir Dinge und die Welt betrachten und erkennen, verändern.

See it on TED:

In Deutschland machen sich z.B. Gruppen wie OPENDATA für Offenheit und Visualisierung von Daten verdient.

Für Offenheit und Transparenz von Daten setzt sich z.B. die Gruppe TACTICAL TOOLS ein. Ihre geht es um die offene Darstellung der öffentlichen Haushalte und um Offenen Zugang zu öffentlichen Datenregistern insgesamt.

Die Mission von Tactical Tools spricht für sich :

"Wir wissen, dass Menschen mit guten Ideen geeignete Werkzeuge brauchen um ihre Ziele zu erreichen. Tactical Tools entwickelt mit aktueller Webtechnologie Politik-Software und Werkzeuge für engagierte Bürger und für eine offene, transparente Demokratie zum mitmachen. So wollen wir die Welt ein kleines bisschen besser machen."

Ein anderer Ansatz ist z.B. PIVOT.

Gary Flake demonstriert Pivot, die neue Art massive Mengen von Bildern und Daten online zu betrachten, anzuordnen und mit ihnen zu navigieren.

Erstellt wurde PIVOT auf der Seadragon technology. Diese ermöglicht spektakuläre zooms in Web-Datenbanken und wiederum die Erkennung von Mustern und Verbindungen die mit Standard-Webbrowsern nicht erkennbar sind.

See it on TED:

Blaise Aguera y Arcas führt durch eine verwirrende Demonstration von Photosynth; eine Software, die die Art und Weise, wie wir digitale Bilder betrachten, verändern kann.

Photoynth verwendet noch Photos, die aus dem Web gezogen werden, bildet daraus atemberaubende Traumlandschaften und lässt uns in ihnen navigieren.

See it on TED:

PIVOT, Seadragon und Photosynth sind Entwicklungen von Microsoft Live Labs.