Kapitulation vor den Datenbergen #dataviz

Es hat mich sehr begeistert, was alles mit Daten möglich ist und wie gut die Visualisierungstools funktionieren. Leider bin ich an eine Grenze gestoßen, die ich nicht zu überwinden vermag: 68.701.254 Zeilen umfasst mittlerweile die wichtigste Tabelle in meiner Datenbank und sie ist absolut nicht mehr handhabbar – weder in PhpMyAdmin, das ich zur Verwaltung verwende noch laufen meine Abfragen sauber. Seit ca. einer Woche gibt es deshalb keine aktuellen Daten mehr.

Ich habe mich schweren Herzens entschlossen, den entsprechenden Algorithmus, der nur noch mysqld alle fünf Minuten zum Absturz brachte, zu stoppen und keine neuen Daten mehr von luftdaten.info einzulesen und weiterzuverarbeiten.

Ein Dump meiner Datenbank findet sich unter https://fritzmielert.de/downloads/feinstaub.gz (994MB), ein weiteres ZIP meiner Daten und Skripte unter https://fritzmielert.de/downloads/dataviz.zip (856MB). Sie freuen sich darauf, genutzt zu werden. Aber Achtung: Die Datenbank umfasst 5,4 Gigabyte, das Verzeichnis dataviz 5,9 Gigabyte.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.