Während diese Aufgaben für kleine Datensätze überschaubar sind, werden sie für Big Data zu einer grossen Herausforderung. Forschung ist gefragt, zum Beispiel im Nationalen Forschungsprogramm 75 "Big Data", kurz NFP 75. In den NFP werden Forschungsprojekte durchgeführt, die einen Beitrag leisten, um wichtige Gegenwartsprobleme zu lösen oder eben Herausforderungen für die Schweiz zu meistern. Folgende Forschungsfelder werden im NFP 75 unter anderem beackert:
Ein Knackpunkt bei Big Data ist die Zeit, die Algorithmen für die Verarbeitung der Daten benötigen. Insbesondere im Bereich Maschinelles Lernen will man leistungsstärkere und schnellere Algorithmen entwickeln.
Eine weitere Herausforderung ist die korrekte und nutzerfreundliche Speicherung riesiger Datenmengen. Ein Ansatz, um den Speicherbedarf zu reduzieren, ist die Echtzeit-Datenanalyse, bei der die eingehenden Daten nicht erst gespeichert, sondern direkt analysiert werden. Diese Datenstrom-Verarbeitungssysteme sollen auch für Fachleute anderer Disziplinen neben der Informatik bedienbar sein.
Datenbankeinträge können mehrere hundert Spalten umfassen, was in aktuellen Programmiersprachen nicht berücksichtigt ist. Das erschwert die Nutzung von Datenbanken. Deshalb zielt ein weiteres Forschungsprojekt darauf ab, das Zusammenspiel von verschiedenen Programmiersprachen und Datenbanken zu verbessern.
Big Data ist für sich selbst ein grosses Forschungsgebiet, bei dem viele Fragen noch ungelöst sind. Nicht nur Datenwissenschaftler, sondern auch Fachleute anderer Disziplinen sind gefragt, damit Big Data sein volles Potential entfalten kann.
