Was ist Deep Learning? Neuronale Netze erklärt

Deep Learning ist der Zweig des maschinellen Lernens, der hinter den meisten heutigen Fortschritten bei Sprache, Bildverarbeitung und Spracherkennung steht. Dieser Leitfaden erklärt, was neuronale Netze sind, wie sie lernen, wofür die wichtigsten Architekturen gedacht sind und wann ein einfacheres Verfahren die bessere Wahl ist.

Was ist Deep Learning?

Das Standardlehrbuch von Goodfellow, Bengio und Courville beschreibt die Idee so: Die Lösung bestehe darin, «Computern zu ermöglichen, aus Erfahrung zu lernen und die Welt als Hierarchie von Konzepten zu verstehen, wobei jedes Konzept über seine Beziehung zu einfacheren Konzepten definiert ist». Sie fügen hinzu, dass «die Hierarchie der Konzepte es dem Computer ermöglicht, komplizierte Konzepte zu lernen, indem er sie aus einfacheren aufbaut». Als Graph gezeichnet, hat diese Hierarchie viele Schichten, daher kommt das Wort «deep» (tief).

Das Wichtigste in Kürze

• Deep Learning ist maschinelles Lernen mit neuronalen Netzen, die viele Schichten haben.
• Sein wichtigster Vorteil ist, dass es nützliche Merkmale aus Rohdaten selbst lernt, statt dass Menschen sie von Hand entwerfen.
• Es benötigt in der Regel grosse Datenmengen und viel Rechenleistung.
• Am stärksten ist es bei unstrukturierten Daten wie Bildern, Audio und Text.
• Seine wichtigsten Nachteile sind Kosten, Datenhunger und die Schwierigkeit, einzelne Antworten zu erklären.

Wie funktioniert ein neuronales Netz?

Ein neuronales Netz besteht aus Schichten einfacher Einheiten. Jede Einheit nimmt Zahlen entgegen, multipliziert sie mit Gewichten, addiert sie und gibt das Ergebnis durch eine einfache Funktion weiter. Die erste Schicht erhält die Rohdaten, etwa die Pixel eines Bildes oder die Tokens eines Satzes. Jede folgende Schicht baut auf der vorherigen auf: Frühe Schichten erkennen einfache Muster, spätere Schichten kombinieren sie zu komplexeren.

Wie lernt ein Netz?

• Vorwärtsdurchlauf (Forward Pass): Das Netz macht aus einem Beispiel eine Vorhersage.
• Verlust (Loss): Eine Zahl misst, wie falsch die Vorhersage war.
• Backpropagation: Der Fehler wird rückwärts durch die Schichten verfolgt, um zu sehen, wie jedes Gewicht dazu beigetragen hat.
• Gradientenabstieg (Gradient Descent): Jedes Gewicht wird in die Richtung angepasst, die den Fehler verringert.
• Wiederholen: über viele Beispiele und viele Durchläufe, bis sich die Leistung bei ungesehenen Daten nicht mehr verbessert.

Wie unterscheidet sich Deep Learning von anderem maschinellem Lernen?

Beim klassischen maschinellen Lernen entwerfen oft Menschen die Merkmale, die ein Modell betrachtet. Das Deep-Learning-Lehrbuch weist darauf hin, warum das wichtig ist: Ein Algorithmus zum Lernen von Repräsentationen «kann eine gute Menge von Merkmalen für eine einfache Aufgabe in Minuten oder für eine komplexe Aufgabe in Stunden bis Monaten finden», wohingegen «das manuelle Entwerfen von Merkmalen für eine komplexe Aufgabe sehr viel menschliche Zeit und Mühe erfordert; für eine ganze Forschungsgemeinschaft kann es Jahrzehnte dauern». Deep Learning automatisiert einen grossen Teil dieses Schritts. Das übergeordnete Gebiet wird in Was ist maschinelles Lernen? behandelt.

Welche Haupttypen neuronaler Netze gibt es?

• Convolutional Networks (faltende Netze): für gitterartige Daten gedacht, meist Bilder.
• Rekurrente Netze: dafür gedacht, Sequenzen Schritt für Schritt zu lesen, etwa Text oder Audio, und vor neueren Architekturen weit verbreitet.
• Transformer: 2017 in «Attention Is All You Need» vorgestellt, das ein Netz «allein auf Basis von Attention-Mechanismen» vorschlug. Sie bilden die Grundlage heutiger grosser Sprachmodelle (siehe LLM).

Wo wird Deep Learning eingesetzt?

• Erkennen von Objekten und Gesichtern in Bildern sowie Lesen von Dokumenten.
• Spracherkennung und Sprachsynthese.
• Maschinelle Übersetzung, Zusammenfassung und Beantwortung von Fragen.
• Erzeugen von Text, Bildern und Code (siehe Was ist generative KI?).
• Suche und Empfehlungen, wo die Bedeutung wichtiger ist als exakte Schlüsselwörter (siehe Embeddings).

Wo liegen die Grenzen von Deep Learning?

• Daten und Rechenleistung: Grosse Modelle brauchen grosse Datensätze und spezialisierte Hardware.
• Intransparenz: Es kann schwierig sein zu erklären, warum ein Netz eine bestimmte Antwort gegeben hat.
• Anfälligkeit: Ein Modell kann bei Eingaben versagen, die seinen Trainingsdaten unähnlich sind.
• Kosten und Energie: Das Training und der Betrieb grosser Modelle sind teuer.
• Nicht immer nötig: Bei kleinen, strukturierten Datensätzen sind einfachere Verfahren oft leichter zu bauen, zu erklären und zu warten.

Wie entscheiden Sie, ob Sie Deep Learning brauchen?

• Sind Ihre Daten überwiegend unstrukturiert (Bilder, Audio, Text)?
• Haben Sie genügend Beispiele, oder können Sie von einem bestehenden vortrainierten Modell ausgehen?
• Muss eine Antwort erklärt werden, und wenn ja, ist das mit diesem Modell möglich?
• Würde ein einfacheres Modell genügen und wäre es günstiger im Betrieb?

Wo Zunkiree Labs steht

Zunkiree Labs entwickelt individuelle KI-Systeme (darunter RAG-Pipelines, LLM-Integration und intelligente Automatisierung), Datensysteme, individuelle Software sowie Web- und Mobilanwendungen. Ob ein Projekt Deep Learning, ein Sprachmodell mit Retrieval oder etwas Einfacheres braucht, ist eine Designfrage, mit der wir beginnen. Die verwandten Ansätze RAG und Fine-Tuning werden in unserem Glossar erklärt. Die vollständige Liste finden Sie auf der Leistungsseite, und die Leistung KI-Entwicklung behandelt individuelle KI-Systeme ausführlicher.

Weiterlesen

• Was ist maschinelles Lernen? – die Grundlage: wie Systeme aus Daten lernen, mit Erklärungen zu NLP, neuronalen Netzen und LLMs
• Was ist generative KI? – wie sie funktioniert, wo sie hilft und wo sie versagt
• Ethische KI – Grundsätze, Risiken und wie Organisationen sie anwenden
• Grundlagen der Verarbeitung natürlicher Sprache – unser Leitfaden zu NLP
• So bauen Sie eine RAG-Pipeline – ein Schritt-für-Schritt-Leitfaden für die Umsetzung

Quellen

• Goodfellow, Bengio and Courville, Deep Learning, chapter 1 (Introduction)
• Vaswani et al., Attention Is All You Need (arXiv, 2017)