Wat is deep learning? Neurale netwerken uitgelegd

Deep learning is de tak van machine learning achter de meeste hedendaagse vooruitgang op het gebied van taal, beeld en spraak. Deze gids legt uit wat neurale netwerken zijn, hoe ze leren, waarvoor de belangrijkste architecturen dienen en wanneer een eenvoudigere methode de betere keuze is.

Wat is deep learning?

Het standaardhandboek van Goodfellow, Bengio en Courville beschrijft het idee zo: de oplossing is "computers in staat te stellen van ervaring te leren en de wereld te begrijpen in termen van een hiërarchie van concepten, waarbij elk concept wordt gedefinieerd via zijn relatie tot eenvoudigere concepten." Ze voegen toe dat "de hiërarchie van concepten de computer in staat stelt ingewikkelde concepten te leren door ze op te bouwen uit eenvoudigere." Als graaf getekend heeft die hiërarchie veel lagen, en daar komt het woord "deep" (diep) vandaan.

Belangrijkste punten

• Deep learning is machine learning met neurale netwerken die veel lagen hebben.
• Het belangrijkste voordeel is dat het bruikbare kenmerken uit ruwe data leert, in plaats van dat mensen ze met de hand ontwerpen.
• Het heeft meestal grote hoeveelheden data en rekenkracht nodig.
• Het is het sterkst bij ongestructureerde data zoals afbeeldingen, audio en tekst.
• De grootste nadelen zijn kosten, datahonger en de moeite om individuele antwoorden uit te leggen.

Hoe werkt een neuraal netwerk?

Een neuraal netwerk bestaat uit lagen van eenvoudige eenheden. Elke eenheid neemt getallen in, vermenigvuldigt ze met gewichten, telt ze op en geeft het resultaat door via een eenvoudige functie. De eerste laag ontvangt de ruwe invoer, zoals de pixels van een afbeelding of de tokens van een zin. Elke volgende laag bouwt voort op de vorige, zodat vroege lagen eenvoudige patronen oppikken en latere lagen die combineren tot complexere.

Hoe leert een netwerk?

• Forward pass: het netwerk doet een voorspelling op basis van een voorbeeld.
• Loss (verlies): een getal meet hoe fout de voorspelling was.
• Backpropagation: de fout wordt achterwaarts door de lagen herleid om te zien hoe elk gewicht eraan heeft bijgedragen.
• Gradient descent: elk gewicht wordt een stukje bijgesteld in de richting die de fout verkleint.
• Herhalen: over veel voorbeelden en veel rondes, tot de prestaties op ongeziene data niet meer verbeteren.

Hoe verschilt deep learning van andere machine learning?

Bij klassieke machine learning ontwerpen mensen vaak de kenmerken waar een model naar kijkt. Het Deep Learning-handboek wijst erop waarom dat ertoe doet: een algoritme voor representatieleren "kan een goede set kenmerken voor een eenvoudige taak in minuten vinden, of voor een complexe taak in uren tot maanden", terwijl "het handmatig ontwerpen van kenmerken voor een complexe taak veel menselijke tijd en moeite vergt; voor een hele gemeenschap van onderzoekers kan het tientallen jaren duren." Deep learning automatiseert een groot deel van die stap. Het bredere vakgebied wordt behandeld in Wat is machine learning?.

Wat zijn de belangrijkste soorten neurale netwerken?

• Convolutionele netwerken: ontworpen voor rasterachtige data, meestal afbeeldingen.
• Recurrente netwerken: ontworpen om sequenties stap voor stap te lezen, zoals tekst of audio, en veel gebruikt vóór nieuwere ontwerpen.
• Transformers: in 2017 geïntroduceerd in "Attention Is All You Need", dat een netwerk voorstelde "uitsluitend gebaseerd op attention-mechanismen". Ze vormen de basis van de huidige grote taalmodellen (zie LLM).

Waar wordt deep learning gebruikt?

• Objecten en gezichten in afbeeldingen herkennen en documenten lezen.
• Spraakherkenning en spraaksynthese.
• Machinevertaling, samenvatten en vragen beantwoorden.
• Tekst, afbeeldingen en code genereren (zie Wat is generatieve AI?).
• Zoeken en aanbevelen, waar betekenis zwaarder weegt dan exacte trefwoorden (zie embeddings).

Wat zijn de grenzen van deep learning?

• Data en rekenkracht: grote modellen hebben grote datasets en gespecialiseerde hardware nodig.
• Ondoorzichtigheid: het kan moeilijk zijn uit te leggen waarom een netwerk een bepaald antwoord gaf.
• Kwetsbaarheid: een model kan falen bij invoer die niet lijkt op de trainingsdata.
• Kosten en energie: het trainen en draaien van grote modellen is duur.
• Niet altijd nodig: bij kleine, gestructureerde datasets zijn eenvoudigere methoden vaak makkelijker te bouwen, uit te leggen en te onderhouden.

Hoe bepaalt u of u deep learning nodig hebt?

• Is uw data grotendeels ongestructureerd (afbeeldingen, audio, tekst)?
• Hebt u genoeg voorbeelden, of kunt u uitgaan van een bestaand voorgetraind model?
• Moet een antwoord worden uitgelegd, en zo ja, is dat mogelijk met dit model?
• Zou een eenvoudiger model goed genoeg en goedkoper in gebruik zijn?

Waar Zunkiree Labs past

Zunkiree Labs bouwt maatwerk-AI-systemen (waaronder RAG-pipelines, LLM-integratie en intelligente automatisering), datasystemen, maatwerksoftware en web- en mobiele applicaties. Of een project deep learning, een taalmodel met retrieval of iets eenvoudigers nodig heeft, is een ontwerpvraag waarmee we beginnen. De verwante benaderingen RAG en fine-tuning worden uitgelegd in ons glossarium. De volledige lijst staat op de dienstenpagina, en de dienst AI-ontwikkeling behandelt maatwerk-AI-systemen uitgebreider.

Verder lezen

• Wat is machine learning? — het fundament: hoe systemen van data leren, met uitleg over NLP, neurale netwerken en LLM's
• Wat is generatieve AI? — hoe het werkt, waar het helpt en waar het faalt
• Ethische AI — principes, risico's en hoe organisaties ze toepassen
• Basisprincipes van natuurlijke taalverwerking — onze gids over NLP
• Een RAG-pipeline bouwen — een stapsgewijze technische gids

Bronnen

• Goodfellow, Bengio and Courville, Deep Learning, chapter 1 (Introduction)
• Vaswani et al., Attention Is All You Need (arXiv, 2017)