Wat de doelfunctie is:

* Een doel: Het is een wiskundige functie die kwantificeert hoe ‘goed’ een model is in het uitvoeren van de beoogde taak. Het definieert formeel wat het model probeert te bereiken.

* Een score: Het neemt de voorspellingen van het model en vergelijkt deze met de werkelijke streefwaarden (grondwaarheid). Op basis van deze vergelijking berekent het een score (een enkel getal).

* Minimalisatie of Maximalisatie: Afhankelijk van de definitie is de doelfunctie ontworpen om *geminimaliseerd* (bijvoorbeeld fouten, verlies, kosten) of *gemaximaliseerd* (bijvoorbeeld nauwkeurigheid, winst, beloning) te zijn. Het doel van het optimalisatieproces is om de modelparameters te vinden die tot de best mogelijke score leiden (de laagste of de hoogste).

Rol bij optimalisatie:

1. Succes definiëren: De doelfunctie *definieert wat het betekent dat het model succesvol is.* Als het doel is om de gemiddelde kwadratische fout tussen voorspellingen en werkelijke waarden te minimaliseren, wordt het model als succesvol beschouwd als het waarden voorspelt die gemiddeld zeer dicht bij de werkelijke waarden liggen.

2. Een doel opgeven: De objectieve functie dient als een *doel voor het optimalisatie-algoritme.* De taak van het algoritme is om de parameters van het model (bijvoorbeeld gewichten in een neuraal netwerk, coëfficiënten in een lineaire regressie) zo aan te passen dat de objectieve functie verbetert (dat wil zeggen, afneemt bij minimaliseren, of toeneemt bij maximaliseren).

3. Het begeleiden van de zoekopdracht: De vorm van de doelfunctie (de afgeleiden en kromming) begeleidt de zoektocht van het optimalisatie-algoritme naar de beste modelparameters. Algoritmen zoals gradiëntafdaling gebruiken de gradiënt (de helling) van de doelfunctie om de richting te bepalen waarin de parameters moeten worden aangepast om een ​​betere score te bereiken.

4. Prestaties evalueren: De objectieve functie kan worden gebruikt om *de prestaties van verschillende modellen of verschillende sets parameters* voor hetzelfde model te evalueren. Door de objectieve functiewaarden voor verschillende configuraties te vergelijken, kunt u het model selecteren dat het beste presteert volgens de door u gedefinieerde criteria.

Gemeenschappelijke typen doelfuncties:

* Regressie:

* Gemiddelde kwadratische fout (MSE): Gemiddelde van de gekwadrateerde verschillen tussen voorspelde en werkelijke waarden. Goed voor het meten van de algehele voorspellingsnauwkeurigheid.

* Gemiddelde absolute fout (MAE): Gemiddelde van de absolute verschillen tussen voorspelde en werkelijke waarden. Robuuster voor uitschieters dan MSE.

* Classificatie:

* Cross-entropieverlies (logboekverlies): Meet de ongelijkheid tussen voorspelde waarschijnlijkheidsverdelingen en de echte labels. Vaak gebruikt in logistische regressie en neurale netwerken.

* Scharnierverlies: Gebruikt in ondersteuningsvectormachines (SVM's). Bestraft onjuiste classificaties en moedigt een marge tussen klassen aan.

* Clustering:

* Som van kwadraten binnen cluster (WCSS): Meet de compactheid van clusters. Algoritmen zoals k-means zijn bedoeld om WCSS te minimaliseren.

* Versterkend leren:

* Beloningsfunctie: Definieert de beloning (of straf) die een agent ontvangt voor het ondernemen van bepaalde acties in een omgeving. Het doel van de agent is om de cumulatieve beloning te maximaliseren.

Belangrijke overwegingen:

* Keuze van de doelfunctie: De keuze van de objectieve functie is *kritisch* en hangt sterk af van de specifieke machine learning-taak en het gewenste gedrag van het model. Een slecht gekozen objectieve functie kan leiden tot een model dat goed presteert op basis van de trainingsgegevens, maar slecht generaliseert naar onzichtbare gegevens, of dat niet aansluit bij de werkelijke doelen van de toepassing.

* Regularisatie: Doelfuncties worden vaak aangevuld met *regularisatietermen* (bijvoorbeeld L1- of L2-regularisatie). Regularisatie bestraft complexe modellen en helpt overfitting te voorkomen, wat leidt tot betere generalisatie. De regularisatieterm wordt toegevoegd aan de hoofdverliescomponent van de objectieve functie.

* Optimalisatie-algoritme: De keuze van het *optimalisatie-algoritme* moet compatibel zijn met de objectieve functie. Sommige algoritmen zijn beter geschikt voor bepaalde soorten objectieve functies (bijvoorbeeld convex versus niet-convex).

* Lokale minima (niet-convexe optimalisatie): Veel objectieve functies bij machine learning, vooral bij deep learning, zijn *niet-convex*. Dit betekent dat het optimalisatielandschap meerdere lokale minima heeft, en dat het optimalisatiealgoritme vast kan blijven zitten in een van deze lokale minima in plaats van het globale minimum (de best mogelijke oplossing) te vinden. Technieken zoals zorgvuldige initialisatie, momentum en adaptieve leersnelheden worden gebruikt om dit probleem te verzachten.

Samenvattend is de objectieve functie het hart van het optimalisatieproces bij machinaal leren. Het definieert wat het model moet bereiken, begeleidt de zoektocht naar de beste modelparameters en stelt ons in staat verschillende modellen te evalueren en te vergelijken.