In questa lezione vediamo dei concetti sul massimo e sul minimo locale che ci portano a definire la forma quadratica, un criterio per capire quando essa è definita positiva e il test degli autovalori.
Massimo, minimo locali e forme quadratiche
Ora faremo dei ragionamenti che ci porteranno a capire perché è importante utilizzare le forme quadratiche (che definiremo dopo).
Prendiamo una funzione f: A⊆ Rn → R e troviamo i suoi massimi e i suoi minimi.
Per trovarli, bisogna analizzare i punti di non derivabilità (ovvero quei punti in cui la funzione c’è ma non è derivabile quindi non riusciamo a calcolare il gradiente), i punti che stanno sulla frontiera di A (cioè i punti di confine dell’insieme A) e i punti critici (cioè quelli con gradiente nullo, e quindi poi sfruttando il teorema di Fermat possiamo dire che tra quei punti critici ci saranno dei massimi o dei minimi).
Ci concentreremo sui punti critici, ovvero ipotizzeremo di aver trovato un punto con gradiente nullo e cercheremo di capire quando questo è un massimo o un minimo.
Supponiamo che f ∈ C2(A) e che xo sia un punto di A in cui il gradiente è nullo.
Possiamo scrivere il teorema di Taylor:
Come vedete, abbiamo evitato di scrivere la sommatoria perché abbiamo “raggruppato” tutta la sommatoria nel prodotto scalare tra due quantità: la prima è il prodotto tra la matrice hessiana e il vettore x – xo mentre la seconda è il vettore x – xo. Abbiamo poi eliminato la parte con il gradiente perché abbiamo ipotizzato che sia nullo.
La definizione di massimo (o minimo) locale è chiara e va a guardare la differenza tra f(x) e f(xo). Per comodità consideriamo la definizione di massimo ma tutte queste cose valgono anche per il minimo:
Da questa, come dicevo poco fa, si può trovare f(x)-f(xo) ≤ 0.
Possiamo riscrivere la formula del teorema di Taylor per ritrovare la stessa sottrazione:
Quindi cosa abbiamo detto? La definizione di massimo ci dice che a sinistra dell’uguale dobbiamo avere una quantità negativa, quindi anche a destra dell’uguale dobbiamo avere una quantità negativa. Sappiamo inoltre che l’o-piccolo è trascurabile quindi ce ne freghiamo.
Cosa abbiamo trovato?
Per capire se c’è un massimo in xo (che è un punto in cui il gradiente è nullo) bisogna capire se il prodotto scalare appena scritto è ≤ 0. Se avessimo cercato il minimo avremmo trovato lo stesso prodotto scalare ≥ 0.
In generale, quindi, oltre a trovare i punti in cui il gradiente è nullo bisogna anche capire se il prodotto scalare della quantità scritta sopra è ≤ o ≥ di 0.
Capita quello che succedeva con le funzioni in una variabile: non vi bastava dire che la derivata fosse nulla, bisognava anche studiare il segno della derivata per capire cosa faceva la funzione: se f cresceva e poi decresceva allora xo era un massimo, se decresceva e poi cresceva allora xo era un minimo.
Il prodotto scalare che abbiamo scritto è una forma quadratica.
Forma quadratica
Prendiamo una matrice H simmetrica.
La forma quadratica associata ad H è:
In pratica, basta fare il prodotto scalare tra Hv e v. Nel caso dei massimi e dei minimi v=x–xo.
Adesso vedremo delle definizioni e dei teoremi che ci consentiranno di capire se la forma quadratica è positiva oppure no. Quindi ci aiuteranno nel trovare i massimi e i minimi locali delle funzioni in più variabili.
forma quadratica definita positiva o definita negativa
Ci sono un po’ di definizioni da dare ma non vi preoccupate. Le divideremo in punti, in modo da non fare confusione.
- Una forma quadratica Q(v) è definita positiva se vale la seguente relazione:
Quindi bisogna che Q(v) sia maggiore di zero a prescindere dal vettore v. Il vettore v non deve però essere il vettore nullo. - Una forma quadratica Q(v) è definita negativa se vale la seguente relazione:
- Data una forma quadratica Q(v), essa è semidefinita positiva se:
La definizione sembra difficile ma non lo è: intanto bisogna che la Q(v) sia maggiore o uguale di 0 per qualsiasi vettore v; bisogna anche che ci sia un vettore diverso dal vettore nullo che però faccia risultare nulla la forma quadratica. - Presa una forma quadratica Q(v), essa è semidefinita negativa se:
La definizione è praticamente identica a quella precedente, ma c’è un “≤”.
Queste sono definizioni, poi vedremo come capire se una forma quadratica è definita positiva, definita negativa, semidefinita positiva o semidefinita negativa facendo i conti.
forma quadratica indefinita
Una forma quadratica Q(v) è indefinita se vale la seguente relazione:
In pratica, è indefinita quando la forma quadratica è un po’ maggiore di zero e un po’ minore di zero.
teorema: hessiana e massimi/minimi
Prima di esporre il teorema diciamo una piccola cosa: una matrice si dice definita positiva se la forma quadratica associata a quella matrice è definita positiva.
Le definizioni di matrice definita negativa, semidefinita positiva, semidefinita negativa ed indefinita seguono lo stesso concetto: bisogna guardare se la forma quadratica associata è definita negativa, semidefinita positiva, semidefinita negativa o indefinita.
Abbiamo visto che l’hessiana è simmetrica e, dal primo capitolo di questa lezione, abbiamo capito che ci interessa sapere la forma quadratica associata all’hessiana perché così troviamo massimi e minimi.
Il teorema stabilisce quello che abbiamo già capito:
Data una funzione f∈ C2(A), un punto xo∈ A e chiamata H la matrice hessiana, valgono le seguenti proposizioni:
- Se H in xo è definita positiva allora xo è un punto di minimo locale.
- Se H in xo è definita negativa allora xo è un punto di massimo locale.
- Se H in xo è indefinita allora xo è un punto di sella.
Siccome per guardare se H è definita positiva (o negativa o indefinita) guardiamo la forma quadratica associata, il teorema dice quello che avevamo capito nel primo capitolo.
esempio 1
Prendiamo la seguente funzione e calcoliamone i massimi e i minimi:
Gli estremi (cioè i massimi e i minimi) vanno calcolati nei punti di non derivabilità (ma non ce ne sono perché f è derivabile), nei punti di frontiera del dominio (ma non ce ne sono perché il dominio è R2) e nei punti critici.
I punti critici sono quelli in cui si annulla il gradiente. Calcoliamo allora le derivate parziali e le poniamo entrambe uguali a zero:
Da qui diamo spazio alla fantasia: dalla seconda equazione possiamo trovare y e poi sostituirlo nella prima per trovare x.
Otteniamo due punti in cui entrambe le derivate sono nulle: (0,0) e (3/2,9/4).
I massimi e i minimi vanno cercati in quei due punti. Per trovarli dobbiamo scrivere la matrice hessiana e poi vedere dove la forma quadratica associata è definita positiva.
La matrice hessiana è questa:
La forma quadratica associata ad essa va calcolata in un punto particolare, che è il punto critico (cioè bisogna sostituire le coordinate del punto dentro all’hessiana).
Prendiamo quindi il punto (0,0) e scriviamo la forma quadratica:
Come vedete, nella matrice hessiana c’è la componente “6x” che è 0 perché abbiamo inserito il punto (0,0). Il prodotto scalare tra i due vettori si ottiene moltiplicando la prima componente di un vettore per la prima componente dell’altro e sommando a questo prodotto la moltiplicazione tra le seconde componenti.
Il vettore v è stato posto uguale a (v1,v2).
E’ difficile studiare il segno della forma quadratica ottenuta perché ci sono due incognite, che sono le componenti del vettore v.
Servono dei criteri per capire facilmente quando una matrice (e quindi quando una forma quadratica) è definita positiva, definita negativa, semidefinita o indefinita.
Prima di vedere i criteri facciamo un ripassino.
Ripasso: il determinante di una matrice
Vediamo un attimo come calcolare il determinante di una matrice.
matrice 2×2
Data una matrice M 2×2 definita come segue, il suo determinante è:
matrice nxn – sviluppo di laplace
Data una matrice M nxn formata dagli elementi aij e presa la riga i, il suo determinante sviluppato per righe secondo Laplace è:
SPIEGAZIONE: prendete una determinata riga (di solito quella con tanti zeri). Per ogni elemento aij di quella riga fate la moltiplicazione che vedete dentro alla sommatoria e poi sommate i risultati ottenuti. Cij è una matrice ottenuta dalla matrice M togliendo la riga i e la colonna j.
Esempio 2
Prendiamo la seguente matrice M e troviamo il suo determinante:
Prendiamo la terza riga perché contiene un elemento nullo.
Dobbiamo partire dal primo elemento, cioè 0, e moltiplicarlo per (-1)3+1 e per il determinante di una sottomatrice. Perché l’esponente del -1 è proprio 3+1? Perché l’elemento zero è nella riga 3 e nella colonna 1. Siccome stiamo moltiplicando qualcosa per zero sappiamo già che il risultato è zero.
Ora prendiamo il secondo elemento, cioè 2. Esso è nella riga 3, colonna 2 quindi avremo (-1)3+2. La sottomatrice si ottiene prendendo la matrice iniziale ed eliminando la riga e la colonna dove è presente l’elemento considerato: noi stiamo considerando il 2, che è nella riga 3 e nella colonna 2. Otteniamo:
Facciamo anche il terzo elemento, che è 5. Esso è nella riga 3 e nella colonna 3. Otteniamo:
Con i risultati ottenuti cosa facciamo? Li sommiamo e abbiamo finito:
UNA CHICCA: questa regola si può applicare anche alle colonne. Facciamo un rapido esempio considerando una matrice M 3×3. Potete scegliere una colonna j, prendere il primo elemento di quella colonna e moltiplicarlo per (-1)i+j e per Cij (che è sempre la matrice ottenuta da M eliminando la riga i e la colonna j); il risultato lo tenete fermo da una parte. Poi prendete il secondo elemento della colonna e fate la stessa cosa. Poi prendete il terzo elemento e ripetete il procedimento. L’ultimo passaggio è quello di sommare i tre risultati precedenti. Così avete trovato il determinante. Nella matrice M di prima, prendendo la colonna 2 avremmo ottenuto: (-1)1+2 10(5-0)+(-1)2+2 4(10-0)+(-1)3+2 2(2-3)= -50+40+2 = -8.
Primo criterio con matrici 2×2
Questo è un criterio per capire se una matrice 2×2 è def. positiva, def. negativa, semidef. positiva, semidef. negativa o indefinita.
Vedremo anche un secondo criterio chiamato test degli autovalori.
Data una matrice M simmetrica definita così:
Il primo criterio dice:
- SE a > 0 e det(M) > 0
ALLORA M è definita positiva. - SE a < 0 e det(M) > 0
ALLORA M è definita negativa. - SE det(M) < 0
ALLORA M è indefinita. - SE a > 0 e det(M) = 0
ALLORA M è semidefinita positiva. - SE a < 0 e det(M) = 0
ALLORA M è semidefinita negativa. - Se a = 0 e c ≠ 0, il criterio si può usare con “c” al posto di “a”.
Questo criterio è un grande aiuto e lo vediamo subito applicato all’esempio 1.
esempio 1 – parte 2
Eravamo giunti ad una forma quadratica difficile da risolvere quindi avevamo detto che bisognava usare dei criteri. Ora che abbiamo visto il primo criterio possiamo provare ad applicarlo.
Intanto consideriamo il punto (0,0). La matrice hessiana in quel punto è una 2×2 con a = 0. Applichiamo il criterio utilizzando c.
Nel nostro caso c = 2 ed è quindi maggiore di 0. Il problema è che dobbiamo vedere se il determinante è positivo oppure no:
Il determinante è negativo quindi per il primo criterio possiamo dire che la matrice è indefinita e che il punto (0,0) è un punto di sella. Poi vedremo il grafico della funzione.
Guardiamo ora il punto (3/2,9/4).
Dobbiamo sostituire le coordinate del punto dentro alla matrice hessiana:
Come vedete, a > 0 ed è pari a 9. Calcolando il determinante otteniamo 9, che è anch’esso maggiore di 0.
Per il criterio allora la matrice hessiana in (3/2, 9/4) è definita positiva e quindi c’è un punto di minimo locale.
Ora vi faccio vedere il grafico della funzione che abbiamo usato per questo esempio:
Il punto rosso è il minimo. L’origine, cioè il punto (0,0,0) in verde è l’altro punto con gradiente nullo. A guardarlo da qui sembra un massimo ma provando a ruotare la funzione si vede che non lo è.
Test degli autovalori
Il test degli autovalori è un altro criterio per capire se una forma quadratica è definita positiva oppure no.
La forma quadratica associata ad M è:
- Definita positiva se gli autovalori di M sono tutti >0.
- Definita negativa se gli autovalori di M sono tutti <0.
- Semidefinita positiva se gli autovalori di M sono tutti ≥0 e ce n’è almeno uno nullo.
- Semidefinita negativa se gli autovalori di M sono tutti ≤0 e ce n’è almeno uno nullo.
- Indefinita se esiste un autovalore >0 e uno <0.
E’ dunque un criterio diverso dal precedente e va a parare sugli autovalori della matrice.
Ma cos’è un autovalore?
Gli autovalori di una matrice M si indicano con la lettera λ (“lambda”) e sono individuati dalla seguente formula:
Dove I è la matrice identità, cioè una matrice quadrata che ha tutti gli elementi uguali a 0 tranne quelli sulla diagonale principale che sono uguali a 1.
esempio 1 – parte 3
Per far capire il test degli autovalori prendiamo ancora la funzione dell’esempio precedente e cerchiamo i massimi e i minimi utilizzando il test degli autovalori, non il primo criterio.
Abbiamo già individuato i due punti critici, che sono (0,0) e (3/2, 9/4).
Calcoleremo gli autovalori della matrice hessiana, con quest’ultima matrice calcolata nei punti in questione.
Per il punto (0,0) abbiamo già scritto la matrice hessiana e adesso calcoliamo gli autovalori:
A noi non interessa il valore degli autovalori, però ci interessa il fatto che siano positivi o negativi. Siccome uno è positivo e uno è negativo, per il test degli autovalori la forma quadratica è indefinita e quindi il punto è un punto di sella.
Per quanto riguarda il punto (3/2, 9/4) calcolando gli autovalori otteniamo:
In questo caso gli autovalori sono entrambi positivi quindi la forma quadratica è definita positiva e quindi il punto è un punto di minimo locale.
Primo criterio con matrici nxn
Abbiamo visto il primo criterio con matrici 2×2, ma cosa succede quando abbiamo una matrice più grande?
Il primo criterio si complica un po’ e a me non piace molto però dobbiamo farlo.
Data una matrice M di dimensione nxn come segue:
Definiamo Mk i minori di nordovest in questo modo:
In pratica i minori di nordovest sono delle matrici quadrate che partono dall’angolo in alto a sinistra della matrice M.
La forma quadratica associata ad M è:
- Definita positiva se det(Mk) > 0 per ogni k.
- Definita negativa se (-1)kdet(Mk) > 0 per ogni k.
Dobbiamo quindi guardare il determinante dei minori di nordovest.
ATTENZIONE: questo criterio non dice niente sulle matrici semidefinite o indefinite. Vi dice solo qual è la condizione che fa sì che la matrice (o la forma quadratica) sia def. positiva o def. negativa.
A mio parere il test degli autovalori è più bello, però sono dettagli.
Esempio 2
Siccome so che vi piacciono gli esempi e che siete desiderosi di capire come si applica il primo criterio per le matrici nxn, facciamo un esempio con una matrice 3×3.
Troviamo massimi e minimi locali della seguente funzione:
Innanzitutto cerchiamo gli estremi nei punti con gradiente nullo. Scriviamo quindi le condizioni che fanno annullare le tre derivate parziali:
Non ci resta che risolvere il sistema. Basta, per esempio, trovare la x dall’ultima equazione e buttarla dentro alla seconda e alla prima. A questo punto dalla seconda ci si trova la y e la si butta dentro alla prima. In questo modo la prima equazione avrà solo l’incognita z e si riuscirà a risolvere.
Si ottiene il punto (0,0,0).
Ora calcoliamo l’hessiana:
Questa matrice è indipendente dalle coordinate x,y,z quindi è anche l’hessiana nel punto (0,0,0).
Per il primo criterio (applicato alle matrici 3×3) dobbiamo scrivere i minori di nordovest di questa matrice e calcolare il loro determinante.
Siccome tutti i determinanti sono positivi, la matrice H è definita positiva e quindi (0,0,0) è un punto di minimo relativo.
ATTENZIONE: se una matrice è semidefinita non si sa se nel punto in questione c’è un massimo, un minimo o un punto di sella. Il primo teorema visto in questa lezione ci dice che se è def. pos. allora c’è un minimo, se è def. neg. allora c’è un massimo, se è indef. allora c’è una sella ma non parla delle matrici semidefinite.
Anche questa lezione è finita. E’ stato divertente.
Per passare alla prossima lezione fai click qui.