Bonjour
On suppose que M est trigonalisable mais pas diagonalisable. Pour trigonaliser M on suit les étapes suivantes :

   1/ Calculer le polynôme caractéristique χM de M.
   2/ On détermine les valeurs propres de M qui ne sont autre que les raçine du polynôme caractéristique de M.
    3/ Pour toute valeur propre simple λ de M (lorsqu'elle existe) on détermine la base de l'espace propre associé.
   4/ Pour chaque valeur propre λ multiple de M ( elle existe toujours, sinon la matrice sera diagonalisable) on suit les étapes suivantes :
        Etape 1 : On détermine une base de l'espace propre de M associé à λ.
        Etape k (k≥2) : Si dimker(M-λI3)k-1<m(λ) on détermine une base de ker(M-λI3)k qui complète celle de ker(M-λI3)k-1.
       5/ Pour chaque nouveau vecteur obtenu x de ker(M-λI3)k\ker(M-λI3)k-1 on a (M-λI3)(x)∈ker(M-λI3)k-1 donc Mx∈λx+ker(M-λI3), ce qui permet de déterminer les coordonnées de Mx en fonction de x et des élément de la base de ker(M-λI3)k-1. On détermine alors les coordonnées de Mx dans la base de trigonalisation.
    Soit (e1,e2,e3) la base obtenue. On construit la matrice inversible P dont les colonnes sont les coordonnées des vecteurs e1,e2 et e3 dans la base canonique de ℳ3(ℝ) et la matrice triangulaire supérieure T dont les colonnes sont les coordonnées des vecteurs Me1,Me2 et Me3 dans la base (e1,e2,e3).
   6/ On calcul la matrice P_-1, l'inverse de P.
   7/ On a la trigonalisation M=PTP_-1

Que représente k ?

k est un entier.
La méthode présentée ici (utilisation des noyaux itérés) est la réduction de Jordan. Son but est d'obtenir une matrice triangulaire avec une forme "agréable" : décomposition en blocs avec les valeurs propres sur la diagonale et des 1 sur les surdiagonales et des 0 ailleurs.
Cette théorie est peut être un peu compliquée pour un étudiant de spé, je ne sais pas si elle est à ton programme. Nous pouvons procéder autrement mais la triangularisation obtenue ne sera pas "canonique".
Ton exemple ne va pas pour s'entrainer à triangulariser : sauf erreur de ma part le polynôme caractéristique est scindé à racines simples donc ta matrice est diagonalisable.

bonjour
si tu n'as que des matrices 3x3 à trigonaliser, c'est encore plus simple :

si tu as une valeur propre simple, un vecteur propre associé u, une valeur propre double et un vecteur propre associé v (pas deux, sinon la matrice serait diagonalisable) : tu complètes (u,v) en une base (u,v,w) de K^3, par exemple par un des vecteurs de la base canonique et le tour est joué : dans (u,v, w), la matrice sera forcément triangulaire.

si tu n'as qu'une valeur propre triple a, avec un espace propre de dimension 2 : pareil, tu complètes une base de cet espace propre comme bon te semble
si l'espace propre associé est de dimension 1, de base u, là tu vas reprendre la méthode générale proposée par ztokayba, ou directement résoudre le système donnant un vecteur v tel que , puis celui donnant un w tel que

C'est justement le cas pour la matrice que tu proposes, le polynôme caractéristique est , donc une unique valeur propre, 1

vecteurs propres associés : , espace de dimension 1

tu prends

après tu peux chercher Ker(A-I)², ou alors directement chercher un vecteur v tel que : tu obtiens et . tu peux choisir par exemple
puis résoudre : tu obtiens et , par exemple

alors est une base (famille libre car échelonnée) et dans cette base, la matrice de f canoniquement associé à ta matrice sera (parce que u est propre associé à 1 et que v et w ont été calculés exprès pour avoir ces colonnes avec deux 1 et un 0)

Désolé j'ai dit des bêtises ..

Il n'y a pas unicité de T c'est ça ?

pas d'unicité du tout, non
la seule chose qui restera, ce sera les 1 sur la diagonale.
dans le cas de plusieurs valeurs propres distinctes, même là il reste une marge de manœuvre pour ordonner ces valeurs propres sur la diagonale

D'accord merci je vais essayer cette méthode !
Parce que celle de mon prof ne me plaît pas

Juste une question pour le troisième vecteur de la base tu fais Aw=w+v, et pour ne fais-tu pas Aw=w+v+u ?

Bref je crois que tu as fait une erreur je trouve un -2 en haut à droite de la matrice...

je cherche Aw = v + w pour que la dernière colonne de T soit

en effet ...

je crois que c'est toi qui as fait une erreur "classique" : je suis prête à parier que tu as exprimé Aw dans la base canonique et pas dans la base (u,v,w) ....