Bonjour zymik.
Je te propose une méthode un peu lourde.
1°) Puisque a est non nul, je peux envisager l'hyperplan H orthogonal à a.
Ainsi : .
On peut alors prendre pour base de travail :
où les h_i forment une base orthonormale de H et n = a/||a||.
Alors, f(a) = (1 + b||a||²)n et f(h_i) = h_i.
La matrice de f sur B est donc diagonale : A = Mat(f,B) = diag[1+b||a||², 1, 1, ... , 1].
Sur cette matrice, on peut voir que les vecteurs liés à leurs images sont :
a) les éléments de D
b) les éléments de H.
On remarque que f est un endomorphisme orthogonal : il transforme une base orthogonale en des vecteurs orthogonaux.
2°) f automorphisme orthogonal <==> det(f) = +/- 1
<==> b = 0 (f = id_E, cas écarté par l'énoncé) ou b = (f est la symétrie orthogonale par rapport à H).
Remarque : si b = , f est le projecteur orthogonal sur H.
Cordialement RR.

soit xE tq il existe hIR* f(x)= h.x

il vient que (h-1).x= b*<a|x>.a

a et b étant non nuls on a donc :
x appartient à l'ortogonal de Vect(a). pour (h=1).Dans ce cas la réciproque est immédiate.
ou
x appartient à Vect(a). en calculant f(a)= (1+b*<a|a> ).a et donc f(Vect(a))=Vect(a)

d'où l'ensemble cherché estl'ortogonal de Vect(a)U Vect(a)

Pour que f(a)= (1+b<a|a> ).a

<f(a)|f(a)>= (1+b<a|a> )<sup>[/sup]2*<a|a>

pour que f soit un automorphisme orthogonal il faut que <f(a)|f(a)>= <a|a>
donc (1+b<a|a> )[sup]</sup>2=1  donc  b*<a|a>= -2

soient x et y deux élements de E, un calcul immédiat  de <f(x)|f(y)> donne  <f(x)|f(y)>=<x|y> pour
b*<a|a>= -2
D'où f est un automorphisme orthogonal ssi b*<a|a>= -2