Pour le sens direct, ça me fait penser à l'exo sur les sous-groupes compacts du groupe linéaire dans le cas fini en balançant directement la formule pour A.
On pose brutalement
(en fait, l'ensemble décrit plus haut est l'ensemble des matrices à coefficients entiers qui conservent un certain produit scalaire).
Sinon, A convient bien car d'une part, elle est symétrique définie positive comme somme de matrices symétriques définies positives (chaque terme est symétrique et positif et comme chaque M est inversible, alors chaque terme de la somme est définie postive) et d'autre part pour tout M de G,
car l'application
est une permutation de G (car G est un groupe).
Ainsi, on a bien montré l'inclusion.
C'est pour l'autre sens où il a fallu réfléchir un peu plus.
On prend donc A comme dans l'énoncé.
Pour montrer le résultat voulu, il suffit de montrer (et même il faut) que l'ensemble dont G est un sous-groupe est fini.
Comme A est symétrique définie positive, alors c'est le carré d'une matrice symétrique définie positive S.
Ainsi, M appartient à cet ensemble si et seulement si M est à coefficients entiers et si
donc si et seulement si
où K est l'image de
par l'application continue
. Or
est compact donc K est également compact. Par ailleurs,
est un fermé discret donc l'ensemble
est l'intersection d'un compact et d'un fermé discret, donc c'est un ensemble fini, d'où le résultat voulu.