Tout d'abord je pense que la foncton est mal définie, car avant d'écrire le symbôle de limite, il faudrait s'assurer que la limite existe...
Bref, l'idée est de décomposer la fonction en 2. On voit grace au pi à l'intérieur que suivant les valeurs de x, f(x) va prendre des valeurs spéciales.
En particulier, si x est entier, on a clairement f(x) qui vaut 1.
Peut-on prolonger à x rationnel?
On pose x=p/q avec p et q copremiers. Il s'agirait de savoir si n!x est entier, c'est-à-dire de savoir si q|n!. Comme n tend vers l'infini, c'est bien évidement vérifier.
Si l'on prend x irrationnel, f(x) va, comme tout cosinus qui se respecte, osciller entre -1 et 1 et donc notre limite va être nulle.
Finalement f prend la valeur 1 sur Q et 0 sur R-Q.
Comme Q et R-Q sont denses dans R, f est continue si et seulement si 1=0 ce qui n'est bien sûr jamais vérifié. Finalement f est partout discontinue
P-S : f s'appelle fonction caractéristique de Q