Il existe de multiples façons, par exemple:

Déterminer une équation du plan passant par A,B et C et vérifier si D est dans ce plan.

1) Equation du plan ABC:
x + Ay + Bz + C = 0

On exprime que le plan passe par A:
1 + 5A + 2B + C = 0

On exprime que le plan passe par B:
-3 - A + 7B + C = 0

On exprime que le plan passe par C:
9 + 5A - 3B + C = 0

On résout le système -> A = -1/3, B = 1 et C = -13/3
-> x - (1/3)y + z - (13/3) = 0

3x - y + 3z - 13 = 0. C'est une équation du plan (ABC)
(Remarque, il existe d'autres façons de déterminer l'équation d'un plan)
-----
Il suffit maintenant de vérifier si les coordonnées de D vérifient l'équation du plan ABC.

3*1 - 2 + 3*0 - 13 =? 0
3 - 2 - 13 =? 0

Les coordonnées de D ne vérifient pas l'équation du plan ABC -> Les points A ,B,C et D ne sont pas coplanaires.
-----
C'est, je le répète, une façon parmi beaucoup d'autres.

Sauf distraction.