et bien il faut tout d'abord que tu calcules l'équation
du plan formé par ton triangle, je ne sais plus exactement comment
on fait, la, de mémoire, mais il me semble que C pas impossible
ensuite, il suffit de vérifier que ton point vérifie cette équation.

equation d'un plan : x + a y + b z + c = 0
3 inconnues : a, b, c
3 equations avec les trois points du triangle : x1 + a y1 + b z1 +
c = 0
x2 + a y2 + ...
x3 + a y3 + ...

La question est intéressante et nécessite un peu de mathématiques
et d'imagination...
Si A, B et C sont 3 points (de l'espace - mais cela reste vrai
en toute dimension), le "triangle ABC", ou plutôt l'intérieur
de ce triangle (frontière comprise) est ce qu'on appelle un
ensemble convexe qui est contenu dans sa propre enveloppe convexe
(le triangle)... On montre que tout point de l'intérieur vérifie
la propriété suivante : c'est le barycentre de A, B et C affectés
de coefficients positifs (strictement positifs pour un point dans
l'intérieur strict).
Par conséquent, pour démontrer qu'un point M est situé à l'intérieur
strict de l'enveloppe (triangle), il faut résoudre le système
suivant : aMA+bMB+cMC=0 (en vecteurs) et comme on le suppose non
situé sur l'enveloppe, on peut "simplifier" cette condition
en cherchant des réels a et b non nuls tels que MA+aMB+bMC=0, qui
est un système à trois équations et deux inconnues a et b. Vous pouvez
le résoudre (même un algorithme simple type Gauss sait le faire),
vérifier sa compatibilité (plus d'équations que d'inconnues)
et si a et b sont strictement positifs, le point M est situé à l'intérieur,
à l'extérieur sinon.
Maintenant (votre question n'étant pas très précise sur ce point), pour
tester l'appartenance du point M à l'enveloppe convexe,
il suffit de se demander si M est situé sur l'un des côtés [AB],
[BC] et [AC]. Pour cela, il faut reprendre le même raisonnement que
précedemment avec 2 points car l'enveloppe convexe d'un
segment est... le segment lui-même ! M est situé sur ]AB[, A et B
exclus, si et seulement si il existe des réels strictement positifs
a et b tels que aMA+bMB=0 (en vecteurs) condition que l'on peut
simplifier en éliminant l'inconnue a.
Il reste finalement à se demander si votre point M est sur A, B ou C.
C'est peut-être la première des choses qu'il faut se demander
!
Voila !