Je lance des idées, sans plus.

1) Ecrire l'équation du plan ABC et vérifier si O est dans ce plan.
S'il n'y est pas, c'est fini, O n'est pas dans le triangle.

Si O est dans le plan ABC, alors:

2) Comme O est différent de A et de C, écrire les équations de la droite d // à AC et passant par O .

3) Chercher le point d'intersection de d avec la droite (AB).
Si ce point est dans le segment [AB], O est dans le triangle, sinon, il est dehors.
-----
Il y a sûrement d'autres manières de faire.

Quand j'ai écrit "écrire les équations de la droite d // à AC et passant par O".

Il s'agit, bien-entendu, de la droite du plan ABC // à (AC) passant par O

Merci beaucoup de cette réponse
Si j'ai bien compris, il faudra répéter cette opération pour les 3 côtés.

J'ai écrit des bêtises, cela ne fonctionne pas.

Je recommence.
Après avoir vérifier que O est dans la plan ABC.

On choisit un point P du plan ABC mais qu'on sait être hors du triangle.
On compte le nombre d'intersections du segment de droite
[OP] avec les segments cotés du triangles.

Si le nombre est 0 ou 2, le point O est hors du triangle. (dessin de droite)

Si le nombre est 1, alors le point O est hors du triangle. (dessin de gauche)

Il faut prendre garde que le segment [OP] ne passe par un sommet du triangle, sinon c'est raté.
-----
Si je n'ai pas dit de nouvelles sottises.  

poutant ça me semblait pouvoir fonctionner !
Cette méthode me convient, mais n'existe t-il pas une méthode plus analytique ou plus rapide ?
Ce problème n'est qu'une partie de mon exposé et j'aimerais autant ne pas avoir à m'éterniser dessus .
De plus je cherche une méthode qui pourrait être utilisable de manière algorithmique par un ordinateur (je sais, je suis assez difficile !)

Qu'entends tu par analytique ?
Tout peut-être fait analytiquement.

Les points A, B, C, D sont connus par leurs coordonnées.

Une fois P judicieusement choisi, P est aussi connu par ses coordonnées. (P en dehors du triangle et (OP) ne passant par aucun des sommets de ABC)

On recherche analytiquement les équations des droites (AB), (BC) et (AC).
On recherche analytiquement les équations de la droite (OP).

On recherche le point de rencontre de la droite (AB) avec la droite (OP).
On vérifie si ce point est bien à l'intérieur de [OP] et aussi de [AB], si OUI on le comptabilise.

On recherche le point de rencontre de la droite (AC) avec la droite (OP).
On vérifie si ce point est bien à l'intérieur de [OP] et aussi de [AC], si OUI on le comptabilise.

On recherche le point de rencontre de la droite (BC) avec la droite (OP).
On vérifie si ce point est bien à l'intérieur de [OP] et aussi de [BC], si OUI on le comptabilise.

Ces 6 dernières lignes par la résolution de systèmes d'équations et simples comparaisons de coordonnées de points.
-----
C'est malheureusement un peu long mais sans difficultés réelles, je pense.
-----

Remarque, ce procédé reste valable pour une autre figure qu'un triangle, c'est à dire pour tout polygone plan, il faut alors rechercher les points d'intersection de OP avec tous les segments des cotés du polygone.
Si la comptabilisation des points de rencontre (ceux à l'intérieur des segments) est paire (0 est considéré comme pair) , O est hors du polygone, si elle est impaire, O est dans le polygone.    
-----
Peut-etre quelqu'un va-t-il trouver une autre méthode.