Plus tu veux être "prudent", plut tu prends un  alpha  petit... la alpha=0.05  est une convention usuelle.

Mais c'est quoi cette histoire avec ton calcul d'effectif ?

Bon je suis médecin, donc mes connaissances en stat sont pauvres et un peu particulières... On nous dit qu'avant de faire une étude il faut faire un calcul d'effectif, à partir de la différence qu'on pense observer entre les groupes. moi j'ai fait l'inverse, j'ai pris le groupe le plus grand que je pouvais obtenir pendant la période dont je disposais (14 + 14 patients) et je les compare 2 à 2. Du coup quand je trouve des trucs non significatifs, je ne sais pas si c'est parce que je manque de puissance. Moi mon problème, c'est que je trouve des trucs significatifs auxquels je ne m'attendais pas en prenant un p<005, raison pour laquelle je me proposais de prendre un p<0.01. On me rétorque qu'on risque de me le reprocher, je ne sais pas si c'est vrai ?
Merci de ton aide.

Hhmmm.... d'abord ton questionnement à propos de si on peut te le reprocher n'est huère une question de statistique mathématique, ça dépend à quelles personnes tu fais allusion qui pourraient te le reprocher ? Des collègues ? Des autorités ?


Sinon pour les stats-maths il faudrait que tu m'en dises plus sur ce que sont tes données exactement, et sur quel test tu fais ? Avec un max de détails...

Ceux qui pourraient me le reprocher, c'est éventuellement des reviewer si j'essayais de publier, mais surtout avant tout c'est mon jury de mémoire...(ceci dit c'est des médecins comme moi, mais bon je veux faire un travail propre).
Pour les stat, c'est une étude en crossover, chaque individu reçoit 2 séances de traitement successives, les 7 premiers le A puis le B, les 7 suivants le B puis le A. Soit 14 séances de A et 14 séances de B à comparer. Je regarde ce qui se passe à 4 temps différents de chaque séance (T1, T2, T3, T4). Je compare A et B à chaque temps par un test de chi2 pour le variables nominales, et de Mann Withney pour les variables continues. Je voulais aussi savoir si certains paramètres variaient significativement entre T1 et T4 dans chaque groupe et si oui, si cette augmentation ou diminution était plus importante dans l'un des 2 groupes (ex : est ce que le taux de globules rouges baisse au cours du traitement et si oui, est ce qu'il baisse plus vite dans le groupe A ue dans le groupe B ?) : j'ai donc utilisé le test non paramétrique de Friemann pour mesures répétées dans chaque groupe et s'il était positif, j'ai comparé chaque temps 2 à 2 (T1 versus T2, T2 versus T3 etc) par le test non paramétrique de Wilconcox. Comme dans mes résultats, quand la variation est significative dans un groupe elle ne l'est pas dans l'autre, je n'ai pas eu besoin de me demander comment comparer les 2 groupes.

Hhmmm je ne saisis pas à 100% mais c'est pas grave. Tout est là dans ton interrogation:

Oui c'est vrai, je vais revoir tout ça. Merci beaucoup de ton aide en tout cas.

Tiens-moi au courant. Dis-moi, est-ce que tu ne t'attendais pas à ces résultats parce qu'il y a déjà eu des tests auparavant sur ces traitements, et tes résultats ne sont pas en accord avec les tests précédents ?

Même pas. Simplement parce que je trouve des différences qui n'ont aucune raison d'être, et que je testais juste pour montrer que ma population est cohérente et mon traitement bien conduit.

Bizarre quand même car comme tu as peu de puissance tu n'as pas beaucoup de chance de rejeter.

Quand tu regardes tes données, à l'oeil, tu comprends pourquoi les tests statistiques rejettent ton hypothèse ?

Oui. Disons que par ex. dans mes 2 groupes j'ai une valeur qui est stable sur toute la durée de la séance. ça confirme les données de la littérature, c'est normal parce que c'est le but de chaque traitement.Et logiquement le type de traitement n'influence pas cette valeur, elle doit donc être la même dans les 2 groupes. Mais si je compare mes valeurs entre les 2 groupes aux 4 temps de traitement, à T1 il y a une différence significatice (p=0,02) et pas à T2 ni T3 ni T4. Je pense que j'ai 1 valeur qui foire un peu (peut-être à cause de recueil incomplet des éléments biologiques, peut-être à cause de l'imprecision de la technique de laboratoire, que sais-je) et du coup comme je n'ai que 14 patients ça prend de l'importance et le test est significatif ?
Mais bon je vais m'en sortir, après tout c'est ça la médecine, une science non exacte (ou sont-ce les stat ?...), et heureusement il faut beaucoup d'études souvent contradictoires avant de tirer des conclusions définitives.

par contre je relis ton post : si je comprends bien, si j'augmentais ma population (ce qui pour moi veut dire la puissance, mais si j'ai une idée de ce qu'est la puissance au sens statistique du terme, j'en ignore la définition exacte) le risque beta augmenterait ? (mais peut être que la puissance, c'est justement beta ?) Excuse mon ignorance...