Éléments à prendre en considération :

• Le nombre de citations prend-il en compte les autocitations?
• Sur quelle période s’échelonnent les citations?
• Un seul article peut avoir généré beaucoup de citations et influencé la moyenne d’une revue ou d’un auteur ou d'une autrice.
• La revue ou l’auteur ou l'autrice citant ont-ils une forte influence dans la communauté? La citation est-elle positive ou négative? S’agit-il de citations complaisantes ou amicales?
• Des erreurs dans les citations peuvent altérer la valeur des analyses (coquilles dans le nom des revues, revues connues sous plusieurs noms, homonymie des auteurs ou autrices, etc.).

Discipline

• Quels sont les principaux modes de communication savante pour la discipline étudiée : livres, conférences, revues, réseaux informels? Sont-ils pris en compte dans les sources des données bibliométriques?
• Quelles sont les pratiques de citation de la discipline : de nombreuses références sont citées, ou un nombre restreint?

Sujet étudié

• Un sujet nouveau ou un domaine très spécialisé, avec très peu de chercheurs et de chercheuses, générera moins de publications et de références.
• Un article portant sur un sujet local, de par sa nature, risque d’être publié dans une revue nationale et risque donc d’être moins cité.

Langue

• Un important biais anglo-américain existe dans la couverture des périodiques indexés dans Web of Science, et dans une moindre mesure, dans Scopus. Les articles publiés dans les périodiques non anglophones sont donc moins indexés et risquent conséquemment d’être moins cités.

Type d’article

• Un article de type « revue systématique » ou de synthèse sera généralement plus cité qu’un article de recherche.
• Un article généraliste ou méthodologique intéressera davantage de chercheurs et chercheuses qu’un article spécialisé.

Âge du document

• Un document plus ancien a bénéficié de plus de temps pour être lu et donc d'être cité.

La performance ou l'influence d’un auteur ou d'une autrice est souvent mesurée avec l’indice h. Il ne faut cependant pas confondre indice h et qualité de la recherche. Plusieurs sources d'informations sont nécessaires afin de bien évaluer l'apport scientifique et académique d’un chercheur ou d'une chercheuse à l'aide d'indicateurs bibliométriques.

Bien que largement utilisé dans la communauté scientifique, l’indice h fait également l’objet de nombreuses critiques.

Les limites propres à la bibliométrie s’appliquent à l’indice h :

• On ne devrait donc pas l’utiliser pour comparer des auteurs et des autrices provenant de disciplines différentes, puisque les pratiques de publication ne sont pas les mêmes dans toutes les disciplines.
   
• On devrait aussi tenir compte de l’âge des chercheurs et chercheuses (ou de la durée de leur carrière) puisque cet indicateur est limité par le nombre total de publications d’une personne.
   
• Finalement, on doit garder en tête que les citations excédant l’indice h ne sont pas considérées.

Dans ce contexte, la Moyenne des citations relatives (MCR) des articles d'un auteur ou d'une autrice est une excellente alternative à l'indice h pour comparer des chercheurs et des chercheuses de spécialités et d'expériences différentes.

La bibliométrie mesure traditionnellement le nombre de citations d’un article. Elle ne fait aucune distinction entre une autocitation, une citation positive, une citation de courtoisie ou une citation négative. Le nombre de citations ne permet que d'interpréter l'impact de l'article dans la communauté des chercheuses et des chercheurs.

Le décompte des citations diffère d’un outil à l’autre. Pour avoir un meilleur portrait, il est suggéré d’utiliser différents outils.

La Moyenne des citations relatives (MCR) par article permet de comparer les données de différentes disciplines entre elles en normalisant, selon la spécialité, le nombre de citations reçues.

Le nombre de téléchargements et de partages dans les médias sociaux (mesures alternatives) permet également de savoir rapidement si un article a été lu et s’il a un impact dans les réseaux sociaux.

Les données bibliométriques portant sur les périodiques sont souvent mal interprétées ou mal utilisées. Le facteur d’impact d’une revue ne peut être utilisé au niveau individuel des auteurs et autrices ou des articles.

L’auteur ou l'autrice ayant publié dans une revue à haut facteur d’impact peut être considéré comme un auteur ou autrice ayant produit un article de qualité, mais la mesure qui est établie par le facteur d’impact ne peut être transposée à sa production individuelle.

En somme, faire paraître un article dans une revue à facteur d'impact élevé augmente la probabilité qu'une autrice ou un auteur soit davantage lu et cité, sans nécessairement garantir qu'il le sera.