Cette note, réalisée conjointement avec Patrick Girard (DR CNRS, LIRMM), représente la première version d’un document final destiné à répertorier et classifier les revues et conférences majeures du domaine SoC-SiP dans lesquelles tout chercheur de la communauté se doit de publier.
Classement des revues du domaine SoC-SiP (pdf)
Classement des conférences du domaine SoC-SiP (pdf)
Dans sa version actuelle, la dimension quantitative a été privilégiée, que ce soit pour les revues avec la prise en compte d’indicateurs tels que le facteur d’impact (IF) ou le h-index (Google Scholar), ou pour les conférences avec le taux d’acceptation (sélectivité) ou le h-index (Google Scholar). Dans un deuxième temps, l’objectif sera d’affiner cette classification (ou évaluation) des revues et des conférences par le biais d’un dialogue avec l’ensemble des membres du comité de pilotage du GDR SoC-SiP. À ce stade, il s’agira de compenser les limites d’une évaluation purement quantitative en faisant appel à l’expertise et à la connaissance des revues et des conférences par l’ensemble des membres de ce comité. En effet, même si on observe généralement une forte corrélation entre les informations données par les indicateurs bibliométriques et la réalité en ce qui concerne la qualité d’une revue ou d’une conférence, plusieurs analyses portant sur ces indicateurs dénoncent leurs limites, les principales étant que ces indicateurs sont compilés avec des outils logiciels (ISI Web of Knowledge, Scopus, Harzing, Google Scholar, etc.) encore imparfaits et avec une couverture parfois faible de certains domaines, qu’ils pénalisent les revues ou conférences jeunes et en devenir, ainsi que les domaines émergents. À terme, l’objectif sera d’aboutir à un consensus sur cette classification et de la rendre publique.
Pour les revues, cette évaluation devrait permettre de déterminer un classement de l’impact, tout en dissociant les revues au cœur du domaine SoC-SiP des revues dans des domaines connexes. L’impact d’une revue tient à sa qualité, à sa notoriété mais qualifie aussi sa capacité à présenter des travaux du plus haut niveau scientifique, les plus innovants, les plus fondateurs, les plus « opinion leaders » ou qui font sauter des verrous scientifiques. Par ailleurs, il est avéré que la communauté SoC-SiP française participe très activement à de nombreuses conférences internationales avec actes et comité de lecture. Certaines de ces conférences sont très sélectives, avec des taux d’acceptation voisins de ceux des meilleures revues. L’impact des publications y est donc souvent proche de celui des articles de revue internationale, la préférence des chercheurs pour ce média s’expliquant par des délais plus courts de relecture et par le fait que la présence à ces évènements est devenue quasiment incontournable. Une démarche analogue à celle des revues est donc proposée pour les conférences internationales.
Il s’agit donc d’un document à vocation publique, dont les objectifs sont principalement :
- de fournir aux chercheurs, et en particulier aux plus jeunes, un guide pour les aider dans leur stratégie de publication, en indiquant les revues et conférences stratégiquement les plus pertinentes en termes d’évaluation ;
- de fournir à la direction des départements INS2I et INSIS du CNRS un outil pour faciliter ses arbitrages internes et le dialogue avec les autres communautés ;
- une vocation à être diffusé auprès des différents comités (CoNRS, CNU, AERES, mais aussi les comités scientifiques régionaux et locaux) pour les aider dans leur évaluation des chercheurs / enseignants-chercheurs / candidats à un poste dans le domaine SoC-SiP.
Sur ce dernier point, les rédacteurs de cette note insistent sur le fait que l’évaluation des chercheurs doit être conduite par des experts compétents et indépendants. Ils sont bien conscients de ses limites mais espèrent que cette note apportera un éclairage supplémentaire sur la qualité de la production scientifique d’un chercheur dans le domaine SoC-SiP.
Méthodologie
Le document actuel propose plusieurs listes de revues internationales à comité de lecture et de conférences internationales avec actes et comité de lecture connues et reconnues par la communauté scientifique française du domaine SoC-SiP. Ces listes ont ainsi pour but d’éclairer chaque chercheur dans la définition de sa stratégie de publication.
Pour les revues, deux listes ont été établies :
- les Revues Internationales à Comité de Lecture (RICL) d'excellent niveau, qui ont en général un IF supérieur à 1, et qui sont jugées comme ayant un impact majeur ;
- les RICL de bon niveau, qui ont un IF inférieur à 1, mais qui sont jugées comme ayant un impact significatif
Toutes ces revues ont bien sûr un éditeur reconnu et un numéro ISSN. Par ailleurs, dans chacune des listes, les revues qui relèvent purement du domaine SoC-SiP ont été séparées de celles qui relèvent de domaines connexes (e.g. traitement du signal, communications numériques, cryptographie). Il faut noter que la liste des revues de ces domaines connexes n’est pas exhaustive. Enfin, quelques revues récentes, sans facteur d’impact mais considérées comme ayant un fort potentiel, ont été recensées et reportées dans la deuxième liste. Une troisième liste de revues (non classées) a été établie mais ne figurera pas dans le document final. Ces revues sont considérées comme ayant un impact négligeable.
Pour les conférences, trois listes ont été établies, en se basant principalement sur le taux d’acceptation. Le taux d'acceptation est égal au rapport du nombre de papiers acceptés sur le nombre de papiers soumis ; plus le taux est faible, plus la conférence peut être considérée comme sélective. Ce taux d’acceptation se base soit sur des informations obtenues directement lors de participation à des comités de programme de ces conférences, soit sur des sites référençant ces taux, généralement par domaine. Ces taux demandent à être vérifiés et validés pour l’ensemble des conférences. Un autre critère objectif est le h-index de la conférence qui permet de mesurer les citations des articles qui y sont publiés. Un h-index élevé correspondra à une conférence ayant un fort impact dans sa communauté. Les trois listes établies sont les suivantes :
- les Conférences Internationales avec Actes et Comité de Lecture (CIACL) de rang A+, qui ont un taux d’acceptation inférieur à 25% et des actes publiés par un éditeur reconnu avec ISBN. Ces CIACL correspondent à des conférences extrêmement sélectives, qui peuvent être soit généralistes, soit spécialisées, et qui constituent des événements incontournables qui rythment la vie scientifique de la communauté.
- les CIACL de rang A, qui ont un taux d’acceptation compris entre 25% et 40%, et des actes publiés par un éditeur reconnu avec ISBN. Ces CIACL correspondent à des conférences suffisamment sélectives pour leur assurer une reconnaissance de premier plan par la communauté. Elles peuvent être soit généralistes, soit spécialisées.
- les CIACL de rang B, qui ont un taux d’acceptation supérieur à 40%, et des actes publiés par un éditeur reconnu avec ISBN. Ces CIACL correspondent à des conférences de bonne tenue mais moins sélectives. Elles peuvent être soit généralistes, soit spécialisées.
Une quatrième liste de conférences (non classées) a été établie mais ne figurera pas dans le document final. Ces conférences sont considérées comme ayant un impact négligeable, mais peuvent cependant être intéressantes comme forum d’essai pour les doctorants. Comme pour les revues, dans chacune des listes, les CIACL qui relèvent purement du domaine SoC-SiP ont été séparées de celles qui relèvent de domaines connexes.
Plusieurs données doivent être considérées en plus du taux d’acceptation :
- l'audience, mais cette donnée ne peut être exploitée si elle n'est pas associée à la couverture thématique : une conférence généraliste comme DAC attire 5000 personnes, c'est-à-dire 10 à 20 fois plus qu'une conférence monothématique ;
- le format de la conférence (qui détermine aussi l'audience) : nombre de sessions en parallèle, durée des exposés ;
- sa notoriété, qui est certes un critère subjectif, et qui se construit entre autres sur la renommée scientifique des membres du comité de programme et la qualité du processus de sélection ;
- le processus de sélection : sur article complet avec plusieurs relectures ou sur résumé ;
- la qualité des actes : certaines conférences ont des processus d'évaluation proches de ceux mis en œuvre dans les revues et sélectionnent les meilleurs articles pour éditer ensuite un numéro spécial de revue ;
- le nombre de citations d'articles des actes d'une conférence mais ce facteur d'impact n'est pas disponible comme celui des revues ;
- le parrainage d'une société savante : les conférences parrainées par certaines sociétés savantes comme IEEE, IFIP ou ACM, respectent habituellement un minimum de critères de qualité.
Observations
Pour l’ensemble des données fournies dans chaque liste, on peut observer qu’il y a une corrélation assez bonne entre IF et h-index pour les revues, et entre h-index et taux d’acceptation pour les conférences.
Toutes les listes établies devront naturellement être mises à jour régulièrement en fonction des évolutions de la discipline.
Sources Bibliographiques
Références ayant permis de relever les h-index (pour les revues et les conférences) et les IF (pour les revues)
[1] Google scholar metrics,
http://scholar.google.com/citations?view_op=search_venues&vq=iet&hl=en
[2] SJR, http://www.scimagojr.com/journalsearch.php
[3] ISI Web of Knowledge, http://admin-router.webofknowledge.com/?DestApp=JCR
Références permettant d’obtenir des informations sur les taux d’acceptation ou les facteurs d’impact
[4] Big List of VLSI, Signal Processing, etc. Conferences, Journals, and Magazines,
http://www.ece.ucdavis.edu/vcl/misc/conferences.html
[5] Networking Conferences Statistics, http://www.cs.ucsb.edu/~almeroth/conf/stats/
[6] Top Crypto and Security Conferences Ranking,
http://icsd.i2r.a-star.edu.sg/staff/jianying/conference-ranking.html
[7] Computer Science Conferences - Acceptance Rates, Statistics, http://ppadala.net/conferences
[8] CORE Computer Science Conference Rankings, http://www.gianvecchio.com/tier-conf-final2007.html
Définitions
Le facteur d’impact relatif, noté IF pour « impact factor », d’une revue calculé à l’année n est le ratio entre le nombre de citations durant l'année n d'articles de la revue parus dans les années n−1 et n−2 et le nombre total d'articles publiés pendant ces deux années dans cette revue.
Un scientifique a un indice h (h-index) si h de ses Np articles ont chacun au moins h citations, et les autres (Np - h) articles ont au plus h citations chacun.
Une conférence ou une revue a un indice h (h-index) si h de ses articles sont cités au moins h fois.
Le h5-index d’une conférence ou une revue est le h-index des articles publiés dans les cinq dernières années, c’est à dire h articles publiés dans la période 2007-2011 et cités au moins h fois.