Évaluation de BabelMeSH en français

RésuméBabelMeSH est une interface de recherche multilingue pour Medline/PubMed développée à l’intention des utilisateurs non anglophones. Le but de ce travail était d’évaluer l’efficacité de la version française. Cette étude a consisté essentiellement en deux parties : (1) l’évaluation de la qualité de la traduction des mots-clés français par BabelMeSH, (2) l’appréciation des utilisateurs. Deux groupes de mots-clés ont été employés : une liste de mots-clés d’auteur prélevés dans des revues médicales francophones et une liste des termes utilisés par les visiteurs francophones pour interroger BabelMeSH. Pour chaque mot-clé auteur, la traduction de l’auteur a été comparée à celle faite par BabelMeSH. L’exactitude de la traduction des termes utilisés par les visiteurs a été évaluée. L’opinion des utilisateurs francophones a été évaluée grâce à un questionnaire sur une échelle de Likert de 5-point. Cent soixante-quatorze mots-clés d’auteur et 179 mots-clés d’utilisateurs en français ont été aléatoirement choisis pour interroger Medline/PubMed par l’intermédiaire de BabelMeSH. BabelMeSH a traduit de manière exacte (mot à mot) 69 mots-clés d’auteur ; la traduction a été précise (concept similaire) pour 69 mots-clés ; des suggestions multiples ont été données pour 19 mots-clés, dont un était identique à la traduction des auteurs ou considéré comme précis ; 22 mots-clés ont été traduits de facon partielle (mots composés) et la traduction de 21 termes était incorrecte. Quant aux termes des visiteurs, 135 traductions et suggestions ont été considérées précises, 15 partiellement précises et 21 incorrectes. Parmi huit suggestions multiples, seule une était précise. Six personnes ont répondu au questionnaire en ligne. Sur une échelle de 5 (5 : très bien, 1 : mauvais), les résultats sont les suivants : (1) que BabelMeSH était utile : 4,3 ; (2) la qualité globale des citations recherchées était excellente : 4,3 ; et (3) les répondants continueraient à utiliser BabelMeSH : 4,6. Tous ont déclaré qu’ils avaient précédemment recherché Medline en anglais et tous, sauf un, ont déclaré qu’ils le recommanderaient à d’autres. BabelMeSH est une ressource alternative pour les chercheurs dont la langue principale n’est pas l’anglais. Les résultats de cette évaluation semblent indiquer qu’il serait utile parmi les outils multilingues d’interrogation de Medline/PubMed. Cependant, au moment de notre étude, BabelMeSH était encore en développement, il serait donc nécessaire de conduire d’autres études d’évaluation de sa future version française.

BabelMeSH is a multilingual search tool for Medline/PubMed. It is intended for users whose primary language is not English. The languages currently supported are: Arabic, Chinese, French, German, Italian, Japanese, Korean, Portuguese, Russian, Spanish and Swedish. The goal of this work is to evaluate the usability and effectiveness of the French version. This study consisted of two parts: (1) evaluation of translation of French keywords by BabelMeSH, (2) user feedback. We used two sets of keywords: a list of authors’ keywords in medical journals published in French and a list of terms derived from Web server logs submitted by French-speaking users to search BabelMeSH. English translations by the authors were compared with those translated by BabelMeSH. The accuracy of translation of user submitted terms was evaluated. An online questionnaire using the 5-point Likert scale was used to evaluate user opinion on the usefulness of BabelMeSH. One hundred and seventy-four author keywords and 179 user keywords in French were randomly selected to search Medline/PubMed via BabelMeSH. With the author-generated keywords, BabelMeSH exactly matched (word-for-word) the authors’ translations for 69 terms; translations were accurate (similar concept) for 69 keywords; multiple suggestions were given for 19, one of which was the same as the authors’ translation or considered accurate. Partial matches (compound words) were found for 22 keywords. BabelMeSH translations were incorrect for 21 terms. For user search terms, 135 translations and suggestions were considered accurate, 15 partially accurate, 21 were incorrect. Of the eight with multiple suggestions, only one was accurate. Six responses were received from the online questionnaire. The average ratings (5: agree, 1: disagree) for the following statements were: (1) that BabelMeSH was useful: 4.3; (2) the overall quality of citations retrieved was excellent: 4.3; and (3) that they would continue to use BabelMeSH: 4.6. All declared that they had previously searched Medline in English and all, except one, stated that they would recommend it to others. BabelMeSH is an alternative resource for researchers whose native language is other than English. Limited user feedback and the results of an objective evaluation seem to indicate that it could be a useful addition to multilanguage search tools for Medline/PubMed. However, at the time we conducted this study, the development of BabelMeSH was not finished. Therefore, it might be necessary to evaluate BabelMeSH French version in future.