Abhatoo - Centre Nationale de Documentation

Introduction

Le projet Profil-Doc est proposé en septembre 1992 par Sylvie Lainé-Cruzelnote1. Il part du constat que tous les documents ne sont pas pertinents au même titre pour des utilisateurs différents, même si leur contenu est en relation avec la question qui a été posée au système.

Une étude approfondiesur un certain nombre de documents, livres, thèses, articles de revues scientifiques montre qu'on peut trouver, pour chacun d'eux, une structure générique identifiable. En effet, dans la majorité des cas, un document (article, conférence, rapport, ouvrage, etc.) a une structure générale. Il forme une unité car il est construit pour faire passer un message : résultats de synthèse, nouvelles pistes de recherche, etc. Cette unité matérielle et intellectuelle est le résultat d'un lien parfaitement établi entre ses différentes parties, celles-ci pouvant former à leur tour des unités indépendantes remplissant une fonction bien déterminée. Cette constatation permet d’admettre que "l'éclatement" du document selon ces unités permet, tout en préservant l'unité globale du document (le lien entre l'unité documentaire et le document auquel elle appartient), de présenter à l'utilisateur une information plus affinée et plus facile à saisir. Nous appellerons ces unités : unités documentaires. Mais cette structuration de document n'est pas unique. En effet, on peut aussi considérer les différents types de textes (publicitaires, scientifiques, etc.), le mode d'organisation du discours (narratif, argumentatif, etc.) ou même encore la structure physique (attributs typographiques, polices, espaces, etc.) comme des caractéristiques propres à discriminer une fraction du document.

Le projet Profil-Doc utilise ces différentes structures pour décrire les documents en unités documentaires, au sein d'un système documentaire en texte intégral. Chacune des unités est alors accessible par des index bien sûr, mais aussi par ses propriétés. Le découpage est basé sur la fonction remplie par ces parties du document et non sur leur contenu. Au niveau de l'utilisateur, ces propriétés seront autant d'outils supplémentaires, utilisables lors de la requête pour sélectionner l'information « pertinente ». En effet, on peut remarquer que l’utilisateur, face à un système en texte intégral qui lui fournit généralement trop d’information, va développer une stratégie de recherche empirique. Toutes ces stratégies ont deux caractéristiques : elles portent sur des critères (la forme, le support, le style, le domaine de compétence de l’auteur, ...) autres que le contenu du document ; elles sont très fortement individualisées et permettent une personnalisation de la recherche.

Dans cette optique, le système Profil-Doc veut aller plus loin que l’utilisation simple de ces critères pour la description et sélection des documents. En effet, ces propriétés permettront de sélectionner un corpus "personnalisé" suivant les caractéristiques de l’utilisateur, corpus sur lequel portera la question. En d'autres termes, ces propriétés, appariées avec le profil de l'utilisateur, permettent de présélectionner un ensemble de documents personnalisés.

En 1995, Profil-Doc n’est pas encore un prototype mais plutôt un concept, une réflexion sur la structuration des documents et sur un moyen différent d’effectuer une recherche d’information. Personne ne maîtrisait la portée et l’efficacité de ces nouveaux concepts de recherche. Il m’a été demandé de réaliser un prototype de système basé sur ces hypothèses de recherche et d’en faire une évaluation. L’évaluation avait pour but, non pas de tester un nouveau système opérationnel mais, valider certaines hypothèses théoriques puis d’analyser le comportement des différents modules de filtrage selon l’usage du système et ainsi d’en « régler » plus finement les paramètres.

L’évaluation devait en particulier porter sur la validité de la caractérisation des parties de documents, ainsi que la validité du système de filtrage imaginé.

Procéder à l’analyse de la caractérisation des parties de documents revient à analyser les différentes modalités utilisées dans les champs de description des documents de la base. Evaluer la qualité de la description c’est identifier la nature de chaque donnée individuelle, voir à quelle réalité elle se rattache et surtout analyser les liens avec d'autres données et informations. Dans notre cas, la description des documents est extrêmement importante, puisqu’elle permet d’effectuer le filtrage. Nous avons précisé que le filtrage s’opérait à partir des caractéristiques de profil de l’utilisateur. Selon son profil, un usage présupposé des documents est fait. Cet usage va déterminer quelles seront les caractéristiques que devra posséder l’information présentée. Un module particulier, la fonction d’aiguillage, va permettre cette sélection. Le principe de calcul utilisé par cette fonction suppose qu’il y ait indépendance entre les modalités. Nous devons donc trouver une méthode globale pour faire apparaître s’il y a dépendance ou non.

Le deuxième point sur lequel doit porter l’évaluation est précisément cette fonction de filtrage de l’information. Etant dans une phase de validation d’un prototype, nous ne pouvions effectuer des tests opérationnels avec des utilisateurs. Nous avons donc choisi de simuler l’utilisateur par une collection de questions, simulant divers besoins informationnels et un ensemble de stratégies de filtrage simulant divers profils et types de recherche. La collection de questions ne devait pas être construite comme dans le cas des collections test. Dans ces dernières, elles servent plutôt à tester la « relevancenote2 » d’un document, c’est à dire sa pertinence par rapport à un sujet, une requête ; que sa « pertinence » c’est à dire son utilité pour satisfaire le besoin de l’utilisateurnote3. Le type de recherche selon l’usage des documents est totalement différent de la recherche classique sur le contenu. Dans le cadre du projet Profil-Doc, nous avons déjà précisé que l’utilisateur exprime son besoin non seulement par sa requête mais aussi par son profil. La recherche du document ne se fait plus uniquement sur le contenu mais aussi sur sa description. Il nous faut imaginer un autre type de construction pour la collection de question qui modéliserait l’utilisateur dans son besoin, mais aussi dans ce qu’il est, pour faire jouer les diverses possibilités de filtrage.

Pour comparer des résultats obtenus suivant les différents profils et les différentes stratégie de filtrage nous avions besoin d’indicateurs. La plupart des indicateurs de comparaison d’ensemble comme le rappel, la pertinence, les mesures usuelles de distance (par exemple celle de Dice ou de Jaccard) sont basés sur des ratios d’intersection ou d’union d’ensembles comparés. Ces indicateurs sont suffisants dans le cas de systèmes booléens puisqu’il n’y a pas d’ordre particulier de présentation. Dans le cas de systèmes vectoriels ou hybrides booléen-vectoriel, les comparaisons opérées selon ces indicateurs ne sont pas du tout représentatives. En effet, ils proposent à l’utilisateur une réponse ordonnée ou semi-ordonnée selon une valeur de pertinence calculée. Les réponses semi-ordonnées sont appelées des chaînes, ce sont des ensembles dans lesquels les documents réponses sont regroupés sans ordre particulier dans des classes. Seules ces classes sont ordonnées les unes par rapport aux autres.

Parmi les différents travaux sur la prise en compte de l’ordre de présentation des documents, l’ouvrage « Mesuring information » [TAG95] de Tague, se révèle être le plus intéressant. La formalisation qui y est présenté n’est pas directement utilisable dans notre cas puisque la mesure proposée doit quantifier la quantité d’information d’une réponse. Cependant, la démarche mathématique suivie par Tague pour construire sa mesure est particulièrement intéressante. Lors de la construction d’une mesure, une réflexion est menée par les expérimentateurs pour savoir quelles contraintes elle doit respecter et ce qu’elle doit faire apparaître. C’est généralement après cette réflexion que les mesures sont proposées. Or modéliser l’ensemble de ces contraintes dans un langage mathématique permet de formaliser et définir la mesure par les propriétés qu’elles valide, comme cela se fait en mathématique, au lieu de ne la définir que par une fonction de calcul. L’avantage et l’intérêt est alors d’imaginer une fonction, la plus globale possible, qui validerait l’ensemble de ces propriétés. Plus la mesure est globale, et plus elle va pouvoir s’utiliser dans des problématiques d’évaluation différentes.

La contribution de ce travail est la présentation d’un nouveau protocole d’évaluation de SRI utilisant des modules de filtrage de l’information. La particularité de ce protocole est de proposer des moyens de jugements du système fondé sur des mesures endogènes. Une mesure endogène est, par nature, construite uniquement à partir des résultats rendus par le système. Aucune intervention extérieure n’est nécessaire. Les protocoles usuels, qu’ils soient de type « boites noires » ou testant certaines composantes du système, permettent de rendre des jugements généralement basés sur des mesures exogènes. Dans le cas des collections test, la construction d’un ensemble pertinent par un collège d’expert est une composante externe. De la même manière, interroger l’utilisateur et récolter son jugement de pertinence est un critère d’analyse externe au système.

Une mesure endogène est par nature quantitative. Les méthodes d’analyse présentées au chapitre IV s’appuient sur les techniques mathématiques souvent utilisées dans d’autres domaines que l’évaluation de SRI. Par exemple, l’évaluation de la description des données se fait au travers de méthodes d’analyse multidimensionnelles. La classification des questions de la collection se fait par des méthodes bibliométriques.

Les mesures endogènes les plus couramment employées pour comparer des ensembles sont l’indice de Jaccard, le cosinus de Salton [SAL91]et le coefficient de Dice. Ces mesures se révèlent imprécises dans le cas d’ensemble réponses car elles ne prennent pas en compte l’ordonnancement des documents réponse. La plus grande des innovations présentées ici est le théorème énoncé au chapitre II. Ce dernier permet, sous réserve de certaines hypothèses sur l’ordre utilisé pour présenter les documents réponse, de construire des mesures de proximité ordonnées à partir de toutes mesures, qu’elles soient endogènes comme ces trois dernières ou exogènes comme le rappel et la précision. Nous présentons une analyse comparative des résultats de proximité obtenus par un calcul effectué selon une mesure de Jaccard classique puis par une mesure de Jaccard ordonnée construite à partir du théorème précédent.

Deux réalisations sont présentées. Dans le chapitre III nous présentons un prototype de SRI basé sur les hypothèses de Profil-Doc. Le prototype de recherche d’information basé sur le filtrage de l’information selon l’usage s’appuie sur une base de données contenant des informations que nous avons caractérisées selon les principes de Profil-Doc. Le module d’interrogation s’appuie sur SPIRIT-W3note4 et permet d’interroger la base par Internet.

La seconde réalisation est la mise en place d’un protocole expérimental d’évaluation s’appuyant sur les principes énoncés au chapitre IV. La nature endogène du protocole suppose la modélisation des utilisateurs dans leurs besoins informationnels ainsi que dans leur stratégie de filtrage. Nous proposons donc un corpus de questions ainsi qu’un corpus de stratégies de filtrages construits uniquement à partir des composantes du système.

Dans le dernier chapitre nous présentons les résultats, obtenus en suivant le protocole expérimental, de l’évaluation du prototype Profil-Doc. Nous en dégageons un certain nombre de conclusions sur la validité d’un filtrage basé sur l’usage.

Le premier chapitre, qui va suivre, présente un état de l’art sur les méthodes d’évaluation des SRI. Nous l’avons construit de manière à opposer les méthodes d’évaluation suivant qu’elles s’appuyaient sur la description du système, la description de la recherche d’information ou la nature des mesures employées.