Ontologies et relations spatiales dans une image : application aux images delettrines

Mickaël Coustaty1 Norbert Tsopze1

Alain Bouju1 Karell Bertet1

Georges Louis11 Laboratoire L3I. Université de La Rochelle

RésuméCet article présente une analyse d’image de documents an-ciens, et plus particulièrement d’images de lettrines, quivise à réduire le fossé sémantique entre des traitementsd’images et les mots-clés d’un domaine d’expertise. Ex-traire automatiquement de l’information d’images de do-cuments anciens n’est pas chose aisée, et l’informationextraite n’est pas directement interprétable par les utilisa-teurs finaux (les historiens). Nous proposons donc dans cetarticle des méthodes d’extraction d’information adaptéesau cas des images graphiques de documents anciens, etun cadre formel basé sur des ontologies de représentationde ces connaissances. De manière analogue, nous propo-sons également une ontologie qui permet de représenter lesconnaissances issues du domaine d’expertise des images :les historiens. Le lien entre ces deux domaines repose alorssur des règles d’inférences qui créent un pont entre mots-clés du domaine et caractéristiques bas-niveau.

Mots ClefOntologies, Documents anciens, Lettrines, Formes, Tex-tures, Spatial

AbstractThis paper proposes a novel method of historical docu-ments image analysis, and more specialy images of let-trines, that aims at reducing the semantic gap between auto-matic image processing algorithms, and keywords from ex-perts’s domain. Automatic extraction of information fromhistorical document is a difficult task, and the extracted in-formation is not directly usable by end users (the histo-rians). We thus propose some new adapted algorithms toextract a relevant information from these graphical images,and a formal framework based on ontologies, to representthem. Similarly, we propose an ontology to represent histo-rians’s knowledge. A link between these two domains thenrelies on inference rules, that create a bridge between ex-perts’s keywords and low-level features.

KeywordsOntologies, Historical documents, Lettrines, Shapes, Tex-tures, Spatial

1 IntroductionEtablir un lien entre une information bas-niveau et une in-formation haut-niveau décrivant des images est une problé-matique importante dans le domaine de l’analyse d’images,identifiée sous le terme de fossé sémantique. Il s’agit làd’une problématique de représentation des données com-plexes décrivant l’image dans un objectif de recherche d’in-formation qui peut regrouper l’aide à la recherche, l’extrac-tion de primitives, la navigation dans des bases de grandetaille, ou encore la recherche par le contenu. Ces problé-matiques se distinguent des problématiques de reconnais-sance ou de classification d’images à partir d’une signaturede l’image, classiquement abordées en fouille de donnéeset en apprentissage.Les technologies de types ontologies, récemment intro-duites dans le domaine du web sémantique pour permettred’organiser les données et connaissances d’un domainedans le but de les partager, diffuser et actualiser, fournissentun cadre méthodologique à la fois pertinent et novateurpour représenter des données complexes. Plus précisément,une ontologie permet une description à la fois structurelleet sémantique d’un ensemble de données hétérogènes, maisaussi des connaissances sous-jacentes. Dans le domainede l’image, les ontologies semblent être une solution pro-metteuse pour définir une sémantique explicite : elles per-mettent de surmonter le problème de la représentation im-plicite et cachée d’une connaissance visuelle et peuventêtre utilisées comme une référence commune pour échan-ger des contenus sémantiques. En conséquence, de nom-breuses ontologies images ont récemment été construites,soit pour aider à la recherche et l’extraction de primitives,soit pour naviguer dans des bases de grande taille. Alorsque les premières ontologies proposaient un mécanismed’annotation automatique des images, des travaux plus ré-cents ont été proposés dans un objectif de réduction dufossé sémantique [17], d’exploitation des mécanismes deraisonnement [14, 10, 17], ou encore de recherche par lecontenu [13]. Un bon état de l’art est proposé dans [2]. Lesontologies peuvent être exploitées comme un modèle for-mel prenant en charge différents mécanismes de raisonne-ment permettant de déduire de la connaissance impliciteà partir de la connaissance explicitement formalisée (parl’intermédiaire des logiques de description sous-jacentes)

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

Manuscrit auteur, publié dans "RFIA 2012 (Reconnaissance des Formes et Intelligence Artificielle), Lyon : France (2012)"

ou d’opérations d’ingénierie (extraction automatique d’uneinformation de bas niveau, construction semi-automatiquede l’ontologie, généricité, modularisation, etc).En analyse d’images, la signature d’une image consiste enune information condensée plus ou moins complexe quipermet de la décrire et de la caractériser, et qui peut s’orga-niser sous forme d’un vecteur numérique décrivant l’orga-nisation des pixels dans l’image (signature globale), maiségalement sous une forme plus complexe où des primi-tives extraites de l’image (traits, arcs de cercles, ou plusgénéralement zones d’intérêt de l’image) sont décrites à lafois par leur contenu pixellaire (signature locale) et par leuragencement topologique (signature structurelle). Alors quel’analyse d’image s’intéresse en particulier à l’extractionde primitives dans un objectif de reconnaissance, leur re-présentation spatiale est une problématique complémen-taire abordée en particulier dans les systèmes d’informa-tion géographique. En effet, la représentation de l’espaceest un sujet de recherche qui suscite l’intérêt à la foisde différentes communautés scientifiques (géographie, lin-guistique, ...), mais aussi dans différents domaine en in-formatique (bases de données spatiales, systèmes d’infor-mation géographiques (SIG), raisonnement spatial, basesde données d’images...). Une large gamme de modèles etoutils adaptés à la représentation spatiale a été dévelop-pée dans le domaine des systèmes d’informations géogra-phiques (SIG) où les problématiques abordées concernentavant tout une représentation de données complexes dé-crivant des images géographiques, et où l’interopérabilitéentre représentations joue un rôle majeur. Citons à titred’exemple les travaux de [12].Le domaine du document est principalement concerné parces deux problématiques. Les archives de documents an-ciens représentent une vraie richesse qui n’ont pas seule-ment une valeur historique pour leur apparence physiquemais également pour leur contenu. En effet, l’intérêt icin’est pas seulement de numériser des documents mais éga-lement de créer une librairie numérique de documents enri-chis par des annotations sémantiques permettant de décrire,classer et indexer des documents par leurs contenus.Dans cet article, nous présentons nos travaux autourd’images de lettrines, travaux réalisés dans le cadre du pro-jet ANR Navidomass dans lequel le laboratoire L3I est par-tenaire. Nous avons mis en place une ontologie intégrantdes données complexes décrivant des images de lettrines.Cette ontologie intègre à la fois la connaissance métierdes historiens ainsi que des informations sur des zones del’image, et peut être interrogée sur ces deux types de pro-priétés. Nous l’avons enrichie de règles logiques pour uneannotation sémantique de certaines zones de l’image, et decertaines images elles-mêmes. Il s’agit là d’un mécanismed’ancrage sémantique des zones par inférence de règles,permettant de réduire le fossé sémantique entre descriptionpixellaire et description sémantique d’une image.Les images de lettrines dont décrites dans la section 2. Lasection 3 décrit l’ontologie mise en place. Des expérimen-

FIGURE 1 – Examples de lettrines

tations sont ensuite proposées dans la section 4.

2 Images de lettrinesLes images de lettrines sont issues d’un domaine porteurd’une connaissance métier sémantiquement forte, à partirdesquelles il semble naturel d’extraire une description spa-tiale décrivant leur structure.

2.1 Sémantique du domaineLes images de lettrines sont des images graphiques quel’on retrouve dans des documents anciens des XV ème etXV Ième siècles. La Figure 1 en donne un exemple. Ils’agit d’une lettre décorée, en début des paragraphes deslivres de cette époque, obtenue à l’aide de tampon en bois,sculptés à la main. Composée principalement d’une lettreen son centre, une lettrine se caractérise également par unfond qui peut être décoratif, ou bien représenter des scènessociales de l’époque. Les nuances et les ombres étaient ob-tenues à l’aide de traits parallèles.L’étude des lettrines fait l’objet de travaux au centre his-torique CESR de Tours qui en possède un fond documen-taire. Les lettrines représentent une source d’informationexploitée par les historiens pour situer les documents dansle temps, ou encore pour étudier les scènes sociales desfonds figuratifs. En effet, les tampons étant utilisés plu-sieurs fois, leur usure permet de situer les documents lesuns par rapport aux autres. De plus, ils portent souvent descaractéristiques propres à celui qui les a sculptés.La mise en place d’outils d’analyse d’images adaptés per-met d’envisager des approches automatisées de recherchepar le contenu, ou encore de navigation dans un document,lettrine par lettrine.Les historiens ont identifié quatre niveaux de décomposi-tion décrivant la sémantique d’une image de lettrine : lefond (figuratif ou non figuratif), le motif, la lettre et le bord.Chaque couche fournit une information spécifique (voir Fi-gure 2) :

Lettre (Letter) : positionnée au centre de l’image, lacouche lettre se caractérise par la lettre qu’ellecontient, sa couleur (noire ou blanche), l’alphabet (la-tin, grec, hébreu, ..) et la police utilisée (romain, go-thique).

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

(a) Image initiale (c) Différentes couches

FIGURE 2 – Décomposition en couches des historiens

Motif (Pattern) : il est constitué des formes ornementalesqui peuvent être décoratives (principalement des mo-tifs) ou figuratives (personnages, bâtiments, arbres...) ;

Fond (Background) : le fond peut être uniforme (noir oublanc) ou hachuré.

Cadre (Frame) : le cadre correspond aux bords du tam-pon typographique. Il peut être composé de zéro, unou deux traits.

Cette sémantique est décrite par un thesaurus [11], qui res-pecte à la fois le standard TEI (Text Encoding Initiative)[3] - standard de représentation des textes - et la classifica-tion Iconclass [18] - système standard de classification desdocuments d’une collection par sujets.

2.2 Extraction de zones pertinentesLes images de lettrines sont des images particulièrementdifficiles à traiter. En effet, ce sont des images qui se sontdétériorées avec le temps - jaunissement du papier, pagesabîmées, tâchées - et les techniques développées doiventêtre robustes à ces détériorations. Par ailleurs, il s’agitd’images binaires à base de traits sur lesquelles les ap-proches texture classiques d’analyse d’images ne peuventpas s’appliquer. C’est pourquoi une approche spécifiqued’extraction d’information à partir d’images à base de traitsa été proposée dans [5].Tout d’abord, l’image est décomposée en trois couches(texture, forme et bruit) selon une décomposition décritedans [7], résultat d’une série de projections [8]. La géo-métrie d’une image se retrouve alors principalement sur sacouche forme, alors que la couche texture permet d’analy-ser les traits qui la composent.

Zones de formes. Une méthode d’extraction adaptée à lacouche forme, décrite dans [6], permet d’en extrairecertaines zones forme constitutives de l’image. En ef-fet, la lettre, ou encore des éléments de scènes natu-relles des lettrines à fond figuratif, correspondent àdes formes de l’image. Ces zones de forme sont ob-tenues en deux étapes :

1. Les composantes connexes de la couche formesont segmentées à l’aide d’une loi de Zipf [15],

(a) Image d’origine (b) Couche forme

FIGURE 3 – Décomposition en couches d’une lettrine

particulièrement adaptée par sa robustesse auxvariations de niveaux de gris, et par son indé-pendance à la couleur des composantes.

2. Enfin, ces composantes sont extraites del’image, formant ainsi des zones. Seules leszones dont l’aire est supérieure à 1% de l’imagesont retenues, les autres zones étant considéréesmoins pertinentes.

Zones de traits. Un traitement de la couche texture a éga-lement été mis en place pour en extraire des zonesconstituées de traits similaires [5]. Ces zones de traitssont obtenues en cinq étapes :

1. Un pré-traitement de binarisation est toutd’abord appliqué, (à l’aide d’un seuil adaptatif),suivi d’un débruitage (à l’aide d’un masque de5 pixels) pour ne conserver que les traits dansl’image binarisée.

2. Une squelettisation permet ensuite d’extraire lesquelette des traits qui peuvent être d’épaisseursvariables.

3. Chaque trait est caractérisé par des caractéris-tiques prégnantes pour la vision humaine, à sa-voir sa longueur, son épaisseur, son orientation,et ses changements de direction (codage de Free-man).

4. Les traits similaires sont ensuite regroupés parsegmentation, puis par voisinage dans l’image,afin de construire des zones de traits similaires.

3 Ontologie des lettrinesNous avons défini une représentation ontologique desimages de lettrines. Cette ontologie offre une représenta-tion standardisée des données complexes hétérogènes lesdécrivant (caractéristiques numériques, information spa-tiale, sémantique du domaine). Elle permet également deréduire le fossé sémantique entre description pixellaire etdescription sémantique d’une image à l’aide d’un méca-nisme d’annotation automatique (par inférence) de cer-taines régions de l’image, ou de certaines images.Nous avons défini cette ontologie en plusieurs étapes (cfFigure 4), chaque étape est décrite plus en détails dans lessections suivantes :

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

Connaissance métier (historian knowledge) (section3.1) : la connaissance des historiens est décrite par unthesaurus que nous avons transcrit en une ontologiemétier, i.e. en logique de description. Un fond de4288 images de lettrines, annotées à la main par leshistoriens, est utilisé pour peupler la partie A-box decette ontologie.

Zones forme et zones de traits des lettrines (section3.2) : nous avons défini une ontologie des zones d’uneimage de lettrine composée de zones formes extraitesà partir de la couche forme, et de zones de traitsextraites à partir de la couche texture. Cette ontologieest peuplée par 911 images de lettrines (lettrines àfond blanc, hachuré, noir, criblé et indéfini), décritespar 5588 zones forme et par 451711 zones de traits.

Combinaison des deux ontologies (section 3.3) : l’onto-logie métier fournit une représentation haut-niveaudes lettrines, alors que l’ontologie des zones en estune représentation bas-niveau. Leur combinaison enune seule ontologie des lettrines permet de représenterl’ensemble des données décrivant les lettrines de fa-çon homogène pour une meilleure interrogation. Uneexploitation plus pertinente consiste à identifier cer-taines zones selon qu’elles correspondent ou non àune lettre, à un élément du fond figuratif, ou qu’ellesparticipent à la constitution d’un fond hachuré. Ils’agit là de possibilités d’enrichissement qui reposentsur le mécanisme d’inférence.

Enrichissement des zones forme (section 3.4) : nousavons enrichi l’ontologie des zones avec un méca-nisme de partitionnement de l’image et des relationsspatiales, dans le but de pouvoir localiser chacunedes zones forme selon qu’elle se situe au centre del’image, ou sur un bord. Puis nous avons ajouté desdescriptions logiques de propriétés permettant d’iden-tifier et d’annoter certaines zones forme comme lalettre de la lettrine, ou encore une partie d’un person-nage du fond de la lettrine

Enrichissement des zones de traits (section 3.5) : en cequi concerne les zones de traits, c’est l’ensemble deszones constitutives d’une image qui fournit une infor-mation pertinente. Nous avons ici résumé les caracté-ristiques de l’ensemble des zones de traits à l’aide denouvelles propriétés au niveau de l’image elle-même,puis utiliser ces nouvelles propriétés pour déterminersi l’image est une lettrine à fond hachuré ou non.

3.1 Connaissance métier : ontologie métierdes lettrines

La T-box de l’ontologie métier est construite à partir duthesaurus défini par les historiens. Un concept - vocabu-laire de la logique de description - ou classe - vocabulairedes ontologies - est défini pour chaque couche sémantiqued’une lettrine (Letter, Background, Pattern, Frame) ; ainsique pour spécifier la lettre (ColorLetter, TypeFont, ....). La

FIGURE 4 – Fleur ontologique

classe principale Lettrine est reliée à ces concepts par despropriétés :– Lettrine hasFrame Frame– Lettrine hasBackground Background– Lettrine hasPattern Pattern– Lettrine hasLetter Letter

– Letter hasIdentificationLetter IdentificationLetter– Letter hasColor ColorLetter– Letter hasAlphabet Alphabet– Letter hasTypeFont TypeFont

3.2 Zones forme et zones de traits : ontologiedes zones

Un concept Image permet de représenter chaque image delettrine. Des informations globales relatives à l’image -unité de mesure, système de référencement utilisé - sontintroduites par des propriétés :– Image hasImageMeasurementUnit MeasurementUnit– Image hasImageReferenceSystem ImageReferenceSys-

temLes concepts ROI (Region Of Interest) et ROISet per-mettent d’associer un ensemble de zones à une lettrine :– Image hasROISet ROISet– ROISet hasROI ROIPour distinguer les zones forme des zones traits, nous avonscréer deux sous-concepts du concept ROI :– ROI is-a ROIShape– ROI is-a ROITextureDes caractéristiques communes à toutes les zones sont dé-finies comme des propriétés du concept ROI :– ROI hasX et ROI hasY : indique les coordonnées du

centre de gravité de la zone, permettant ainsi de la situerdans l’image.

– ROI hasAire : indique l’aire de la zone, utilisée pour trierles zones selon leur taille.

Les zones forme sont caractérisées par trois propriétés sup-plémentaires :– ROIShape hasExcentricite : indique l’excentricité Ecc

de la zone, qui donne une indication de forme. L’excen-

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

tricité est définie comme le rapport entre le rayon mini-mal rm et le rayon maximal rM de l’ellipse minimaleenglobant la zone [16] :

Ecc =rM − rmrM + rm

(1)

– ROIShape hasGreyMean et ROI hasGreySTD : indiquela moyenne en niveaux de gris, ainsi que leur déviation,permettant d’estimer la couleur de la zone, ainsi que sarégularité.

– ROIShape hasEuler : indique le nombre d’Euler En dela zone, pour en estimer la compacité. Le nombre d’Eu-ler introduit dans [16], permet d’estimer le plus généra-lement la compacité d’un ensemble de zones. Pour uneseule zone, il se réduit à En = 1 −H , où H représentele nombre de trous dans la zone.

Les zones de traits sont caractérisées par six propriétés sup-plémentaires (rappelons qu’une zone de traits est composéede traits similaires) :– ROITexture hasStrokesNumber : indique le nombre de

traits d’une zone.– ROITexture hasStrokesLenght : indique la longueur des

traits d’une zone.– ROITexture hasStrokesWidth : indique l’épaisseur des

traits d’une zone.– ROITexture hasStrokesOrientation : indique l’orienta-

tion des traits d’une zone.– ROITexture hasStrokesHomogeneity : indique l’homo-

généité des traits d’une zone.– ROITexture hasStrokescurvature : indique la courbure

des traits d’une zone.

3.3 Combinaison des deux ontologiesNous avons ensuite combiné l’ontologie métier etl’ontologie des zones enrichie en une seule ontologie deslettrines. En effet, ces deux ontologies portent chacune uneinformation pour une image de lettrine. Techniquement,la T-box de cette ontologie combinée s’obtient en liant leconcept Lettrine de l’ontologie métier, et le concept Imagede l’ontologie des zones. Nous avons utilisé pour cela leconstructeur OWL :EQUIVALENTCLASS fourni dans la pre-mière version d’OWL. Le peuplement de la A-Box a quantà lui été réalisé à l’aide du constructeur OWL :SAMEAS.Nous avons également utilisé l’outil DLV 1, base de don-nées déductive, pour construire et peupler ces ontologies.L’exécution en ligne de commandes basée sur la program-mation logique déductive est simple à utiliser, DLV offreune facilité d’expression des requêtes, avec des temps deréponse relativement faibles.

3.4 Enrichissement de l’ontologie des zonesforme

1. Le positionnement d’une région dans une image delettrine est une information importante. En effet, lalettre est située au centre de l’image, et les bords sont

1. http ://www.dlvsystem.com/dlvsystem/index.php

FIGURE 5 – Partitionnement d’une image utilisée pour lo-caliser les zones.

représentés par un ou plusieurs traits. C’est pourquoinous avons mis en place un mécanisme de partition-nement d’une image de lettrine : chaque image estdivisée en neuf partitions (voir figure 5), une par-tition correspond au centre de l’image, 4 partitionscorrespondent aux différents bords, et les 4 dernièresaux coins de l’image. Les partitions sont associées àl’image à l’aide d’un concept Partition et de la pro-priété suivante :– Image hasPartition Partition

2. L’utilisation des relations spatiales est alors indispe-nable pour positionner une région dans un partition.C’est sur les préconisations de la norme Iso sur lamanipulation des informations spatiales [1] que nousavons choisi d’utiliser l’algèbre RCC8 [4] qui proposehuit types de relations spatiales entre deux objets spa-tiaux (cf Figure 6), ainsi que le format SFS (SimpleFeature Specification) pour représenter des objets spa-ciaux, standard dérivé des spécifications spatiales deSQL préconisées par le consortium OGC (OpenGISConsortium) [9].Ainsi, les concepts ROI et Partition héritent de laclasse abstraite Surface du standard SFS défini parl’OGC (cf Figure 7). La relation spatiale RCC8contains se définit par une propriété de l’ontologie etpermet de déterminer si une zone forme est située aucentre de l’image (partition centrale) :– ROI contains PartIl est ici à noter que les relations spatiales entre unezone forme et chacune des neuf partitions peuventégalement se calculer en pré-traitement lors de laphase d’extraction des zones, mais au détriment del’aspect normatif.

3. Enfin, nous avons enrichi l’ontologie des lettrinesavec de nouvelles propriétés qui intègrent expertise dudomaine et celle du traitement d’images. Il s’agit depropriétés calculées, définies par une formule ou unerègle logique, permettant d’annoter sémantiquementcertaines zones d’une lettrine extraites de la coucheforme : propriétés isLetter et isBody (cf Figure 8) :

Propriété isLetter pour une zone forme :

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

FIGURE 6 – Relations spatiales de l’algèbre RCC-8

FIGURE 7 – Modèle de classe des types spatiaux dans lestandard SFS de l’OGC

ROIShape isLetter.

Cette propriété indique si une zone est identifiéecomme la lettre d’une lettrine. Elle s’exprime en fonc-tion de trois propriétés qui intègrent des caractéris-tiques des zones forme, mais également une informa-tion spatiale avec le partitionnement de l’image :

(isLetter) zone d’aire maximalesituée au centre de l’image,

contenant peu de trous et contenant le centre del’image de la lettrine dans son rectangle englobant.

(a) zone située au centre de l’image : cette propriétése teste à l’aide des relations spatiales. Il s’agitde vérifier que la zone est contenue dans la par-tition centrale, et ne chevauche par les zones dubord.

(b) Zone avec peu de trous : le nombre d’Euler, as-socié à chaque zone dans l’ontologie des zones,est ici utilisé pour tester cette propriété. Aprèsquelques expérimentations, nous avons position-ner le nombre d’Euler entre -2 et +2 pour carac-tériser une zone sans trous.

(c) contenant le centre de l’image de la lettrine dansson rectangle englobant : Cette propriété permetde préciser que le centre de la lettrine doit appar-

tenir au rectangle englobant de la zone choisie,avec une marge de 15 pixels.

(d) zone d’aire maximale : dans l’ontologie deszones, l’aire est indiquée pour chaque zone.Parmi toutes les zones vérifiant les deux proprié-tés précédentes, celle d’aire maximale est rete-nue pour être annotée par la propriété isLetter.

Propriété isBody pour une zone forme :

ROIShape isBody.

Cette propriété indique qu’une zone est identifiéecomme la partie d’un personnage du fond d’une let-trine. Elle s’exprime en fonction de cinq propriétésqui intègrent des caractéristiques des zones forme,une information spatiale avec le partitionnement, ainsiqu’une information de l’ontologie du domaine :

(isBody) zone d’une lettrine figurativesituée au centre de l’image,

sans trous, de couleur gris-clair,et qui n’est pas une lettre.

(a) zone d’une lettrine figurative : il s’agit là d’unepropriété de l’ontologie métier.

(b) zone située au centre de l’image : comme pour lapropriété isLetter, cette propriété se teste à l’aidedes relations spatiales de l’ontologie des zonesenrichie.

(c) Zone avec peu de trous : comme pour la pro-priété isLetter, il s’agit de tester le nombre d’Eu-ler associé à chaque zone dans l’ontologie deszones.

(d) zone de couleur gris-clair : la caractéristique co-lorimétrique d’une zone, présente dans l’ontolo-gie des zones, doit être supérieure à 90 pour in-diquer une couleur gris-clair.

(e) zone qui n’est pas une lettre : parmi toutes leszones vérifiant les propriétés précédentes, seulescelles qui ne vérifient pas la propriété isLettersont annotées.

3.5 Enrichissement de l’ontologie des zonesde traits

En ce qui concerne les zones de traits, ce sont les caracté-ristiques de l’ensemble des zones de traits qui portent uneinformation pertinente au niveau de l’image elle-même.Ainsi, une lettrine hachurée peut se définir par un ensemblede zones de traits correspondant à des traits hachurés, etdont la superficie est suffisament grande pour couvrir unebonne partie de l’image.C’est pourquoi nous avons enrichi la description d’uneimage avec des propriétés décrivant l’ensemble des zonesde traits qui la composent :– Image hasYYY-XXX avec :

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

FIGURE 8 – Extraction de formes d’une lettrine

XXX : correspond à chacune des 6 propriétés spé-cifiques des zones de traits, à savoir hasS-trokesNumber, hasStrokesLenght, hasStrokes-Wirdh, hasStrokesOrientationet hasStrokesHo-mogeneity.

YYY : correspond à la valeur minimale, maximale,moyenne, ou à l’éacrt-type (Min, Max, Avg et Std)de chacune des 6 caractéristiques de l’ensembledes zones de traits constitutives de l’image.

Enfin, nous avons enrichi l’ontologie des zones avec unepropriété indiquant si une lettrine est constituée de suffisa-ment de zones de traits pour en déduire qu’elle a un fondhachuré :

Propriété isHashed pour une lettrine :

Image isHashed.

Cette propriété détermine si une lettrine possède un fondhachuré à partir des caractéristiques décrites ci-dessus quirésument celles de l’ensemble de ses zones de traits.

Cette propriété s’exprime seulement à partir de caractéris-tiques bas-niveau. C’est pourquoi nous avons pu utiliserune approche classique de classification supervisée (à sa-voir un arbre de décision C4.5) pour déterminer les seuilsdes différentes caractéristiques permettant de décider si lalettrine est hachurée ou non.

(isHashed) : comparaison des valeurs minimale,maximale, moyenne, ou d’écart-type des caractéristiquesdes zones de traits par rapport à des seuil (7 cas) obtenus

par apprentissage :

1 2 3 4 5 6 7StLength Std Std Std Std Std Std Std

seuil >27

>27

>27

>27

>27

≤27

≤27

StNb Moy Moy Moy Moy Moy Moy Stdseuil >

1≤1

≤1

>1

≤1

>1

>4

StCurv Max Max Max Max Max Maxseuil ≤

453≤400

≤453

>213

>213

≤213

StWidth Max Max Avgseuil ≤

150≤150

≤216

StOrient Moy Moyseuil ≤

38>38

StHom. Moy Moyseuil ≤

824>128

X Max Max Max Max Max Maxseuil ≤

574>238

≤57

≤5

>241

>241

aire Max Stdseuil ≤

1≤884

R ≤894

≤892

>894

>894

4 Résultats expérimentauxRègle pour la propriété isLetter : Cette règle a été appli-quée sur l’ensemble des 909 lettrines peuplant l’ontologiedes zones (lettrines à fond blanc, hachuré, noir, criblé etindéfini). Après vérification manuelle, 816 zones s’avèrentêtre correctement annotées, et 103 ne le sont pas, d’où untaux de reconnaissance de 89%, et un taux d’erreur de 11%.Cependant, cette règle ne garantit pas l’existence d’unezone annotée pour chaque lettrine.Il serait ici possible de comparer la forme de la zone aveccelle attendue de la lettre, information présente dans l’onto-logie métier. Une telle extension permettrait de détecter lescas où la lettre se décompose en plusieurs zones, et ainsiréitérer la règle pour la propriété isLetter jusqu’à ce quetoutes les zones de la lettre soient détectées.

Règle pour la propriété isBody : La validation des zonesannotées est jusqu’à présent un processus manuel, nousavons sélectionné aléatoirement pour la règle isBody unsous-ensemble de 45 images de lettrines. Cet ensemble estconstitué de 27 lettrines à fond décoratif, 18 lettrines à fondfiguratif, à partir desquelles 112 zones forme au total ontété extraites. La règle isBody a permis d’annoter correcte-ment des zones forme de 17 images sur 18 images figura-tives, d’où un taux d’erreur inférieur à 2%.La figure 9 représente la lettrine figurative dont les zonesne sont pas correctement annotées. On peut y observerque la zone jaune correspondant à une partie d’un person-nage n’est pas annotée, son nombre d’Euler est trop grand.En revanche, la zone blanche est annotée alors qu’elle necorrespond pas à une partie d’un personnage. L’utilisation

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

(a) Image de lettrine (b) zones extraites

FIGURE 9 – L’image où des zones ne sont pas correctementidentifiées comme partie de personnage par isBody

d’un partitionnement plus complexe de l’image, ou encored’autres descripteurs statistiques des zones, pourrait per-mettre d’annoter correctement les zones de ce type.

Règle pour la propriété isHashed : Cette règle a été ap-pliquée sur l’ensemble des 909 lettrines peuplant l’onto-logie des zones parmi lesquelles 140 sont hachurées. 126images sont annotées. Une vérification automatique estalors possible en interrogeant l’ontologie métier (des histo-riens) : 123 sont effectivement hachurées. D’où un rappelde 123

140 = 87, 8%, et une précision de 123126 = 97, 8%.

5 Conclusion et perpsectivesDans cet article, nous avons décrit une ontologie d’imagesde lettrines permettant de représenter sous une forme stan-dardisée des données complexes hétérogènes les décrivant(caractéristiques numériques, information spatiale, séman-tique du domaine)Ces travaux autour des lettrines sont des travaux récents,plusieurs perspectives sont d’ores et déjà envisagées, voireamorcées. L’amélioration des règles existantes est une pre-mière perspective : pour la règle isLetter, possibilité decomparer la zone lettre avec la forme attendue ; pour larègle isBody, mise en place d’un partitionnement plussophistiqué, et utilisation de nouveaux descripteurs deszones. Sur le même modèle que la règle isHashed, une an-notation des lettrines selon qu’elles soient lettrines à fondcriblé, blanc, noir ou indéfini est envisageable.Enfin, l’intégration d’une vérité terrain des zones d’une let-trine nous semble indispensable pour pouvoir vérifier auto-matiquement - et non manuellement - les règles mises enplace, et ainsi les appliquer sur une plus grande quantité dezones et de lettrines. Des travaux en ce sens sont en cours.

Références[1] ISO/IEC 13249-3 :2002. Information technology-

Database languages ; SQL Multimedia and Applica-tion Packages ; Part 3 : Spatial. 2002.

[2] H. Bannour and C. Hudelot. Towards ontologiesfor image interpretation and annotation. In Interna-tional Workshop on Content-Based Multimedia In-dexing, 2011.

[3] D. T. Barnard, L. Burnard, J.-P. Gaspart, L. A. Price,C. M. Sperberg-McQueen, and G. B. Varile. Hie-rarchical encoding of text : Technical problems andsgml solutions. Computers and the Humanities,29(3) :211–231, 1995.

[4] A.G. Cohn, B. Bennet, J. Gooday, and N.M. Gotts.Representing and reasoning with qualitative spatialrelations about regions. In Spatial and temporal rea-soning, pages 97–134. Kluwer, 1997.

[5] M. Coustaty. Contribution à l’analyse complexede documents anciens. Application aux lettrines.PhD thesis, Université de La Rochelle, La Rochelle,France, 2011.

[6] M. Coustaty, J.-M. Ogier, R. Pareti, and N. Vincent.Drop Caps Decomposition For Indexing - A New Let-ter Extraction Method. In Proc. of the IAPR 10thInternational Conference on Document Analysis andRecognition (ICDAR’09), pages 476–480, BarcelonaEspagne, 2009.

[7] S. Dubois, M. Lugiez, R. Péteri, and M. Ménard. Ad-ding a noise component to a color decomposition mo-del for improving color texture extraction. In proc.of the 4th European Conference on Colour in Gra-phics, Imaging, and Vision (CGIV’08), pages 394–398, 2008.

[8] A. El Hamidi, M. Ménard, M. Lugiez, and C. Ghan-nam. Weighted and extended total variation for imagerestoration and decomposition. Pattern Recognition,43(4) :1564 – 1576, 2010.

[9] Open GIS Consortium Inc. Opengis simple featuresspecification for sql. OpenGIs Project Document 99-049, 1999.

[10] Y. Gao J. Fan and H. Luo. Integrating concept on-tology and multitask learning to achieve more effec-tive classifier training for multilevel image annota-tion. IEEE Trans. Image Processing, 17(3) :407–426,2008.

[11] R. Jimenes. Les bibliothèques virtuelles humanisteset l’étude du matériel typographique. Technical re-port, Centre d’Etude Superieur de la Renaissance,2008.

[12] J. Malki, W. Mefteh, and A Bouju. Une approche on-tologique pour la modélisation et le raisonnement surles trajectoires. Prise en compte des règles métiers,spatiales et temporelles. In 3ème édition des journéesfrancophones sur les ontologies (JFO’09). 2009.

[13] Y. Avrithis G. Stamou N. Simou, V. Tzouvaras andS. Kollias. A visual descriptor ontology for multi-media reasoning. In Workshop on Image Analysis forMultimedia Interactive Services (WIAMIS), 2005.

[14] B. Neumann and R. Möller. On scene interpretationwith description logics. Image Vision Computing,26(1) :82U101, 2008.

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012

[15] R. Pareti and N. Vincent. Ancient initial letters in-dexing. In Proc. of the 18th International Conferenceon Pattern Recognition (ICPR’08), pages 756–759,Hong Kong, China, 2006. IEEE Computer Society.

[16] W.K. Pratt. Digital Image Processing : PIKS Scien-tific Inside. Wiley-Interscience, 4 edition, February2007.

[17] I. Kompatsiaris V. Mezaris and M. G. Strintzis. Anontology approach to object-based image retrieval.In International Conference on Image Processing(ICIP), page 511U514, 2003.

[18] H.V.d. Waal. ICONCLASS, an Iconographic Classi-fication System. Completed and edited by L. D. Cou-prie et al, 1985.

hal-0

0660

972,

ver

sion

1 -

19 J

an 2

012