Automatische Indexierung für Online-Kataloge: Ergebnisse eines Retrievaltests

(zugleich erschienen in: ZfBB 43 (1996) 1, S. 47-56)

1. Vorbemerkung

Die Durchführung von Retrieval-Tests hat im Dokumentationsbereich längst Tradition. Anders als in den Bibliotheken entstand hier im Zusammenhang mit der Entwicklung von neuen Speicher- und Retrievalmöglichkeiten ein methodisches Rüstzeug zu deren Erforschung. Theorie und Methode des Information Retrieval sind seit den frühen Cranfield-Studien fester Bestandteil des dokumentarischen Berufsbilds.

Ein derart ausgeprägtes Bewußtsein für die Notwendigkeit, die Einführung von technischen Neuerungen durch die Erhebung von empirischen Grunddaten zu begleiten, ist im Bibliothekswesen in Grundzügen nur im anglo-amerikanischen Raum vorhanden. In Deutschland darf für den Bibliotheksbereich wohl zu recht von einem erheblichen Theoriedefizit gesprochen werden, das alle klassischen Arbeitsfelder der Bibliothek umfaßt. Die Einführung von Online-Katalogen ist in diesem Zusammenhang nicht mehr als eine Facette, auch wenn die Probleme hier zur Zeit besonders virulent sind.

In der nunmehr schon alten Diskussion über die Art und Weise der richtigen inhaltlichen Erschließung für Online-Kataloge ist das Fehlen von konkreten Erfahrungswerten für Erschließung und Retrieval ein zentrales Problem. (1) Unabhängig von den in der Debatte um RSWK-Online jeweils vertretenen unterschiedlichen Positionen fehlt es allen Beteiligten doch insgesamt an verwertbaren Informationen über Defizite bei der Suche in OPACs wie auch über die Folgen einer unzureichenden Erschließung. Um nur einige Beispiele zu nennen:

• Elementare Werte für das Design von Online-Publikumskatalogen stehen mangels entsprechender Untersuchungen in Deutschland nicht zur Verfügung. Die Bestimmung von Recall und Precision für OPACs in Abhängigkeit von unterschiedlichen Erschließungsmethoden ist jedoch Voraussetzung für jede vernünftige Diskussion über Sacherschließung und Gestaltung für Online-Kataloge.
• Es gibt keine Vergleichszahlen für den Retrievalerfolg von Recherchen mit und ohne RSWK-Schlagwörtern. Während es eine Reihe von Untersuchungen zur Suche mit den Library of Congress Subject Headings (LCSH) in Online-Katalogen gibt (2) - mit übrigens wenig optimistisch stimmenden Resultaten - fehlen vergleichbare Studien für die RSWK.

Untersuchungen über die besonderen sprachlichen Probleme bei der Recherche in OPACs mit vorwiegend deutschsprachiger Literatur liegen nicht vor. Zahlen, die aus Erfahrungen mit englischsprachigen Retrievalsystemen gewonnen wurden, können, wenn überhaupt, nur vage Anhaltspunkte sein.

• Obwohl viel über Möglichkeiten der zusätzlichen Erschließung geredet wird - Begriffe aus Inhaltsverzeichnissen und Registern, automatische Indexierung -, liegen kaum verläßliche Zahlen über die Auswirkung derartiger Methoden auf das Retrieval im OPAC vor. (3)

Im Rahmen dieses Berichts werden nun die Ergebnisse eines Retrievaltests vorgestellt, der gedacht ist, die gerade geschilderte Situation zu verbessern. Trotz der eingeschränkten Zielsetzung des Tests - Auswirkung der automatischen Indexierung auf das OPAC-Retrieval - erlauben die Ergebnisse interessante Schlußfolgerungen auch für andere Aspekte der Erschließung für Online-Kataloge.

2. Aufbau des Retrievaltests

Seit Januar 1994 wird an der Universitäts- und Landesbibliothek Düsseldorf das von der Deutschen Forschungsgemeinschaft geförderte Projekt MILOS - Maschinelle Indexierung zur verbesserten Literaturerschließung in Online-Publikumskatalogen - durchgeführt (4). Ziel des Projekts ist der Einsatz von Programmen zur automatischen Indexierung von Texten für bibliothekarische Titeldaten. Durch Grundformermittlung, Dekomposition, Derivation und die Unterstützung semantischer Relationen sollen das Suchvokabular grammatikalisch vereinheitlicht und neue Deskriptoren für das Retrieval im Online-Katalog bereitgestellt werden. Im Laufe des Projekts wurde u.a. der vollständige maschinenlesbare Titelbestand der Universitäts- und Landesbibliothek Düsseldorf automatisch indexiert.

Wichtiger Bestandteil des Projekts war die Durchführung eines Retrievaltests mit automatisch indexierten Titeldaten, um so Aussagen hinsichtlich der Funktionalität des eingesetzten Indexierungssystems und der voraussichtlichen Verbesserung der Suchmöglichkeiten im OPAC machen zu können. Um einen solchen Retrievaltest durchführen zu können, wurde ein Teilbestand der Düsseldorfer Titeldaten automatisch indexiert, mit diesen Daten ein Test-OPAC aufgebaut, um dann an diesem OPAC eine repräsentative Menge von Suchanfragen in unterschiedlichen Abfragetechniken durchführen zu können. Idee, Aufbau und Ergebnisse des Tests werden im Folgenden vorgestellt.

2.1 Die Testdaten

Datengrundlage für den Retrievaltest war eine repräsentative Teilmenge aus dem maschinenlesbaren Datenbestand der ULB Düsseldorf. Diese Teilmenge bestand aus ca. 40.000 Titeln eines geschlossenen Segmentes der Datenbank, d.h. es wurde keinerlei fachliche Selektion durchgeführt. Die deutsch-, englisch- und französischsprachigen Titel wurden mit folgendem Funktionsumfang automatisch indexiert: (5)

  - Grundformerzeugung
  - Dekomposition
  - Derivation
  - testweise semantische Relationen der Schlagwortnormdatei:
       - Stichwort -> Schlagwort
       - Begriff -> Oberbegriff (6)

Die automatische Indexierung erfolgte - entgegen dem normalerweise üblichen Verfahren - vollständig im Batchbetrieb, eine intellektuelle Kontrolle bzw. Nachbearbeitung der Ergebnisse fand nicht statt. Alle während der Indexierung gewonnenen Deskriptoren wurden im Anschluß direkt zu den Titeln gespielt. Aus Titeln und Deskriptoren wurde zur Durchführung des Retrievaltests mit dem Programm BISMAS eine Datenbank aufgebaut, die ein differenziertes Suchen über Indices und im Freitext ermöglichte.

2.2 Die Testfragen

Die Qualität eines Retrievaltests steht und fällt mit der Qualität der für den Test verwendeten Suchanfragen. Das Projektteam stand vor dem besonderen Dilemma, einerseits Themen auswählen zu müssen, die die Problematik des Retrievals in einem OPAC besonders gut wiedergeben, andererseits aber auch die typischen Suchgewohnheiten des Bibliotheksbenutzers berücksichtigen zu müssen. Als drittes Moment kam hinzu, daß die positiven wie negativen Effekte einer automatischen Indexierung im Test aufgedeckt werden sollten. Die fünfzig für den Test schließlich verwendeten Themen stellen aus diesem Grund natürlich einen Kompromiß dar, sind jedoch bemüht, den "OPAC-Alltag" einigermaßen zuverlässig wiederzugeben. Die Auswahl der Themen erfolgte daher in enger Anlehnung an die Ergebnisse einer in Düsseldorf durchgeführten Benutzerstudie.(7)

Themen für den Retrievaltest

Thematisch wurde eine Mischung von Fachgebieten angestrebt. Auf der sprachlichen Ebene kommen echte Fachbegriffe in den Suchanfragen ebenso vor wie eher allgemeine Begriffe. Gemäß der Zielsetzung des Tests und im Einklang mit der OPAC-Realität sind komplexere Themen bzw. Komposita eher überrepräsentiert.

2.3 Die Testkriterien

Ein Retrieval-Test wird in der Regel durchgeführt, um Kriterien für die Beurteilung eines Retrieval-Systems zu gewinnen. Dies ist ein ebenso lohnendes wie schwierig zu realisierendes Ziel, denn die Art und Weise der Gewinnung solcher möglichst objektiver Kriterien ist alles andere als einfach. So liegen die in Retrieval-Tests ermittelten Werte zwar in Form von eindeutigen Zahlen vor, es wäre jedoch fahrlässig, von der äußerlich exakten Erscheinung der Ergebnisse auf den Aufbau und die Aussagekraft des gesamten Tests zu schließen. Die Bedingungen für die Konstruktion eines Retrievaltests sind prinzipiell eher kompliziert und die gegenseitigen Abhängigkeiten der Variablen äußerst komplex.

Zur Beurteilung des Erfolgs von Suchen in Datenbanken sind zwei Kriterien allgemein akzeptiert: Recall und Precision.(8) Dabei gibt der Recall die Menge der gefundenen relevanten Dokumente in Relation zur insgesamt in der Datenbank enthaltenen relevanten Dokumente an. Recall ist also ein Maß für den quantitativen Erfolg einer Recherche:

     a = Anzahl der gefundenen, relevanten Dokumente	
     b = Anzahl der gefundenen, nicht-relevanten Dokumente	
     c = Gesamtzahl der relevanten Dokumente	

     Recall:        a
              r = -------
                    c

Precision ist ein Maß für die Genauigkeit einer Recherche, denn sie setzt die Zahl der gefundenen relevanten Dokumente in Relation zur Zahl aller überhaupt gefundenen Dokumente. Damit ist sie auch die Kennzahl für den so häufig zitierten "Ballast" einer Recherche.

     Precision:         a
                 p = -------
                      a + b

Beide Werte für sich können zwar eine sinnvolle Aussage über den Erfolg einer Recherche machen, instruktiv werden sie jedoch erst im Zusammenspiel: Weder ist hohe Genauigkeit bei unzureichender Treffermenge erstrebenswert, noch sind große Mengen gefundener Dokumente mit nur geringem Trefferanteil erwünscht. Eine Möglichkeit, beide Kriterien miteinander zu verbinden - die im MILOS-Retrieval-Test eingesetzte - ist die Verwendung des sog. "Einheitsmaßes" nach van Rijsbergen.(9) Van Rijsbergens Formel kombiniert Recall und Precision und bietet darüber hinaus die Möglichkeit, durch einen "Gewichtungsfaktor" (ß) das Verhältnis von Recall und Precision zu steuern. Die mit Hilfe der Formel ermittelten Einheitsmaße pendeln zwischen 0 und 1, wobei mit 0 der Bestwert, mit 1 der schlechteste Wert erreicht wird.

Einheitsmaß nach van Rijsbergen:
                                       (ß² + 1) * p * r
                               e = 1- -------------------
                                          ß² * p + r

Im MILOS-Test, dies sei an dieser Stelle vorweggenommen, wurden extrem niedrige Werte für den Recall ermittelt, was insgesamt den bisherigen Erfahrungen beim OPAC-Retrieval entspricht. Aus diesem Grund wurde im Test mit einem Gewichtungsfaktor (ß) von 2 gearbeitet, d.h. der Recall wurde höher bewertet als die Precision.

Das eigentliche Problem bei der Ermittlung der Werte für Recall und Precision ist das Kriterium der Relevanz. Für den Recall-Wert ist die Zahl der insgesamt in der Datenbank enthaltenen relevanten Dokumente von entscheidender Bedeutung. Vor Beginn des eigentlichen Retrieval-Tests gilt es daher, diesen Wert zu ermitteln. Eines der am aufwendigsten und sicher auch saubersten Verfahren ist in einem von Lancaster et al. durchgeführten Retrievaltest dokumentiert.(10) Hier wurden Fachbibliographien, Enzyklopädien und Experten herangezogen, um vor Beginn des Tests Listen mit relevanter Literatur zu erstellen. Diese Listen wurden sodann am Gesamtbestand der Daten überprüft und so die gefundenen Dokumente zum Recall-Richtwert bestimmt.

Dieses und ähnlich methodologisch anspruchsvolle und in der Durchführung aufwendige Verfahren konnten und sollten für MILOS mit seiner begrenzten Zielsetzung kein Vorbild sein. Die im MILOS-Test ermittelten und verwendeten Relevanzwerte orientieren sich daher am rein pragmatischen Kriterium der "Suchbarkeit". D.h. als Zielzahl des Retrievaltests wurde die Zahl derjenigen Dokumente festgelegt, die mit allen zur Verfügung stehenden Mitteln - Indexsuche und Freitextsuche mit Operatoren - aus dem Testpool zu gewinnen waren. Dahinter stand die Überlegung, daß dies unter allen denkbaren Umständen - völlig unabhängig von der Zahl der tatsächlich in der Datenbank vorhandenen relevanten Dokumente - die für den Benutzer zu erzielende Maximalzahl an Dokumenten sein wird. Das Relevanzkriterium ist damit so betrachtet nicht datenbankorientiert sondern retrieval- und benutzerorientiert.

2.4 Die Testdurchführung

BISMAS sieht als Standardsuchweg die Suche über den Index vor. Für den MILOS-Test wurden drei Indices angelegt, über die die Suchanfragen abgewickelt wurden:

• Index 1:
  Der Index 1 wurde als reiner Titelstichwortindex aufgebaut.
• Index 2:
  Index 2 entspricht Index 1 jedoch ergänzt um die Ergebnisse der automatischen Indexierung.
• Index 3:
  Index 3 entspricht Index 1, enthält jedoch zusätzlich die verstichworteten Begriffe aus lokalen Düsseldorfer Schlagwörtern (RSWK-Verschlagwortung wird an der ULB Düsseldorf erst ab 1993 betrieben).

Auf der Basis der 50 zuvor festgelegten Suchanfragen wurden insgesamt 4 Suchen durchgeführt: eine Suche zur Ermittlung der relevanten Dokumente, je eine Suche in den Indices 1-3. Aus den so ermittelten Treffer- und Nichttrefferzahlen wurden Recall und Precision und darauf aufbauend der Einheitswert nach van Rijsbergen ermittelt. Gesucht wurde jeweils mit der im Thema genannten Ausgangsformulierung, bei Komposita auch mit der aufgelösten Form (verknüpft über logisches "and"), bei Mehrwortbegriffen auch in der unflektierten Form. Es wurden keine Synonyme verwendet.

3. Ergebnisse des Retrievaltests

Für die Beurteilung der im Folgenden dargestellten Ergebnisse ist zu berücksichtigen, daß durch die Anlage des Tests hinsichtlich Datenbankgröße und Datenbankinhalt bereits gewisse Einschränkungen bestehen. So liegt es z.B. in der Natur der Sache, daß bei einer Datenbank mit gerade 40.000 Dokumenten aus den unterschiedlichsten Fachbereichen die Suche mit den 50 Suchanfragen zu quantitativ sehr unterschiedlichen, in der Tendenz aber eher kleinen Ergebnismengen führen wird. Darüber hinaus muß damit gerechnet werden, daß die Beurteilung der Frage, ob es sich bei einem gefundenen Dokument um einen Treffer handelt oder nicht, im Einzelfall schwierig zu entscheiden ist, bzw. falsch entschieden werden kann. Dies führt vor allem bei kleinen Trefferzahlen zu möglichen Fehlerquellen mit großer Wirkung.

Um derartige Streuungen und Fehler möglichst zu begrenzen, werden die Ergebnisse in Form von Mittelwerten über alle Suchanfragen angegeben. Die Gesamtzahl aller relevanten Dokumente aller 50 Themen beträgt 876, wobei die Einzelwerte, um das gerade geschilderte Problem zu verdeutlichen, zwischen 1 und 244 liegen. Der Mittelwert der relevanten Dokumente pro Thema liegt bei 17,52. Aufbauend auf diesen Grunddaten wurden für die einzelnen Suchen folgende Ergebnisse ermittelt:

3.1 Suche im Index 1 (Titelstichwörter)

Die Suche im Index der Titelstichwörter führte zu insgesamt 136 Dokumenten mit 109 relevanten. Dies entspricht einem Recall-Mittelwert von 14% bei einer Precision von 59%. Der Einheitswert beträgt 0.84.

Der Recall ist erwartungsgemäß niedrig, da die Suche im Index 1 mit allen sprachlichen Problemen - Pluralendungen, flektierte Formen, Komposita - belastet ist.

3.2 Suche im Index 2 (Titelstichwörter + Indexierungsergebnisse)

Die Suche in einem Basic Index aus Titelstichwörtern und den Ergebnissen der automatischen Indexierung führte zu insgesamt 568 Treffern mit 391 relevanten Dokumenten. Im Mittelwert ergeben sich daraus ein Recall von 51% und eine Precision von 83%. Der Einheitswert beträgt 0.46.

Die Steigerung des Recall um den Faktor 3 entspricht den Erwartungen, die an die sprachliche Bereinigung und Zusammenführung durch automatische Indexierung geknüpft sind. Überraschend ist die Tatsache, daß negative Auswirkungen der Indexierung - zu vermuten war eine Erhöhung des Ballasts durch Kompositumzerlegung - ausblieben, statt dessen sogar eine deutliche Erhöhung der Precision erzielt wurde.

3.3 Suche im Index 3 (Titelstichwörter + lokale Schlagwörter)

Bei der Suche im Index der Titelstichwörter und der verstichworteten lokalen Schlagwörter wurden 302 Dokumente mit 270 relevanten gefunden. Dies entspricht im Mittel einem Recall von 39% und einer Precision von 83%. Der Einheitswert beträgt 0.58.

Die Suche im Index 3 wurde ergänzend durchgeführt, um zumindest Anhaltspunkte für die mögliche Auswirkung einer intellektuellen Verschlagwortung auf den Retrievalerfolg zu haben. Berücksichtigt werden sollte hier, daß vom Gesamtbestand der Daten der ULB Düsseldorf nur etwa 35% der Titel verschlagwortet sind, das im Vergleich zur Suche im Index 2 zwar etwas schlechtere Ergebnis also durch eine relativ geringe Zahl verschlagworteter Titel bewirkt wird.

4. Bewertung der Ergebnisse

Für das Thema "Erschließung im OPAC" bleibt zunächst festzuhalten, daß bisherige Befürchtungen sich erneut bestätigt haben: Die Suche über Titelstichwörter ist ohne begleitende Maßnahmen ein untaugliches Mittel zur thematischen Recherche im OPAC. Dies ist zwar seit langem bekannt und durch den schockierend niedrigen Recall-Wert von 14% erneut bestätigt worden, ändert jedoch nichts an der Tatsache, daß in der täglichen Praxis ein großer Prozentsatz von sachlichen Suchen über Titelstichwörter erfolgt.

Es ist daher erfreulich, daß die im Retrieval-Test gewonnenen Ergebnisse zwei Möglichkeiten aufzeigen, diese Problematik abzumildern. Zunächst zur konventionellen Methode, der intellektuellen Verschlagwortung. Wie nicht anders zu erwarten, bewirkt das Einspielen von verstichworteten Schlagwörtern in den Index eine deutliche Verbesserung der Suchergebnisse. Diese Verbesserung bewegt sich, trotz einer nur relativ geringen Erschließungsquote, in einer Größenordnung, die für eine breitere Basis der Verschlagwortung sehr gute Resultate erwarten läßt. Auf der anderen Seite ist das Erreichen dieser breiteren Basis auf längere Sicht ungewiß: Die kooperative Sacherschließung im Verbund führt zwar zu einer hohen Quote der verschlagworteten Titel bei den Neuerscheinungen, auf der anderen Seite wachsen bestehende Titeldatenbanken durch konvertierte, nicht erschlossene Altdaten stetig an.

Dies ist der Ansatzpunkt für die zweite Möglichkeit zur Verbesserung der thematischen Suche im OPAC: den Einsatz von Verfahren zur automatischen Indexierung. Hier zeigt der Retrieval-Test überraschend deutlich, daß automatische Verfahren auch bei einem Einsatz mit bibliothekarischen Titeldaten zu brauchbaren Ergebnissen kommen. Die Verbesserung der Suchergebnisse ist signifikant, mögliche Verschlechterungen durch Erhöhung des Ballasts blieben aus. Dabei ist zu bedenken, daß die Bedingungen, unter denen der Einsatz des Systems zur automatischen Indexierung für den Retrieval-Test erfolgte, nicht optimal waren, für den Routinebetrieb daher noch Möglichkeiten bestehen, die Ergebnisse weiter zu verbessern:

• Eine Selektion von Primärliteratur fand nicht statt. Die ULB Düsseldorf erarbeitet zur Zeit Möglichkeiten, die automatische Indexierung in einen Geschäftsgang zu integrieren, der die Selektion ungeeigneter Titel zuläßt.
• Die bei den Titeln vorhandenen lokalen Schlagwörter wurden aus Gründen der Vergleichbarkeit der Suchergebnisse nicht mit indexiert. Im Routinebetrieb sollte deren Indexierung, die sich in Testläufen bewährt hat, vorgesehen werden.
• Semantische Relationen (Stichwort -> Schlagwort) wurden nur sehr eingeschränkt genutzt. Eine breitere Nutzung der in der SWD gepflegten Relationen wird zur Zeit in MILOS II realisiert.

So positiv die Tatsache zu bewerten ist, daß der mit MILOS beschrittene Weg durch den Retrieval-Test bestätigt wurde, so dringend muß noch einmal darauf hingewiesen werden, daß die Zahlenbasis für weitgehende Folgerungen noch immer sehr dünn ist. Dies trifft nicht nur auf die Möglichkeiten der automatischen Indexierung zu, die bei weiteren, größer angelegten Tests genauer zu ermitteln sind. Dies betrifft auch die intellektuelle Verschlagwortung, wie sie in Deutschland in Form der RSWK betrieben wird. Der Beweis für die Tauglichkeit der RSWK für den Online-Katalog ist bis heute nicht erbracht. Auch hier sind vor jeder weiteren Entscheidung zur Zukunft von RSWK Studien, die verläßliches Zahlenmaterial liefern, dringend gefordert.

Darüber hinaus dokumentiert der Retrieval-Test doch sehr deutlich, daß die Zukunft der Inhaltserschließung mit Blick auf den Online-Katalog am ehesten in einer Kombination von automatischen und intellektuellen Verfahren zu suchen ist. Die Vorteile liegen auf der Hand: Die nur begrenzt verfügbaren Ressourcen zur intellektuellen Verschlagwortung könnten gezielt für Titel eingesetzt werden, die für eine automatische Verarbeitung ungeeignet sind; Doppelarbeit in der Erschließung, wie die Verschlagwortung mit Titelstichwörtern, könnte entfallen.

Zur Erreichung dieses Ziels, der Integration von automatischen und intellektuellen Erschließungsmöglichkeiten, werden die in MILOS begonnenen Arbeiten seit Januar 1995 innerhalb von MILOS II fortgesetzt.

FUSSNOTEN:

(1) Dies gilt auch für die zuletzt veröffentlichten Empfehlungen der Expertengruppe Online-Kataloge: Sacherschließung in Online Katalogen. Berlin 1994. (dbi-materialien; 132).

(2) Vgl. z.B. Markey, K.: Integrating the machine readable LCSH into online catalogs. In: Information technology and libraries 7 (1988), S. 299-312.

(3) Ausnahmen bilden hier folgende Studien: Husain, S., A. O'Brien: Recent trends in subject access to OPACs: an evaluation. In: International classification 19 (1992) no. 3, S. 140-145; Byrne, A., M. Micco: Improving OPAC subject access: the ADFA experiment. In: College & research libraries 49 (1988), no. 5, S. 432-441. Cherry, J.M.: Improving subject access in OPACs: an exploratory study of conversion of user queries. In: Journal of academic librarianship 18 (1992), S. 95-99.

(4) Lepsky, K.: Maschinelles Indexieren zur Verbesserung der sachlichen Suche im OPAC: DFG-Projekt an der Universitäts- und Landesbibliothek Düsseldorf. In: Bibliotheksdienst 28 (1994), H. 8, S. 1234-1242.

(5) Vgl. auch Lepsky, K.: Maschinelle Indexierung von Titelaufnahmen zur Verbesserung der sachlichen Erschließung in Online-Publikumskatalogen. Köln 1994. V, 121 S. (Kölner Arbeiten zum Bibliotheks- und Dokumentationswesen; H. 18)

(6) Für diesen Test wurde lediglich ein Teilbestand der in der Schlagwortnormdatei vorhandenen Relationen ausgewertet und in die Indexierungswörterbücher übernommen. Endgültige Aussagen hinsichtlich des Nutzens können daher noch nicht gemacht werden.

(7) Vgl. Dreis, G.: Benutzerverhalten an einem Online-Publikumskatalog für wissenschaftliche Bibliotheken: Ergebnisse und Erfahrungen aus dem OPAC-Projekt der Universitätsbibliothek Düsseldorf. Frankfurt 1994. XIII, 150 S. (Zeitschrift für Bibliothekswesen und Bibliographie; Sonderh. 57)

(8) Vgl. Ellis, D.: New horizons in information retrieval. Chicago 1990. X, 138 S., hier S. 8ff.

(9) Vgl. Krause, J. (Hrsg.): Inhaltserschließung von Massendaten: zur Wirksamkeit informationslinguistischer Verfahren am Beispiel des deutschen Patentinformationssystems. Hildesheim 1987. XII, 247 S. (Linguistische Datenverarbeitung; Bd. 8), hier S. 150.

(10) Lancaster, F.W., T.H. Connell u. N. Bishop u.a.: Identifying barriers to effective subject access in library catalogs. In: Library resources and technical services 35 (1991), S.377-391.