Retrievaltests - Übung


Hinweis

Die folgende Übung zur Durchführung von Retrievaltests setzt voraus:

  • Kenntnisse über die Berechnung von Recall und Precision [Vgl. Abschnitt 6.2 in: Gödert, W., K. Lepsky, and M. Nagelschmidt (2012). Informationserschließung und Automatisches Indexieren: Ein Lehr- und Arbeitsbuch. X.media.press. Berlin u.a.: Springer.];
  • Kenntnisse über die Anwendung des sog. Pooling-Modells für Retrievaltests [Vgl. Sachse, Elisabeth, Martina Liebig und Winfried Gödert: Automatische Indexierung unter Einbeziehung semantischer Relationen: Ergebnisse eines Retrievaltests zum MILOS-II-Projekt, Köln: Fachhochschule Köln 1998 (Kölner Arbeitspapiere zur Bibliotheks- und Informationswissenschaft 14). (http://ixtrieve.fh-koeln.de/lehre/sachse-1998-a.pdf)]
  • Kenntnisse über die suchtechnischen Möglichkeiten der einzusetzenden Suchumgebungen.



Kollektionen und Suchumgebungen

Verwenden Sie für die Durchführung des vergleichenden Retrievaltests die folgenden drei Aufbereitungen der Datenbank Literatur zur Informationserschließung:



Vorgehensweise

Gegenstand der Übung ist die Durchführung eines vergleichenden Retrievaltests für insg. 10 Themenstellungen. Verglichen werden sollen dabei die Suchergebnisse für die o.g. drei verschiedenen Suchumgebungen. Die vergleichende Bewertung soll auf der Basis selbst ermittelter Werte für Recall und Precision erfolgen. Zur Ermittlung der Recall-Werte ist das Pooling-Verfahren anzuwenden.

Gehen Sie für die Durchführung des Retrievaltests folgendermaßen vor.

  • Suchen
    • Setzen Sie die 10 Themenstellungen in Suchformulierungen um, die die jeweiligen Eigenschaften der drei Suchumgebungen berücksichtigen.
    • Verwenden Sie für die Suche in den bibliografischen Datenbanken geeignete Suchindices.
    • Nutzen Sie Möglichkeiten zur Phrasensuche aus (Syntax).
  • Relevanzbewertung
    • Ermitteln Sie für Ihre Suchformulierungen die jeweiligen Treffermengen in den verschiedenen Suchumgebungen.
    • Bestimmen Sie für jedes Dokument in jeder Treffermenge die Relevanz im Hinblick auf die Suchanfrage. Als Relevanzkriterium soll gelten: „Im Sinne einer Frage ‚Ich suche etwas über …‘ halte ich den Treffer für so interessant, dass ich mir das Dokument im Volltext anschauen würde“.
  • Auswertung
    • Berechnen Sie für jede Treffermenge die Precision.
    • Berechnen Sie für jede Treffermenge den Recall mit dem Pooling-Verfahren.


  • Analyse
    • Analysieren Sie die ermittelten Recall- und Precision-Werte im Hinblick auf eine Gesamtaussage zur Retrievaleffektivität.
    • Analysieren Sie Stärken und Schwächen einzelner Suchverfahren bzw. Suchumgebungen in Abhängigkeit vom Typus der Suchanfrage.
    • Analysieren Sie den (möglichen) Einfluss grammatikalischer Varianten auf das Suchergebnis. Führen Sie ggf. Testrecherchen mit alternativen Suchformulierungen durch.
    • Analysieren Sie den (möglichen) Einfluss der Dokumentsprache auf das Suchergebnis. Führen Sie ggf. Testrecherchen mit alternativen Suchformulierungen durch.


Recherchethemen [in Klammern eine Typisierung]


  1. Serendipity [Einzelwort]
  2. Retrievaltest [Kompositum]
  3. h-index [Bindestrichwort, Verbindung mit Eigennamen, Verbindung mit Abkürzung]
  4. PRECIS [Akronym, Eigenname]
  5. Faceted classification [Phrase]
  6. Syntaktisches Indexieren [Phrase]
  7. Information-Retrieval-Verfahren [Bindestrichwort, Phrase]
  8. Linguistische Verfahren des automatischen Indexierens [Kombination von Phrasen]
  9. Visualisierung von Informationsräumen [Kombination Einzelwort und Kompositum]
  10. Effektivitäts- oder Effizienzmaße (z. B. von Rijsbergen) für Retrievaltests [komplexe Fragestellung]


Eingestellt von am