Startseite Jelitto
Übersicht Vorträge 
Vortrag 

Evaluation von Museen im Internet - ein Überblick

Vortrag auf der MAI-Tagung "museums and the internet" in Hagen

Referent: Marc Jelitto, Institut für Umweltkommunikation, Universität Lüneburg

Zeit: 28. Mai 2001, 16.30-17.15 Uhr

Ort: Hagen

URL: http://marcjelitto.de/tagungen/mai2001/volltext.htm

Aktualisierte Version vom 22.07.2001

 

Übersicht:

  1. Definition "Museen im Internet"

    Bei dem Thema "Museen im Internet" sehe ich drei Schwerpunkte. Einmal die WWW-Seiten eines Museums; zweitens die Kommunikation, sei es auf e-mail-Anfragen, auf den eigenen Webseiten oder in Diskussionsforen bzw. Newsgroups und drittens bei Gemeinschaftsprojekten wie Datenbankzugriffe auf Archive in mehreren Museen oder gemeinsame virtuelle Ausstellungen.

  2. Definition "Evaluation"

    Bei der Vorbereitung des Vortrages habe ich mich mit dem Problem beschäftigt, welche Punkte ich in dem Vortrag ausführlicher behandeln sollte und welche ich nur anspreche bzw. wegfallen lassen kann. Dabei habe ich erst den mir vorliegenden Stoff analysiert und dann die einzelnen Felder bewertet. Beim Erstellen der Übersicht habe ich diese dann wiederholt getestet und beurteilt. Diesen Vorgang der Analyse mit anschließender Bewertung nennt man Evaluation. Bei dem beschriebenen Beispiel handelt es sich um eine Alltagsevaluation, die einfach sein sollte und schnell durchgeführt werden kann (quick and dirty). Eine professionelle Evaluation bei der Vorbereitung des Vortrages wäre wesentlich aufwendiger und teurer gewesen, hätte allerdings wahrscheinlich zu einem besseren Vortrag geführt.

    Weitere Definitionen von Evaluation aus verschiedenen Bereichen findet man unter http://www.evaluieren.de/evaluat.ion/definiti.htm .

  3. Evaluationsverlauf

    Bei einer Evaluation werden drei Phasen durchlaufen. Zuerst kommt es zu einer Festlegung von Evaluationsgrundlagen, dann wird die Evaluation durchgeführt und anschließend werden die Ergebnisse benutzt.
    In der ersten Phase werden die Beteiligten definiert (s. Anhang). Dann wird das zu untersuchende Objekt (der Evaluand) genauer beschrieben und der Bereich der Evaluation eingegrenzt. Man sollte klarstellen, was die Ursache für die Evaluation ist und welche Ziele dabei verfolgt werden. Der Zeitpunkt der Evaluation prägt Methoden und Möglichkeiten. Eine Definiton des Kontext hilft Einflußfaktoren auf den Evaluanden festzustellen. Danach muß genau definiert werden, welche Elemente eines WWW-Auftrittes evaluiert werden sollen (Navigation, Inhalt, Auffindbarkeit, Kommunikation, Plattformunabhängigkeit...). Vor dem Beginn einer Evaluation sollten die Bewertungskriterien festgelegt werden. Dann findet eine Auswahl der Methoden zur Datenerhebung statt. Eine Festlegung der Ergebnisform schärft den Blick auf die zu untersuchende Elemente. Zu guter Letzt wird die Vorgehensweise ausgearbeitet und das ganze in einer Beschreibung zusammengefaßt.
    In der zweiten Phase werden die Methoden angewandt, die Daten gesammelt, ausgewertet und anschließend mit den vorgegebenen Kriterien bewertet. Zuletzt wird ein Evaluationsbericht erstellt.
    Zu guter Letzt findet eine Nutzung der Evaluationsergebnisse statt, sei es für technische oder inhaltliche Verbesserungen oder als Grundlage für weitere Entscheidungen.

    Vertiefende Informationen findet man unter: http://www.evaluieren.de/evaluat.ion/vorgehen.htm

  4. Entwicklungsstadien eines Internetauftrittes

    Am Anfang des Lebens eines WWW-Auftritts steht die Planung. Dann findet die Entwicklung statt, gefolgt von der Einsatzphase. Typisch für das Internet ist die Überarbeitung der Internet-Seiten nach ein bis fünf Jahren (Relaunch).

  5. Evaluationsphasen

    In der Praxis findet häufig am Ende eines Projektes eine Endbewertung statt, z.B. bei der Freigabe eines WWW-Auftrittes im Netz. Diesen Vorgang nennt man summative Evaluation. Meist hat dieser Vorgang keine direkten Auswirkungen auf die Webseiten, trotzdem handelt es sich dabei um die bekannteste Evaluationsphase. Um die Ergebnisse einer Evaluation in die Entwicklung einfließen lassen zu können, kann man Untersuchungen auch während der Entwicklung bzw. Durchführung anwenden und die Bewertungsergebnisse zu Verbesserungen nutzen. Dabei handelt sich um die formative Evaluation, die häufig wiederholt eingesetzt wird (Produktion - Evaluation - Verbesserung - Evaluation...) und auch häufig in der Literatur auftaucht. Um Planungsfehler zu vermeiden, kann man auch während der Vorbereitungsphase Evaluationen durchführen. Diese Front-End-Evaluation taucht selten in Veröffentlichungen auf.

    Klein (1995) nennt noch weitere Evaluationsphasen. Vor Planungsbeginn sollte man auch die Rahmenbedingungen erfassen, die jedes Projekt aufweist (Status-Quo-Evaluation). Um zu wissen, welche Möglichkeiten ein WWW-Auftritt zu bieten hat, sollte man vergleichbare, aber auch weiter entfernt verwandte Webseiten testen (Analog-comparative Evaluation). Häufig finden Evaluationen bei der Entwicklung unter Laborbedingungen statt. Hier sollte auch ein Test per Fernzugriff auf die im Netz installierten Seiten stattfinden, um Installationsprobleme feststellen und beseitigen zu können (Remedial Evaluation).

    Ich möchte hier auf drei weitere Phasen hinweisen. Nach der Installation eines Servers erhält der Webmaster häufig Hinweise auf Verbesserungsmöglichkeiten, die dann realisiert werden. Durch eine Folge-Evaluation, die auf eine summative Evaluation aufbaut, kann man die Auswirkungen der Verbesserung prüfen. Bei einigen Projekten sind auch Evaluationen während der Einsatzphase sinnvoll, so ist die Fortlaufende Evaluation bei der Aktualisierung und Pflege von Internet-Seiten einzusetzen.

    Abgekoppelt von diesen Evaluationen im Lebenslauf eines Produktes können auch Evaluationen wie Pressebesprechungen oder Datenbankeinträge stattfinden. Die Zeitunabhängige Evaluation beinhaltet auch Meta-Evaluationen (Evaluation einer Evaluation) und Meta-Analysen (die Aufbereitung von Evaluationsberichten).

    Die Evaluationsphasen in der zeitlichen Reihenfolge:

    - Status-Quo-Evaluation
    - Analog-comparative Evaluation
    - Front-End-Evaluation
    - Formative Evaluation
    - Remedial Evaluation
    - Summative Evaluation
    - Folge-Evaluation
    - Fortlaufende Evaluation
    - Zeitunabhängige Evaluation 

  6. Evaluationmethoden

    Bei der Evaluation können zahlreiche Methoden genutzt werden. Neben den klassischen aus der Sozialforschung wie Fragebögen, Interviews und teilnehmende Beobachtung (die alle on- und offline wie im Museum eingesetzt werden können), bietet die Computerforschung weitere Möglichkeiten. So werden Usability-Untersuchungen durchgeführt (läßt sich die Seite gut nutzen), Experten nutzen mehr oder weniger umfangreiche Kriterienkataloge, bei der Task-Analyse sollen von Testpersonen Aufgaben anhand des WWW-Auftrittes gelöst werden und alle Surfer hinterlassen bei der Benutzung einer Website Spuren, die durch eine Logfile-Analyse analysiert werden können. Es kann teilweise auch sinnvoll sein, weitere Methoden aus anderen Bereichen wie der Marktforschung einzusetzen. So kann bei der Besucherforschung beobachtet werden, ob die Besucher eines Museums Ausdrucke der WWW-Seiten mit sich führen.

    Weitere Methoden findet man unter: http://www.evaluieren.de/evaluat.ion/methoden.htm

  7. Kategorien von Internetauftritten

    - Homepage
    Dies meint einen allgemeinen Hinweis bei einer Stadt, in Museumsverzeichnissen u.ä.. Dieser geht i.d.R. nicht über eine Adresse, ein Photo und eine Kurzbeschreibung hinaus.
    Naturmuseum Lüneburg
    http://www.luene-info.de/naturmuseum/natur.html

    - Mittlerer Auftritt
    Dieser beinhaltet weitere Informationen, wie Veranstaltungshinweise und allgemeine Informationen zum Thema.
    Jura-Museum Eichstätt
    http://www.jura-museum.de/

    - Umfassender Auftritt
    Hier werden umfangreiche Informationen, teilweise datenbankbasiert, angeboten.
    Deutsches Museum München
    http://www.deutsches-museum.de/index.htm

     

  8. Beispielhafte Evaluation am Beispiel Internet-Auftritt des Kunstmuseums in Bonn
    http://www.bonn.de/Kunstmuseum/

    siehe: http://marcjelitto.de/tagungen/mai2001/beispiel.htm

     

  9. Zusammenfassung

    Bei der Evaluation sind folgende Phasenschwerpunkte festzustellen:

    Status-Quo-Evaluation, Analog-comparative Evaluation, Front-End-Evaluation, Formative Evaluation und Remedial Evaluation dienen hauptsächlich dem Qualitätsmanagment, die Summative Evaluation der Erfolgsmessung, die Folge-Evaluation der Erfassung von Nutzungsänderungen, die Fortlaufende Evaluation der Überwachung des Einsatzes und die Zeitunabhängige Evaluation u.a. der Forschung und Eignungsprüfung.

  10. Aufforderung

    Jede(r) sollte sich die Zeit nehmen, um die (Selbst-) Evaluation verstärkt einzusetzen und um Erfahrungen (auch negative) zu veröffentlichen.

  11. Literatur:

    Klein, H.-J. (1995): Die Rolle der Besucherforschung bei Medieneinsatz und interaktiven Ausstellungen. In: Museumskunde, 60, (1-3), 115-120.
    Vortrag von 1994, Institut für Museumskunde, "Neue Medien im Museum", Bonn, 1.-2. Dezember 1994

    Weiterführende Links und Literaturhinweise siehe: http://marcjelitto.de/tagungen/mai2001/litlinks.htm

  12. Anhang

    Evaluationsbeteiligte

    An einer Evaluation sind hauptsächlich Auftraggeber, Entwickler, Wissenschaftler und Nutzer beteiligt. Dabei haben alle verschiedene Wissensstufen, vom Laien über den Anwender bis zum Experten. Diese Wissenstufen beziehen sich auf die Gebiete Evaluation, digitale Medien und Nutzungskontext (inhaltlich, lehr- und lerntechnisch). So ist der Auftraggeber Experte auf dem Gebiet des Nutzungskontextes, er kennt sich mit Museumsinhalten aus und kann auch Vermittlungswege nennen. Die digitalen Medien kennt er als Anwender, während er sich bei Evaluation nicht auskennt. Der Entwickler hingegen ist Fachmann für die Erstellung digitaler Medien (Experte), nutzt häufig Testpersonen (Anwender), kennt sich aber mit musealen Inhalten nicht aus (Anfänger). Diese unterschiedlichen Kenntnisse sind bei einer Evaluation zu beachten.

    Anforderungen an die Beteiligten:
    Wichtig ist bei einer Evaluation die Zusammenarbeit der Beteiligten. Die Entwickler sollten sich bewußt sein, daß nicht sie, sondern das Produkt untersucht wird. Wissenschaftler sollten hingegen auch die Erfahrungen der Entwickler nutzen. Die Akzeptanz von Ergebnissen spielt eine große Rolle, dies kann durch eine Offenlegung der Vorgehensweise und eine Einbeziehung aller Beteiligten geschehen. Bei Front-End- und formativen Evaluationen sollte die Integration von Ergebnissen in die Entwicklung fest eingeplant werden. Die Beachtung von Standards durch Evaluatoren führt zu professionellen Ergebnissen. Eine Linkliste zu Standards findet man unter http://www.evaluieren.de/infos/linksall.htm#ethik .

    Fortbildung

    Fortbilden kann man sich im Bereich Evaluation auf verschiedene Weisen. Man kann die passende Literatur benutzen, in der Praxis durch Anwendung von Evaluationsmethoden und Selbstevaluation üben (learning by doing) oder Fortbildungen off- und online besuchen.

    Pam Berger´s "Web Evaluation Guide" unter http://www.infosearcher.com/cybertours/tours/tour04/_tourlaunch1.htm ermöglicht die Betrachtung mehrerer WWW-Seiten mit den Augen eines Evaluators.

    Online-Kurse zum Thema Evaluation bietet u.a. das "Centre for Program Evaluation" der "University of Melbourne, Australia" unter http://www.edfac.unimelb.edu.au/cpe/cpefiles/CPEcourses.html an.

© 2001, Marc Jelitto, marc@uni-lueneburg.de