Zurück zur Tagungsseite 
http://marcjelitto.de/mmub/tagungen/2001a.htm

Evaluationsmöglichkeiten im Bereich digitaler Umweltkommunikation

 

Vortrag auf der Tagung "Multimedia in der Umweltkommunikation und -bildung"

Referent: Marc Jelitto, Institut für Umweltkommunikation, Universität Lüneburg

Zeit: 27. April 2001, 12.00-12.45 Uhr

Ort: Pädagogische Hochschule Ludwigsburg

http://marcjelitto.de/mmub/tagungen/jelitto3.htm

Aktualisierte Version vom 04.05.2001

Volltext:

  1. Definition "digitale Umweltkommunikation"

    Umweltkommunikation kann als ein Prozeß beschrieben werden, in dem Informationen über Umweltaspekte vermittelt werden (Brilling, Leal Filho, 1999). Umweltkommunikation beinhaltet u.a. Umweltbildung und Umweltberatung. Mit Umweltbildung befindet man sich verallgemeinert im Feld des lebenslangen Lernen, während die Umweltberatung eher dem Lösen von Problemen dient. Man hat es hier mit zwei Polen zu tun, dem Angebot von nackten Informationen (engl. information) und der lerntechnisch aufbereiteten Form (engl. education). Im Zeitalter der "Spaßgesellschaft" spielt heutzutage die Unterhaltung (engl. entertainment) eine immer größere Rolle. Dies führt dazu, dass das Lernen spielerisch aufgewertet soll (engl. edutainment) bzw. Informationen anregender verpackt werden (engl. infotainment). Die Umweltkommunikation befindet sich im Feld von Education, Edutainment, Entertainment, Infotainment und Information.

    Umweltkommunikation kann zu Hause, auf der Arbeit oder an weiteren Orten stattfinden. Kinder und Jugendliche erreicht man in der Schule, aber auch der Freizeitbereich spielt eine große Rolle (in der Softwarebranche spricht man hier vom Nachmittagsmarkt). Erwachsenenbildung findet an Hochschulen statt, aber auch an Volkshochschulen. Weiterhin führen Bürgerinitiativen und Vereine Fortbildungen durch, aber auch in Jugendherbergen, Museen, Zoos und Umweltzentren findet eine Weiterbildung statt. Wanderausstellungen können weitere Räume erschließen (Banken, Firmen). Die Umweltberatung wird häufig von Behörden oder privaten Beratungseinrichtungen durchgeführt.

    Neben den klassischen Vermittlungsformen wie Druckmedien und Präsenzveranstaltungen bieten die digitalen Medien neue Möglichkeiten. Dabei kann zwischen den drei Formen Kommunikation, Software und Online-Informationen unterschieden werden. Bei der Kommunikation können e-mail, Chat, Newsgroup (UseNet), Mailing-Listen, Voice-mail, Telefonieren via TCP/IP, Videokonferenz und das Gästebuch im WWW eingesetzt werden. Bei der Software kann man zwischen Programmen zur Informationsvermittlung (Informationssoftware, Lernsoftware, Materialsammlungen, Nachschlagewerke, Simulationen), Werkzeugen (Standardsoftware oder Spezialsoftware) und Spielen unterteilen. Weiterhin können Informationen im Internet angeboten werden werden, dazu gehören das World Wide Web (WWW), reine Online-Zeitschriften, die Möglichkeit, per FTP Software runterzuladen, die Abfrage von Datenbanken, die Einbindung von WebCams und der Einsatz von Virtual Reality.

    Die neuen Medien bringen neue Möglichkeiten und Chancen mit sich (Interaktivität, Multimedia), aber auch neue Probleme (hohe Ansprüche, Kosten).

    Weitere Informationen zum Thema digitale Umweltkommunikation findet man online unter http://marcjelitto.de/mmub/index.htm.

     

     

  2. Definition "Evaluation"

     

    Bei der Vorbereitung des Vortrages habe ich mich mit dem Problem beschäftigt, welche Punkte ich in dem Vortrag ausführlicher behandeln sollte und welche ich nur anspreche bzw. wegfallen lassen kann. Dabei habe ich erst den mir vorliegenden Stoff analysiert und dann die einzelnen Felder bewertet. Beim Erstellen der Übersicht habe ich diese dann wiederholt getestet und beurteilt. Diesen Vorgang der Analyse mit anschließender Bewertung nennt man Evaluation. Bei dem beschriebenen Beispiel handelt es sich um eine Alltagsevaluation, die einfach sein sollte und schnell durchgeführt werden kann (quick and dirty). Eine professionelle Evaluation wäre wesentlich aufwendiger und teurer gewesen, hätte allerdings wahrscheinlich zu einem besseren Vortrag geführt.

    Weitere Definitionen von Evaluation aus verschiedenen Bereichen findet man unter http://www.evaluieren.de/evaluat.ion/definiti.htm.

     

     

  3. Evaluationsphasen

    In der Praxis findet häufig am Ende eines Projektes (sei es die Erstellung eines Buches, eine CD-ROM-Produktion oder eine Unterrichtseinheit) eine Endbewertung statt. Diesen Vorgang nennt man summative Evaluation. Meist hat dieser Vorgang keine direkten Auswertungen auf das Produkt, trotzdem handelt es sich dabei um die bekannteste Evaluationsphase. Um die Ergebnisse einer Evaluation in die Entwicklung einfließen lassen zu können, kann man Untersuchungen auch während der Entwicklung bzw. Durchführung anwenden und die Bewertungsergebnisse zu Verbesserungen nutzen. Dabei handelt sich um die formative Evaluation, die häufig wiederholt eingesetzt wird (Produktion - Evaluation - Verbesserung - Evaluation...) und auch häufig in der Literatur genannt wird. Um Planungsfehler zu vermeiden, kann man auch während der Vorbereitungsphase Evaluationen durchführen. Diese Front-End-Evaluation taucht selten in Veröffentlichungen auf.

    Klein (1995) nennt noch weitere Evaluationsphasen. Vor Planungsbeginn sollte man auch die Rahmenbedingungen erfassen, die jedes Projekt aufweist (Status-Quo-Evaluation). Um zu wissen, welche Möglichkeiten ein Produkt zu bieten hat, sollte man vergleichbare, aber auch weiter entfernt verwandte Produkte testen (Analog-comparative Evaluation). Häufig finden Evaluationen bei der Entwicklung unter Laborbedingungen statt. Hier sollte auch ein Test vor Ort stattfinden, um Umwelteinflüße feststellen und berücksichtigen zu können (Remedial Evaluation).

    Ich möchte hier auf drei weitere Phasen hinweisen. Beim Einsatz neuer Medien taucht häufig das Problem auf, dass die Begeisterung über ein neues Lernmedium zu einer höheren Lernmotivation und so zu besseren Leistungen führen. Dies kann man durch eine Folge-Evaluation prüfen, die aufbauend auf eine summative Evaluation zu einem späteren Zeitpunkt durchgeführt wird. Bei einigen Projekten sind auch Evaluationen während der Einsatzphase sinnvoll, so ist die Fortlaufende Evaluation bei der Aktualisierung und Pflege von Internet-Seiten einzusetzen. Abgekoppelt von diesen Evaluationen im Lebenslauf eines Produktes können auch Evaluationen wie Pressebesprechungen oder Datenbankeinträge stattfinden. Die Zeitunabhängige Evaluation beinhaltet auch Meta-Evaluationen (Evaluation einer Evaluation) und Meta-Analysen (die Aufbereitung von Evaluationsberichten).

    Die Evaluationsphasen in der zeitlichen Reihenfolge:

    1. - Status-Quo-Evaluation
      - Analog-comparative Evaluation
      - Front-End-Evaluation
      - Formative Evaluation
      - Remedial Evaluation
      - Summative Evaluation
      - Folge-Evaluation
      - Fortlaufende Evaluation
      - Zeitunabhängige Evaluation 

       

       

  4. Evaluationskontext

    Evaluationen können als Planunghilfe, zur Optimierung und zur Bewertung eingesetzt werden. Diese Evaluationsziele können Neues, Entstehendes und auch Bestehendes betreffen. Analog-comporative Evaluationen bestehender Produkte können zur Planung eines neuen Produktes dienen, aber auch die summative Evaluation kann als Ergebnis zur Planung eines neuen Produktes führen.

     

     

  5. Evaluationmethoden

    Methoden zur Evaluation kommen vor allem aus der Sozialforschung (z.B. Fragebogen, Interview oder Teilnehmende Beobachtung).

    Auch im Computerbereich wurden Methoden entwickelt, so kann man den Umgang mit Software und Online-Möglichkeiten evaluieren. Die Usability beschäftigt sich u.a. mit der Evaluation der Navigation in digitalen Medien. Jeder Benutzer von Software entwickelt im Laufe der Zeit Kriterien, anhand denen er die Qualität einer Software mißt. In gedruckter Form, aber auch online gibt es hunderte von Kriterienkatalogen, die sich mit der Evaluation von CD-ROMs oder Lernsoftware beschäftigen, in letzter Zeit auch mit der Evaluation von Internet-Auftritten. Inzwischen gibt es auch umfangreiche Kataloge, in denen hunderte von Untersuchungsfragen zusammengetragen wurden. Eine weitere Methode ist der Einsatz von Testaufgaben, die mit einem Produkt gelöst werden müssen. Die Task-Analyse reicht von dem Auffinden von Internetseiten in einem WWW-Auftritt per internen Suchmaschine über das Suchen nach Problemlösungen bis hin zu Lernaufgaben. Die Nutzung von digitalen Medien hinterläßt häufig Spuren, die man analysieren kann. Die Logfile-Analyse kann bei Internetseiten Auskunft geben über IP-Adresse, Betriebssystem, Browser, PlugIns des Besuchers und welche Seiten er sich während eines Besuches ansieht. Bei Lernsoftware kann der Nutzer sehen, welche Aufgaben er schon gelöst hat und welche er noch wiederholen sollte.

    Neben den genannten Bereichen Sozial- und Computerforschung müssen ggf. noch weitere Methoden eingesetzt werden, so werden in Umweltzentren Methoden der Besucherforschung und bei der Front-End-Evaluation für eine neue CD-ROM Instrumente der Marktforschung benutzt.

    Eine Aufzählung weiterer Evaluationsmethoden siehe http://www.evaluieren.de/evaluat.ion/methoden.htm.

     

     

     

  6. Evaluationsbeteiligte

    An einer Evaluation sind hauptsächlich Auftraggeber, Entwickler, Wissenschaftler und Nutzer beteiligt. Dabei haben alle verschiedene Wissensstufen, vom Laien über den Anwender bis zum Experten. Diese Wissenstufen beziehen sich auf die Gebiete Evaluation, digitale Medien und Nutzungskontext (inhaltlich, lehr- und lerntechnisch). So ist der Auftraggeber Experte auf dem Gebiet des Nutzungskontextes, er kennt sich mit Vögeln aus und kann auch Vermittlungswege nennen. Die digitalen Medien kennt er als Anwender, während er sich bei Evaluation nicht auskennt. Der Entwickler hingegen ist Fachmann für die Erstellung digitaler Medien (Experte), nutzt häufig Testpersonen (Anwender), kennt sich aber mit Lernsoftware und Vögeln nicht aus (Anfänger). Diese unterschiedlichen Kenntnisse sind bei einer Evaluation zu beachten.

    Anforderungen an die Beteiligten:
    Wichtig ist bei einer Evaluation die Zusammenarbeit der Beteiligten. Die Entwickler sollten sich bewußt sein, daß nicht sie, sondern das Produkt untersucht wird. Wissenschaftler sollten hingegen auch die Erfahrungen der Entwickler nutzen. Die Akzeptanz von Ergebnissen spielt eine große Rolle, dies kann durch eine Offenlegung der Vorgehensweise und eine Einbeziehung aller Beteiligten geschehen. Bei Front-End- und formativen Evaluationen sollte die Integration von Ergebnissen fest eingeplant werden. Die Beachtung von Standards durch Evaluatoren führt zu professionellen Ergebnissen.

    Eine Linkliste zu Standards findet man unter http://www.evaluieren.de/infos/linksall.htm#ethik

    Fortbilden kann man sich im Bereich Evaluation auf verschiedene Weisen. Man kann die passende Literatur benutzen, in der Praxis durch Anwendung von Evaluationsmethoden und Selbstevaluation üben (learning by doing) oder Fortbildungen off- und online besuchen. Pam Berger´s "Web Evaluation Guide" unter http://www.infosearcher.com/cybertours/tours/tour04/_tourlaunch1.htm ermöglicht die Betrachtung mehrerer WWW-Seiten mit den Augen eines Evaluators. Online-Kurse zum Thema Evaluation bietet u.a. das "Centre for Program Evaluation" der "University of Melbourne, Australia" unter http://www.edfac.unimelb.edu.au/cpe/cpefiles/CPEcourses.html an.

     

     

  7. Idealtypische Evaluation

    Hier wird am Beispiel einer CD-ROM-Erstellung zum Thema "Vögel" ein Überblick über die Möglichkeiten der Evaluation im Lebenslauf eines Produktes gezeigt. Die Software soll im Auftrag eines Umweltzentrums für einen Schuleinsatz entwickelt werden.

    Bei der Status-Quo-Evaluation verschafft man sich einen Überblick über vorhandenes Material und Wissen. Es ist sinnvoll, die Beteiligten zu ihren Zielen und Möglichkeiten zu befragen. Wichtig ist es, jetzt die Rahmenbedingungen wie Zeit- und Geldressourcen festzulegen.

    Bei der analog-comparativen Evaluation werden vergleichbare CD-ROMs auf Möglichkeiten und Probleme geprüft, aber auch empfohlene CD-ROMs aus anderen Bereichen analysiert und vorbildliche Eigenschaften herausgearbeitet.

    Bei der Front-End-Evaluation wird der Absatzmarkt für den Verkauf solcher Software mit Methoden der Marktforschung überprüft und es findet eine Literaturauswertung hinsichtlich des theoretischen Hintergrundes des Lernen mit neuen Medien statt. Dann erfolgt eine Zielentwicklung und es wird geplant, wie man diese Ziele in der Software unterstützen kann. Es wird die zu verwendene Lerntheorie und das Lernniveau festgelegt und mit den Zielen abgeglichen.

    Bei der formativen Evaluation wird der erste Test mit einer Papierversion (sogenannter Mock-Up-Test) durchgeführt. Später werden dann erste Versionen (Prototypen) getestet. Dabei findet hauptsächlich ein Einsatz von Testpersonen statt, die in späteren Tests möglichst aus der Zielgruppe stammen. Nach dieser Qualitätsprüfung fließt ein Teil der Ergebnisse in das Produkt ein. (Hinweis: Es kann passieren, das in späteren Tests Verbesserungen bemängelt werden).

    Bei der Remedial Evaluation findet ein Test von Prototypen vor Ort statt, d.h. eine CD-ROM mit einem Prototypen wird in einer Schulklasse eingesetzt. Dabei können technische Beobachtungen gemacht werden (Installationsprobleme), aber auch die Benutzer beobachtet werden.

    Bei der Summative Evaluation wird eine Erreichung der (Lern-) Ziele geprüft, dies kann durch eine Befragung durch den Lehrer passieren, aber auch durch eine Klassenarbeit.

    Bei der Folge-Evaluation wird geprüft, ob das Wissen noch nach längerer Zeit vorhanden ist. Auch die Frage nach einer Nutzung der Software bei den Schülern zuhause kann Ergebnisse zur Qualität des Produktes aufweisen.

    Bei der fortlaufenden Evaluation werden durch Beobachtungen des Lehrers Verbesserungsmöglichkeiten für den Einsatz in der nächsten Schulstunde gemacht.

    Bei einer zeitunabhängigen Evaluation wird die Software durch andere Lehrer analysiert. Das Ergebnis ist eine Einstufung in der SODIS-Datenbank (http://www.sodis.de/), dem Software-Dokumentations- und Informations-System, in dem über 4.300 Produkte verzeichnet sind.

     

     

  8. Zusammenfassung

    Die digitale Umweltkommunikation ist ein vielfältiges Feld, deren unterschiedliche Ausprägungen Evaluationen und die Methodenauswahl stark beeinflussen. Neben Methoden aus der Sozialforschung werden Methoden aus der Computerforschung eingesetzt. Es kann sinnvoll sein, diese durch Forschungsinstrumente aus anderen Forschungsbereichen zu ergänzen.

    Bei der Evaluation sind folgende Phasenschwerpunkte festzustellen:
    Status-Quo-Evaluation, Analog-comparative Evaluation, Front-End-Evaluation, Formative Evaluation und Remedial Evaluation dienen hauptsächlich dem Qualitätsmanagment, die Summative Evaluation der Erfolgsmessung, die Folge-Evaluation der Erfassung von Nutzungsänderungen, die Fortlaufende Evaluation der Überwachung des Einsatzes und die Zeitunabhängige Evaluation u.a. der Forschung und Eignungsprüfung.

     

     

  9. Aufforderung:

    Jede(r) sollte sich die Zeit nehmen, um die

    1. - (Selbst-) Evaluation verstärkt einzusetzen und um

      - Erfahrungen (auch negative) zu veröffentlichen.

        Beispiel Sack Reis, Karton und andere Lösungen wie Dach länger, kleineres Dach

Diskussion:
Es wurde angemerkt, dass es gefährlich für die Bewilligung weiterer Projekte sei, negative Erfahrungen zu publizieren.
Antwort im Nachhinein: Das ist richtig. Es spricht aber nichts gegen eine anonymisierte Veröffentlichung negativer Erfahrungen.

Eine umfassende Diskussion entfiel aus Zeitgründen.

Marc Jelitto, Lüneburg, 04.05.2001

 

Literatur:

Brilling, Oskar; Walter Leal Filho (1999): Umweltkommunikation. In: Brilling, Oskar; Eduard W. Kleber, Ed. Hand-Wörterbuch Umweltbildung. Baltsmannsweiler, Schneider Verlag Hohengehren. S. 266

Klein, H.-J. (1995): Die Rolle der Besucherforschung bei Medieneinsatz und interaktiven Ausstellungen. In: Museumskunde, 60, (1-3), 115-120.
Vortrag von 1994, Institut für Museumskunde, "Neue Medien im Museum", Bonn, 1.-2. Dezember 1994

Links:

Jelitto, Marc (1997): Die Entwicklung einer Computeranwendung aus der Ausstellersicht
http://ausstellungsmediumcomputer.de/ma_marc/5Entwick.htm
-> Phasenkonzept zur Einführung von DV-Programmen

Linksammlung zum Thema Evaluation: http://www.evaluieren.de/infos/links.htm

© 2001, Marc Jelitto, marc@uni-lueneburg.de