Automatisch durchgefallen

Maria Putzhuber — Thu, 17 Jul 2008 18:49:41 +0000

Web Accessibility will nicht Mainstream werden. Das zeigen einige EU-weit im großen Stil durchgeführte Vergleichsstudien von öffentlichen und privaten Websites der letzten Jahre. Die Ergebnisse sind durchwegs – nicht überraschend – eher traurig.
Nur ca. 4% der öffentlichen Websites Europas erfüllen automatisch testbare WCAG 1.0 Double-A Kriterien, nur ca. 4% der zentralen kommerziellen Websites gehen bei automatisch testbaren Single-A Kriterien durch.

Zur Abwechslung positiv betrachtet – es ist ja alles eine Frage der Interpretation – sind 2005 noch 70% aller öffentlichen Website Kandidaten automatisch komplett durchgefallen, 2008 waren es nur noch ca. 50%.

Egoistisch eingeschätzt bieten diese mindestens 50%, die in Österreich ja seit 1. 1. 2008 barrrierefrei programmiert sein müssten, es aber 100%ig nicht sind, immer noch ein erfreuliches Kundenpotential für Webagenturen mit Accessibility Know-How. Es lohnt sich für WebarbeiterInnen also immer noch, sich dieses Wissen endlich anzueignen.

Nachfolgend eine kurze Darstellung der vier umfassendsten Web Accessibility Studien der letzten Jahre. Die Infos stammen zu einem guten Teil aus einem Paper (Monitoring Accessibility of Governmental Web Sites in Europe), das von Annika Nietzio bei der diesjährigen ICCHP in Linz präsentiert wurde. Diese “International Conference on Computers Helping People with Special Needs” war recht spannend und horizonterweiternd, weils nicht nur um die kleine Webnische ging und weltweit ziemlich viele Leute ziemlich gute Arbeit leisten im weiten Feld Accessibility.

UK Cabinet Office, 2005

Die Studie “eAccessibility of Public Sector Services in the European Union” wurde 2005 während der EU Präsidentschaft Grossbritanniens in Auftrag gegeben. Sie enthielt eine Untersuchung der eAccessibility Strategien der 25 Mitgliedsländer und Analysen von 436 öffentlichen Websites mit automatischen Tests. 31 Websites wurden nachfolgend auch detailliert manuell auf WCAG 1.0 Konformität getestet.

4 Noten wurden vergeben:

Pass: 3% – WCAG 1.0 Level Single-A bestanden, dies inkludierte auch manuelle Tests, keine Website erreichte WCAG 1.0 AA Konformität
Limited Pass: 10% – Websites, die alle automatisch testbaren Level A Checkpunkte erfüllten
Marginal Fail: 17% – teilweise, bis zu einem gewissen Grad ok
Fail: 70% – durchgefallen

United Nations, 2006

2006 gabs eine von der UNO beauftragte Studie: “United Nations Global Audit of Web Accessibility“.
100 Websites aus 20 Ländern weltweit, davon eine von fünf pro Land aus dem öffentlichen Sektor, wurden evaluiert.
Aus Europa wurden Seiten aus Frankreich, Deutschland, Spanien und Grossbritannien getestet. Auch hier wurde mit einer Kombination aus automatischen und manuellen Tests geprüft, diesmal auf WCAG 1.0 Triple-A Konformität.
Nur 3% der Seiten, alles öffentliche Webauftritte aus Europa, erfüllten WCAG 1.0 Single-A.

MeAC, 2007

“Measuring progress of the Status of eAccessibility in Europe“, war ein von der Europäischen Kommission beauftragtes Evaluierungsprojekt, das in einer breitangelegten Studie resultierte “Assessment of the Status of eAccessibility in Europe“.

Telekommunikation, Fernsehen, Computer Hardware und Software, Selbst-Bedienungs-Systeme wie Bankomaten, Ticketautomaten etc, öffentliche und Unternehmens Websites wurden untersucht. Neben der Statusbestimmung wurden auch eine Untersuchung politischer Vorgaben und Strategien durchgeführt und Fragebögen an Stakeholder Gruppen verschickt.

Der eAccessibility Status in Europa wurde mit dem in den USA, in Kanada und Australien verglichen. Europa schneidet in den meisten Bereichen wesentlich und schockierend schlechter ab.
Nur Grossbritannien befindet sich in der selben Liga wie die 3 Vergleichsstaaten. In einem Scorecard System von wünschenswerten 5 erreichen sie ca. 3, die EU im Durchschnitt 1.

Für einzelne Länder, u.a. auch Österreich gibt es detaillierte Länderberichte. Österreich liegt unter EU Durchschnitt.

Einzig öffentliche Websites sind in Europa etwas besser als in Übersee. Österreich liegt auch hier etwas unter EU-Durchschnitt. Länder, die hier mehr als doppelt so gut abschneiden wie der EU-Durchschnitt sind Deutschland, Niederlande, Portugal, Italien, Tschechien und Grossbritannien. Bei den privaten Websites sind Grossbritannien, Dänemark, Tschechien und Italien am zugänglichsten. Aber weniger als 4% der getesteten Unternehmens Websites bestanden die automatisierten Tests.

314 Websites insgesamt wurden erfolgreich automatisiert und teils manuell getestet auf WCAG 1.0 Single-A, jeweils 25 Seiten pro Website. Die Einstufung entspricht der UK Cabinet Studie. Pass involvierte wieder manuelle Prüfung, Limited Pass heißt automatisch prüfbare Checkpunkte von WCAG 1.0 Single-A bestanden.

Schlüssel-Regierungs-Websites:

5,3% Pass
12,5% Limited Pass

Zentrale Unternehmens Websites (Bahn, Medien, Telekommunikation, Banken…):

0 % Pass
3,9 % Limited Pass

Besonders interessant an dieser Studie ist der breitere Fokus, der den Web Accessibility Status im richtigen Maßstab zu anderen Bereichen von eAccessiblity, die weniger öffentliche Aufmerksamkeit erhalten, darstellt.

EIAO, 2008

Das “European Internet Accessibility Observatory” war ein von der Europäischen Kommission kofinanzierte Evaluierungsprojekt nach dem Monitoring Verfahren UWEM (Unified Web Evaluation Methology). Diese Methode wurde EC finanziert von Accessibility Institutionen mehrerer europäischer Länder entwickelt. EIAO entwickelte die technische Basis für die Durchführung von automatisierten Accessibility Tests auf WCAG 1.0 Double-A in großem Stil.

Im März 2008 führte das EIAO eine Untersuchung von 2317 europäischen öffentlichen Websites durch. Der Schlussbericht liegt noch nicht online vor. Die hier angeführten etwas ungenauen Zahlen stammen aus dem Paper, das auf der ICCHP 2008 in Linz präsentiert wurde.

B+: ca. 4% (alle automatisierten Tests für WCAG 1.0 Double-A bestanden, entspricht Limited Pass)
B: ca. 46% (entspricht Marginal Fail)
C, D, E: ca. 50% (entspricht Fail)

Die geringere Anzahl von B+ / Limited Pass in der EIAO Studie (4%) verglichen mit der MeAc Studie (12,5) resultiert daraus, dass auf WCAG 1.0 Double-A geprüft wurde, auch das geprüfte Seiten-Sample war weit größer. Insgesamt ist aber doch ein positiver Trend festzustellen.

Bis zu 6000 Seiten einer Website wurden erfasst, davon wurde ein Zufallssample von 600 Seiten automatisiert geprüft mit den 26 Tests, die laut UWEM automatisiert möglich sind. Ergebnis ist der UWEM Accessibility Score, ein 5 Stufen-System, das sich aus der Prozentzahl an nicht bestandenen Tests pro Seite errechnet. A ist die beste Score Card Kategorie von UWEM (erfordert auch manuelle Tests, diese werden von EIAO nicht durchgeführt), E ist die schlechteste. Reports gibt es in Textform und in der maschinenlesbaren Evaluierungssprache EARL.

Der Sinn von automatischen Testverfahren

Man kann die Sinnhaftigkeit dieses Erbsenzählens im großen Ausmaß natürlich hinterfragen. Wem nützt es, wenn allmonatlich das gleiche Verfahren durchgeführt wird und sich über die Jahre die zu erwartenden kleinen Prozentverschiebungen zum Positiven abzeichnen?

Vorteile des rein automatisierten Testens sind die Vergleichbarkeit großer Datenmengen und die leichte und billige Wiederholbarkeit von Tests. Nachteil ist die begrenzte Aussagekraft: Checkpunkte, die manuelle Experten Evaluierung benötigen, werden nicht erfasst, Inhalt, der vorherige User Interaktion erfordert, wie Flash oder JavaScript Content, kann nicht überprüft werden. Die Fachleute von EIAO sehen die automatisierten Tests deshalb auch als wertvolle Zusatz Information zu qualitativen eAccessibility Untersuchungen, nicht als deren vollwertigen Ersatz. Interessant sind die Zahlen allemal.
Das Projekt ist Anfang 2008 ausgelaufen, ob es die geplanten EU-weiten Folgetests und die Migration auf WCAG 2.0 gibt, war online nicht herauszufinden. Ein norwegisches Folgeprojekt wird auf der EIAO Seite angekündigt.