How to switch! Ergeb­nisse eines Metho­den­ver­gleiches CATI vs. Online

punda_logo

Graue Wolken am CATI-​​Horizont

Seit langer Zeit ist die com­pu­ter­ge­stützte tele­fo­nische Befragung (CATI) auf Basis eines ran­do­mi­sierten Samples (z.B. ADM-​​Mastersample) die weithin aner­kannte Methode der Wahl, um bevöl­ke­rungs­re­prä­sen­tative Stich­proben zu erheben. Doch obwohl die Qua­lität solcher Stich­proben vielfach unter Beweis gestellt wurde und im Grundsatz nach wie vor außer Frage steht, ziehen graue Wolken am For­schungs­horizont auf. For­schung via Telefon kämpft zunehmend mit ernsten Schwie­rig­keiten. Die Teil­nah­me­be­reit­schaft der tele­fo­nisch erreich­baren Bevöl­kerung ist in den letzten Jahren massiv gesunken. Je nach Umfang des Inter­views erklärt sich im Schnitt nur noch jeder 3te bis 5te Proband bereit, sich inter­viewen zu lassen. Das treibt die Kosten in die Höhe und macht die Kal­ku­lation einer CATI-​​Studie riskant. Abge­sehen davon lassen sich auch metho­dische Zweifel nicht weg­dis­ku­tieren, wenn die Brut­to­aus­schöpfung bei rund einem Drittel liegt. Sind solche Erhe­bungen wirklich noch — im eigent­lichen Wort­sinne — reprä­sen­tativ für die gesamte Ziel­gruppe? Darüber hinaus ver­schiebt sich die tele­fo­nische Erreich­barkeit gerade in den jün­geren Ziel­gruppen zunehmend in Richtung Mobil­te­le­fonie. Der ADM hat darauf aktuell mit dem For­schungs­vor­haben „Dual Frame“ rea­giert — aber dieses Projekt steht gerade erst am Anfang. Und auch hier ist mit höheren Kosten zu rechnen, wenn der Anteil an mobilen Ruf­nummern im Sample steigt. Ganz davon abge­sehen, dass die situa­tio­nalen Bedin­gungen, unter denen Pro­banden mobil erreicht werden, ein Interview häufig nicht erlauben werden und dass die regionale Zuordnung der Tele­fon­nummern im Vorfeld schwierig bis unmöglich ist.

 

Par­allel zu dieser Ent­wicklung hat sich die Rekru­tierung von Pro­banden über Online-​​Panels als Erhe­bungsform eta­bliert. Die Zahl der online durch­ge­führten Inter­views hat letztes Jahr in Deutschland laut ADM erstmals die Zahl der tele­fo­nisch durch­ge­führten Inter­views über­stiegen. Dank zer­ti­fi­zierter Panel-​​Anbieter und der gestie­genen Erfahrung mit dieser Methode treten Bedenken hin­sichtlich der Qua­lität der Daten und der Ernst­haf­tigkeit, mit der Online-​​Panelisten an Befra­gungen teil­nehmen, immer mehr in den Hin­ter­grund. Hinzu kommt ein wach­sender Kos­ten­druck seitens der Auf­trag­geber von Markt­for­schung, der die Online-​​Methode ins­be­sondere in den Augen des Pro­cu­rement attraktiv erscheinen lässt.

 

Ad-​​hoc-​​Studien, meist mit spe­zi­ellen Ziel­gruppen, werden mitt­ler­weile sehr oft online durch­ge­führt. Zumindest wird im Vorfeld solcher Studien prak­tisch immer geprüft, ob die Ziel­gruppe online erreichbar ist (evtl. sogar, ob sie online besser erreichbar ist, als tele­fo­nisch). Dies ist häufig der Fall und der Wechsel zur Online-​​Methode fällt dann leicht. Das Ver­trauen in die Online-​​Forschung ist also gestiegen und so liegt es auf der Hand, zu fragen, ob und unter welchen Bedin­gungen auch kon­ti­nu­ier­liche Pro­jekte wie Mar­ken­mo­ni­to­rings oder Kom­mu­ni­ka­ti­ons­trackings, die bislang tele­fo­nisch erhoben wurden, online fort­ge­setzt werden können. Bei diesen Studien geht es nicht nur darum, ein­malig eine spe­zi­fische Frage zu beant­worten, sondern auch, über die Zeit ver­gleichbare und stabile Kenn­ziffern zu generieren.

 

Klarheit durch mul­ti­modale Studien?

Vor diesem Hin­ter­grund hatte SKOPOS Ende 2010 die Gele­genheit, für ein Unter­nehmen der Ener­gie­branche eine Studie durch­zu­führen, bei der par­allel Daten via CATI (ADM-​​Mastersample) und Online-​​Panel (Quo­ten­stich­probe, quo­tiert nach Alter und Geschlecht) erhoben wurden. Beim Online-​​Panel wurde auf das Opinion People Panel der ODC Ser­vices GmbH in München (zer­ti­fi­ziert nach ISO-​​Norm 26362) zurück gegriffen. Bei der Studie ging es — abge­sehen von inhalt­lichen Fragen — auch darum, die erhe­bungs­be­dingten Ver­zer­rungen besser beur­teilen zu können, um ein Gefühl dafür zu erhalten, ob dieses Tracking in Zukunft teil­weise oder ganz online durch­ge­führt werden kann. Die Ergeb­nisse — die wir hier mit Ein­wil­ligung unseres Auf­trag­gebers freund­li­cher­weise ver­öf­fent­lichen dürfen — sind in metho­di­scher Hin­sicht sehr spannend, wenn auch ein paar Fragen offen bleiben. Further research is needed — und auch geplant!

 

Ohne nach­träg­liche Gewichtung kommt keine Erhe­bungsform aus

In der Studie wurden jeweils rund 1.500 Per­sonen tele­fo­nisch und online befragt. Grund­ge­samtheit war die Wohn­be­völ­kerung im Ver­sor­gungs­gebiet des Unter­nehmens ab einem Alter von 18 Jahren. Schauen wir zunächst auf die Ver­teilung der Merkmale Alter und Geschlecht, deren Ver­teilung auch für die Grund­ge­samtheit bekannt ist (siehe Abbildung 1). Es zeigt sich, dass beide Stich­proben Ver­zer­rungen auf­weisen. Die Telefon-​​Stichprobe weist einen deutlich zu hohen Anteil an Frauen und älteren Per­sonen auf (trotz vieler Anwahl­ver­suche, Einsatz der Last-​​Birthday-​​Methode und Anrufen bis in die frühen Abend­stunden). In der Online-​​Stichprobe ist eine Vor­auswahl der Pro­banden über deren Stamm­daten möglich. Daher ist die Aus­steuerung nach Quoten hier ein­facher. Dennoch ist die hohe Alters­gruppe online unter­re­prä­sen­tiert. Per­sonen unter 40 Jahren sind überrepräsentiert.

Cati vs Online Abbildung 1

Cati vs Online Abbildung 1

Inter­essant ist auch ein Blick auf die Ver­teilung der Bil­dungs­va­riable. Diese wurde online nicht quo­tiert. Dennoch weicht die Ver­teilung nur gering­fügig von der Ver­teilung der Tele­fon­stich­probe ab. Haupt­schüler sind online zugunsten von Real­schülern leicht unterrepräsentiert.

 

Beide Stich­proben müssen also gewichtet werden, um Geschlecht und Alter struk­tur­gleich zur Grund­ge­samtheit bei der Aus­wertung der Daten zu berücksichtigen.

 

Wirft man einen Blick auf die Ver­teilung der eigenen Strom­an­bieter der Befragten (siehe Abbildung 2), fällt zunächst auf, dass der Anteil der Per­sonen, die vom Auf­trag­geber der Studie ihren Strom beziehen, in beiden Stich­proben fast iden­tisch aus­fällt. Der Markt­anteil des Auf­trag­gebers, der in der Rea­lität signi­fikant höher liegt, wird übrigens in beiden Stich­proben sys­te­ma­tisch unter­schätzt, was auch bei Studien in der Ver­gan­genheit die Regel war. Sys­te­ma­tische Unter­schiede sind bei Dis­countern zu erkennen. Online-​​Panelisten beziehen ihren Strom häu­figer von einem Dis­counter (z.B. Yello, TelDaFax, Flex­Strom, e-​​wie-​​einfach usw.). Diese Ver­zerrung lässt sich erklären über die höhere Internet-​​Affinität der Pane­listen, denn Discounter-​​Angebote werden primär online ver­trieben. Außerdem belegen solche Angebote in Online-​​Stromvergleichsportalen (z.B. verivox.de) die vor­deren Plätze. Die häu­figere Nutzung von Dis­countern als Strom­lie­fe­ranten bei Online-​​Befragten geht zu Lasten von Öko­strom– und sons­tigen Anbietern.

 

Cati vs Online Abbildung 2

Cati vs Online Abbildung 2

Ver­zer­rungen bei Bekannt­heits­ab­fragen, Über­ein­stimmung bei Bewertungen

Typische Fragen in Trackings oder Moni­to­rings sind Fragen nach der Bekanntheit ver­schie­dener Kom­mu­ni­ka­ti­ons­maß­nahmen oder Kon­takt­punkte. In der Regel werden diese Maß­nahmen bei Bekanntheit nach­folgend einer Bewertung unter­zogen. So auch in dieser Studie.

 

Es zeigen sich auf den ersten Blick deut­liche Unter­schiede bei der Bekanntheit ver­schie­dener Kon­takt­punkte (siehe Abbildung 3). So sind die tra­di­tio­nellen Aspekte der Kom­mu­ni­kation (Spon­soring, Werbung, PR/​Medienberichte) den tele­fo­nisch befragten Per­sonen deutlich häu­figer bekannt, als den online befragten.

 

Sobald es um kon­krete Berüh­rungs­punkte geht, wird dieses Bild jedoch dif­fe­ren­zierter. Die Website ist den Online-​​Panelisten geläu­figer (und wird auch deutlich häu­figer genutzt). Bei der tele­fo­ni­schen Beratung kehrt sich dieses Ver­hältnis erwar­tungs­gemäß um.

 

Unab­hängig von den Unter­schieden bei den Bekannt­heits­ab­fragen ergeben sich nur sehr geringe und nicht sub­stan­zielle Unter­schiede bei der Bewertung der ver­schie­denen Kontaktpunkte.

Cati vs Online Abbildung 3

Cati vs Online Abbildung 3

Eine andere Hypo­these ist, dass Per­sonen in einer per­sön­lichen Inter­view­si­tuation (CATI) eher dazu neigen, Zustimmung zu geben (um nicht als ahnungs­loser Mensch da zustehen). Das würde bedeuten, die Bekanntheit wird im Tele­fon­in­terview über­schätzt. Neben diesen eher metho­disch begrün­deten Effekten des Erhe­bungs­kanals könnte auch ein inhalt­liches Argument eine Rolle spielen: Online-​​Panelisten weisen ein anderes Medi­en­nut­zungs­ver­halten auf, als es in der übrigen Bevöl­kerung zu beob­achten ist. Sie nutzen neue/​digitale Medien deutlich inten­siver, was zu Lasten der Nutzung tra­di­tio­neller Medien geht. SKOPOS plant gemeinsam mit dem Auf­trag­geber dieser Studie eine Fol­ge­studie, um diesen Metho­den­ef­fekten weiter auf den Grund zu gehen.Abgesehen davon kann aber fest­ge­halten werden, dass die Bewertung der Kon­takt­punkte kon­sistent erfolgt.

 

Online-​​Panelisten ant­worten intern konsistenter

Neben dem Ver­gleich der Rand­ver­tei­lungen inter­es­sierte uns auch die interne Kon­sistenz der Daten. Dabei geht es um die Frage, ob Zusam­men­hänge zwi­schen ver­schie­denen Variablen unab­hängig von der Erhe­bungs­me­thode stabil sind. Hier können wir einen Effekt beob­achten, der typisch ist für selb­stad­mi­nis­trierte Befra­gungen: Das Ant­wort­ver­halten der Online-​​Panelisten ist intern kon­sis­tenter als das der tele­fo­nisch befragten Per­sonen. Das ist zu erkennen am durch­schnitt­lichen Niveau der kor­re­la­tiven Zusam­men­hänge, welches in der Online-​​Stichprobe (etwa 10%) höher liegt als in der Telefon-​​Stichprobe. Dieser Effekt ist ver­mutlich darauf zurück­zu­führen, dass die Online-​​Panelisten den Fra­ge­bogen selbst vor Augen haben und so ihre Ant­worten in Relation zuein­ander besser abstufen können.
Wie steht es nun um die Struktur der Zusam­men­hänge? Lassen sich online die gleichen struk­tu­rellen Zusam­men­hänge und Muster messen, die auch in der Tele­fon­stich­probe zu finden sind? Um diese Frage zu beant­worten, wurden Fak­to­ren­ana­lysen gerechnet (siehe Abbildung 4). Am Bei­spiel der Fak­tor­struktur einer Bat­terie von Image-​​Items zeigt sich, dass die Struk­turen tat­sächlich unab­hängig von der Erhe­bungsform stabil bleiben.

Zwar sind die Fak­tor­la­dungen in der Online-​​Stichprobe teil­weise etwas höher als in der Tele­fon­stich­probe (höhere interne Kon­sistenz, siehe oben!). Dennoch ergeben sich inhaltlich iden­tische Fak­toren. Kon­strukt­va­li­dität ist also gegeben, denn bei beiden Ver­fahren werden mit den gleichen Fragen auch die­selben inhalt­lichen Kon­strukte gemessen.

 

 

How to switch?

Manche Metho­diker mögen ein­wenden, wir ver­glichen hier Äpfel mit Birnen. In der Tat handelt es sich um den Ver­gleich einer (den strengen wis­sen­schaft­lichen Reprä­sen­ta­ti­vi­täts­kri­terien genü­genden) Zufalls­stich­probe mit einer (nach wis­sen­schaft­lichen Maß­stäben nicht reprä­sen­ta­tiven) Quo­ten­stich­probe. Vor dem Hin­ter­grund der zu Beginn geschil­derten Ent­wicklung der Tele­fon­markt­for­schung, die zunehmend schwie­riger wird, ergibt es jedoch keinen Sinn, sich auf einen dog­ma­ti­schen Stand­punkt zurück­zu­ziehen, sich nicht nach Alter­na­tiven umzu­sehen und auf das Ende aller For­schung zu warten … Wir ver­treten dagegen den Stand­punkt, dass es in Ordnung ist, neue Wege zu gehen, wenn dies mit Augenmaß geschieht. Die hier vor­ge­stellte Studie liefert Infor­ma­tionen über die Effekte, die bei einem Metho­den­wechsel zu erwarten sind und an welchen Stellen noch For­schungs­bedarf besteht.

 

Die Ergeb­nisse legen nahe, dass eine Umstellung von Tele­fon­in­ter­views auf Online-​​Interviews möglich sein kann, ohne gra­vie­rende Ein­bußen hin­sichtlich der Daten­qua­lität hin­zu­nehmen. Unab­hängig von diesen Ergeb­nissen sind aller­dings gene­relle Rah­men­be­din­gungen zu beachten. Ins­be­sondere ist sicher­zu­stellen, dass die Ziel­gruppe über­haupt aus­rei­chend im Online-​​Panel ver­treten ist. Wenn es sich um wie­der­keh­rende Befra­gungen handelt, ist mit dem Online-​​Panel-​​Anbieter auch zu dis­ku­tieren, ob das Panel aus­rei­chend groß ist, um nicht in jeder Welle die gleichen Per­sonen zu befragen.

 

Sofern die Rah­men­be­din­gungen gegeben sind, ist eine Vor­ge­hens­weise Schritt für Schritt zu empfehlen:

1.  Im ersten Schritt sollte eine Par­al­lel­studie online und tele­fo­nisch wie in diesem Bei­spiel durch­ge­führt werden. Diese Studie zeigt, an welchen Punkten Ver­zer­rungen zu erwarten sind und wo Ergeb­nisse deckungs­gleich ausfallen.

 

2.  Hin­sichtlich der Ver­zer­rungen ist zu über­legen, ob sich hier um Aspekte handelt, die mit der Internet-​​Affinität der Online-​​Panelisten kor­re­liert sind oder ob es sich eher um Effekte handelt, die auf stra­te­gi­sches Ant­wort­ver­halten zurück zu führen sind. Im ersten Fall ist zu über­legen, ob ein Bruch in der even­tuell geplanten Fort­schreibung einer Zeit­reihe akzep­tabel ist. Mit hoher Wahr­schein­lichkeit wird diese ein­malige Ver­schiebung des Niveaus in den wei­teren Wellen kon­stant bleiben. Falls stra­te­gi­sches Ant­wort­ver­halten ver­mutet wird, könnte eine modi­fi­zierte Abfra­geform wei­ter­helfen (z.B. nicht in der Form von Listen, sondern in Form ein­zelner Ja-​​Nein-​​Fragen). Ob dieser metho­dische Kniff tat­sächlich Wirkung erzielt, wird Gegen­stand wei­terer Studien sein.

 

3.  Sofern es das Budget erlaubt, wäre eine weitere zwei­gleisige Welle zu emp­fehlen. Damit könnten die Ver­än­de­rungen im Zeit­verlauf ana­ly­siert werden.

 

Wenn die Niveau­un­ter­schiede zwi­schen tele­fo­ni­scher Befragung und Online-​​Befragung einmal bekannt sind, spricht nur noch wenig dagegen, das Tracking online fortzusetzen.

 

Abdruck mit Geneh­migung von planung & analyse, Fach­zeit­schrift für Markt­for­schung.

Deut­scher Fach­verlag GmbH, Mainzer Land­strasse 251, 60326 Frankfurt am Main, Tel. +49(0)69 7595–2019, redaktion@planung-analyse.de, www.planung-analyse.de