A kampányidőszak végéhez érkezve Dunát lehetne rekeszteni politikai témájú közvélemény-kutatások – gyakran igencsak eltérő – eredményeivel. Már csak párat kell aludnunk és végre megtudjuk, hogy melyik intézet saccolta meg legjobban a főpolgármester-jelöltek támogatottságát. Közben egyre többen kérdőjelezik meg az egyes intézetek vizsgálatainak eredményeit, egyesek csalást, személyi összefonódásokat, véleménymanipulálást vélnek felfedezni az adatok mögött, mások nyílt fenyegetőzésbe kezdtek a szoros kutatási eredmények láttán.

Pedig a közvélemény-kutatások – politikai témákon túl – olyan fontos kérdésekre igyekeznek választ adni, mint a társadalomban bekövetkezett változások, társadalmi elégedettség. Használják attitűdmérésekre, kiváló lehet új márkák, koncepciók (pl. városrendezés) tesztelésekor, sőt újabban – és ebben sajnos Magyarország élen jár – vélemény manipulálásra is alkalmazható.

A közvéleménykutató cégek hagyományosan személyes úton (önkitöltős formában) papíron vagy digitális eszközökön, kérdezőbiztossal vagy anélkül, online platformokon, telefonhíváson keresztül rögzítik a mintába került személyek válaszait, melyekből olyan következtetéseket igyekeznek levonni, amelyek a vizsgált csoport tagjaira (alapsokaság) érvényesek. Újabban egyre inkább teret hódítanak az online térben futó, applikációkon megjelenő adatfelvételi módszerek is.

Pár nappal vasárnap előtt egy dolog biztos: a különböző kutatóintézetek által közzétett számok még a szokásosnál és nagyobb eltéréseket mutatnak.

A grafikonról jól leolvashatóak az eltérések. Míg a Századvég 8, a Nézőpont 13 (!), addig a Republikon Intézet, a Medián 1-2 vagy a Publicus 0 százalékpontos különbséget mért 2019. szeptemberében és kora októberében a két esélyesnek tartott jelölt között. Míg egyes intézetek (Závecz, Publicus) méréseikben azt rögzítik, hogy Karácsony Gergely hétről hétre fokozatosan dolgozta le a hátrányát, sőt a Publicus szerint az utolsó pár napra beérte Tarlóst, addig más intézetek (Nézőpont, Századvég) ennek a szöges ellentétét állítják, Tarlós előnye apad ugyan, de továbbra is utcahosszal és biztosan vezet kihívói, így Karácsony előtt is.

Miből adódhatnak az eltérések?

Elemzők, újságírók hajlamosak úgy vélekedni, hogy egyes intézetek valamelyik oldal zsebében vannak, melyek  – politikai lojalitásból – konzekvensen felülmérik egyik vagy másik jelöltet, mások amellett teszik le a garast, hogy a pártok (vagy a hozzájuk köthető média felületek) kényük-kedvük szerint addig csűrik-csavarják a kutatóintézetek által készített adatsort, amíg olyan eredményt nem hoznak ki, mely a saját szájuk ízének a legjobban megfelel.

De vajon hol az igazság? Miből adódhatnak az itt tapasztalt hatalmas különbségek? A következőkben röviden arra próbálok rámutatni, hogy az ellentmondásos kutatási eredmények közötti különbségeket milyen apró – elsősorban az adatfelvételből származó – kutatási módszerbeli eltérések okozhatják.

Összegyűjtöttem egy táblázatban az egyes kutatóintézetek által publikált – legfrissebb – kutatási eredményeket. Fontos, az itt bemutatott adatok a részvételüket biztosra ígérő, biztos szavazók közötti arányokat mutatja be, Tarlós és Karácsony támogatottságán. (Korrekció 10.12.: Kivéve a Republikon eredményei, ez a teljes népességre értendő.)

Ahogy a táblázaton látható, az egyes kutatóintézetek egészen más számokkal rukkoltak elő az elmúlt pár hét során.

Ennek számos oka lehet. Az egyik éppen az adatfelvétel dátumából következhet. Szakmai körökben egyetértés van abban, hogy olyan adatsorokat érdemes egymással összevetni, melyek lekérdezése hasonló időben történt. Tehát minél több idő telik el az adatfelvételek között, annál kevésbé hasonlíthatók össze a kutatási eredmények. Hogy ennek mi az oka? Millió olyan közbejövő változó (pl. korrupciós botrányok) léphet be különböző intézetek által készített adatfelvételek között, melyek a jelöltek, pártok megítélését gyökeresen megváltoztathatják.

Ugyan a Republikon időben közel, 2019. szeptember 27-én, publikálta adatsorát, az intézet által végzett adatfelvétel ideje szeptember elején volt, vagyis adatsoruk nem olyan friss, mint pl. az Iránytűé vagy a Publicusé, mely szeptember végén és október hónap elején végezte kutatását. A két intézet adatfelvétele már a mindkét esélyes jelöltet megtépázó események (Tarlós megafonos esete, Karácsony kiszivárgott beszélgetése) után készült. A Republikon adatait – ha csak az időbéli dimenziót vesszük figyelembe – tehát sokkal érdemesebb a Závecz adataival összehasonlítani.

Igen ám, de eltérések adódhatnak más körülményekből is. A két szóban forgó kutatócég által publikált adatok közötti eltérések az adatfelvételhez alkalmazott módszerből is adódhatnak. Míg a Republikon online kérdőívet használt, addig a Závecz telefonos lekérdezést alkalmazott, mely a kapott eredményeken is megmutatkozhat. Egyáltalán nem mindegy ugyanis, hogy milyen platformon vesszük fel az adatokat. Ahogy közeledünk a kampány vége felé, úgy egyre inkább megszaporod(hat)nak a telefonon végzett közvélemény-kutatások, melyek hátterében mindenekelőtt a gyorsaság és az olcsóság áll. Feltehetőleg pontosan ezért használta ezt az adatfelvételi módszert négy – itt felsorolt – intézet is.

A telefonos adatfelvétel egyik problémája éppen az, hogy nem tudjuk pontosan kiket, mikor és kik hívnak fel. De haladjunk sorban.

Vajon a mintába egyaránt bekerülnek a mobiltelefont használók és/ vagy a vezetékes telefonnal rendelkezők is, vagy esetleg valamelyik csoport kimarad? Elképzelhető lenne, hogy a több telefonszámmal rendelkezőket mindegyik számán felkeresik? És mi a helyzet a céges, állami szférához tartozó intézetek telefonszámaival: ezek is szerepelnek az adatbázisokban? Apropó, ha már telefonhívások: vajon milyen napszakban keresnek leginkább a közvéleménykutatók? Munkaidőben, vagy azon túl is? Vajon az aktív korúak ugyanúgy felveszik a telefont délután kettőkor és hajlandóak 5-10 percet arra szánni, hogy végigérjenek a kérdéssoron, mint azok, akik lazább napirenddel (pl. tanulók, nyugdíjasok) bírnak?

És akkor még meg sem említettük a vonal másik oldalán ülőt, a kérdezőbiztost. Vajon személyiségük és jellemzőik (pl. hangszín, a beszéd gyorsasága/ tagoltsága) hogyan hat a válaszadókra? Elképzelhető ugyanis, hogy egy unott, modortalan hangra nem szívesen válaszolunk, vagy hogy egy türelmes kérdezőbiztos hangja bizalmat kelt bennünk és szívesen szakítunk rá pár percet a napunkból. A kérdezést legtöbbször call center központokból végzik, ahol a kérdezőbiztosok (idő és pénz híján) nem kapják meg a megfelelő felkészítést (pl. a kérdéssoron kívül semmit nem tudnak a kutatásról), mely egy kérdezési szituációban problémákat okozhat.

És akkor az elutasítási arányokról még nem is beszéltünk. Napjainkban Budapesten egy 800 fős minta lekérdezése esetén akár 3 ezer (!) telefonhívást is meg kell ejteni, vagyis a válaszmegtagadási arány sokkal magasabb, mint amit kutatócégek rendszeresen közölnek. Ez azért is vet fel problémákat, mert nem tudjuk pontosan, hogy azon személyek, akik pl. nem válaszolnak a telefonhívásokra, miért teszik azt, és hogy az ő véleményük egyezik-e a helyettük bekerült kvóta személyek preferenciáival, vagy sem. A telefonos adatfelvételekből származó kutatási eredmények leginkább gyorselemzések esetén alkalmazhatóak, az ilyen adatfelvételekből származó adatokat óvatosan érdemes kezelni.

Vajon megbízhatóbbak-e az online felmérésből származó adatok?

Az online kutatások legnagyobb hátránya, hogy legtöbbször olyan külső – adatfelvételre szakosodott – cégek végzik, melyek ugyanazon a sokszázezer e-mail címet tartalmazó mintán dolgoznak, hosszú évek óta. Az e-mail címünk (funkciója) változhat, elévülhet, inaktívvá válhat, de egyszerűen az is elképzelhető, hogy a megkérdezettnek egyszerre több címe van, melyek közül azt pont nem nézi, ahova a kutatási kérdéssor érkezik.

Arról nem is beszélve, hogy a kiküldött kérdőívek akarva-akaratlanul keveredhetnek a promóciós/ spam-ládákba, így hiába kapja meg a mintába került személy és venne is részt adott esetben vizsgálatban, mivel nem biztos, hogy látja az invitációt és a kérdőívet, könnyen kieshet a mintából. Az online kérdőívezés legnagyobb hátránya, hogy az egyszerű véletlen mintavétel szabályai (röviden: mindenki ugyanakkora eséllyel kerülhet be a mintába) könnyen sérülhetnek. Azoknak a társadalmi csoportoknak (pl. idősebb korosztály, hajléktalanok), akiknek adott esetben nincs internethozzáférésük és/ vagy e-mail címük, eleve be sem kerülhetnek a kutatóintézet mintájába. Persze, mint mindent, utólagos súlyozással ez is korrigálható, ez mégis a technika egy nagy – kiküszöbölhetetlen – hibája.

Az online kérdőívezés (melyet a Republikon és a Medián is használt) előnye, hogy gyorsabb és talán olcsóbb, mint a telefonon végzett lekérdezés. Nincs kérdezőbiztosi hatás, így elvileg a válaszok megbízhatósága is pontosabb lehet, a monitor előtt egyedül őszintébben válaszoljuk meg a pártpreferenciára vonatkozó kérdéseket, mint egy kérdezőbiztos jelenlétében. De az is lehet, hogy az 5. – egyformának tűnő – kérdés után a válaszadó annyira megunja a kérdőívet, hogy fél perc alatt, olvasás nélkül, végigklikkeli a kérdéssort – mind a kettőre láttam már példát.

Az adatfelvételi technika talán legnagyobb problémája, meglátásom szerint, a kiszervezésből adódik. A kutatóintézetek az adatfelvételt más, adatfelvételre szakosodott cégekre bízzák, és a pár nappal, héttel később megkapott adathalmaz valódiságát nem tudják ellenőrizni. Így például az adatsort elemzőknek fogalmuk sincs arról, hogy az adat hogyan született meg. Vajon csak azért kattintotta egysíkúan végig a kérdezett a kérdéssort, mert a kitöltésért cserébe valamilyen jutalmat ígértek neki, vagy a kitöltő őszintén és aprólékosan válaszolta meg a kérdéseket? Erről csak találgathatunk.

A személyes adatfelvétel sem garancia

A kutatóintézetek közül egyedül a Medián az, amely a korábbi kutatásában személyes, szemtől szembeni adatfelvételi módszert alkalmazott. A megkérdezettek száma ekkor (korábbi szeptember végi adatfelvételükkor) a Medián esetében a legkevesebb 500 fő. De, mint tudjuk, nagyobb mintanagyság nem biztos, hogy jobb eredményekhez is vezet. A személyes adatfelvétel több kockázatot is hordoz magában. Ismételten problémás lehet a kérdezőbiztosok személye és felkészültségük. A személyesen, papíron és/ vagy mobilon/ tableten zajló kérdezéskor a kérdezőbiztos felteheti kérdéseket, válaszadás lehet önkitöltős, sőt vegyes formában is megtörténhet a kérdezés. Ez utóbbi kifejezetten azoknál a kérdéseknél lehet hasznos, melyek olyan érzékeny, sokszor eltitkolt témákra kérdeznek rá, mint amilyen a pártpreferencia is. A kérdezőbiztos ekkor a pártok felolvasása helyett pl. odaadhatja a kérdőívet a kérdezettnek, de akár szimulálhatja is a választási helyzetet egy választóiborítékkal átnyújtásával – mérsékelve, vagy teljesen kioltva a kérdőbiztosi hatást.

A technika ugyanakkor nem olcsó, az adatfelvételben részt vevő kérdezőket ki kell képezni, koordinátorokra és jól mozgatható kérdezőbiztosi hálózatra van szükség, mely nem mindig adott, ezért sokszor pl. a kérdezéshez nem sokat értő diákmunkásokkal végeztetik el az adatfelvételt az ezért felelős cégek. Pedig a kérdezőbiztosnak fegyelmezettnek kell lennie, aki nem avatkozik be a kérdezés folyamatába, nem befolyásolja a válaszadót érzéseivel, nem grimaszol a válaszok hallatán, nem segít a kérdések értelmezésében, pláne nem azoknak a megválaszolásában. További fontos adalék lehet, hogy a kérdezőbiztosoknak megnyerőknek kell lenniük, magas szociális intelligenciára van szükségük, empatikusan kell fellépniük, a kérdezett véleményére tilos reagálniuk.

Az adatfelvétel időpontja itt is kritikus pont: napközben végzett adatfelvétel esetén feltehetőleg az aktív réteg kevésbé lesz lakhelyén, mint az inaktívak, szabadabb beosztásban dolgozók. Ennek kiküszöbölésére többször visszamehet a kérdezőbiztos a megkapott házcímre, akár egy másik – a pótcímlistán – szereplő házba látogat el, vagy legrosszabb esetben – mivel a kérdezőbiztosok nem mindig és nem teljeskörűen ellenőrizhetőek – maga válaszolhatja meg a kérdőívben szereplő kérdéseket. A legutolsó lehetőség csupán elvétve fordul elő.

Ami a kérdőívek szerkezetét illeti, a kérdések sorrendjével, a megfogalmazással, a tényleges hosszal, a kérdésben szereplő kifejezések is okozhatnak torzítást a kapott válaszokban.

Példának okáért nézzük meg, ki hogyan kérdez rá a főpolgármester-jelöltek támogatására.

A legtöbb intézet röviden, lényegre törő módon kérdez. Az itt látott 5 intézetből négy esetében azt látjuk, hogy a megfogalmazott kérdésben van valamilyen utalás arra, hogy milyen pozícióért versenyeznek az aspiránsok. Kivéve a Nézőpont kérdésénél, mely több problémát is felvet. Egyrészt a kérdésből nem derül ki, hogy milyen pozícióért, hol „mérkőznek” meg a kérdésben szereplő személyek. További súlyos hiba, hogy a kérdést megfogalmazó az „amennyiben” szó beemelésével azt sugallja, hogy a Tarlós Istvánon kívüli három jelölt indulása egyáltalán nem lenne még biztos, így 2 héttel a választás előtt. Ráadásul a kérdés úgy van megszerkesztve, mintha a Tarlóson kívüli jelöltek egy platformon állnának szembe a jelenleg regnáló főpolgármesterrel.

Felvetődik a kérdés, vajon a kérdést megfogalmazó miért nem a másik három jelöltet helyezte a mondat első felébe, és miért pont Tarlós neve került oda? A Nézőponton kívül egyébként a másik 4 kutatóintézet a klasszikusnak mondható „Ha most vasárnap lennének a választások…” típusú kérdést tette fel, mely hosszú évtizedes múltra tekint vissza a magyar és nemzetközi közvélemény-kutatásokban.

Amiről még nem szóltunk, de a válaszadási hajlandóságra és így az adatok minőségére és végső soron az eredményekre is kihat, az az intézetek reputációja, vagyis a szakmai hírneve. Többek között ezért sem szerencsés, hogy a vetélytársak egymás munkáiról, érdemi vita helyett, lebecsmérlően nyilatkoznak. Hiszen gondoljunk csak bele, ha valaki lépten-nyomon azt kommunikálja, hogy versenytársa egyik, vagy másik oldalhoz tartozik, úgy egy éles kérdezési helyzetben a válaszadók lehet, hogy pontosan ezért tagadják meg a válaszadást, vagy válaszolnak úgy a pártpreferenciával kapcsolatos kérdésekre, amit szerinte a kérdezőbiztos –feltételezett politikai kötődése miatt – elvár.  A kisebb társadalmi beágyazottsággal bíró és/ vagy újabb intézetek kérdéssoraira nem biztos, hogy ugyanakkora kedvvel és bizalommal válaszolnak a megkérdezettek, mint azon versenytársaikéra, akik 20-30 éves múltra tekintenek vissza a politikai közvélemény-kutatás területén, pláne nem akkor, amikor a kis intézeteket konzekvenszen a balliberális oldalhoz sorolják a jobboldali elemzők, vagy éppen fordítva. (Sajnos mindkettőre láttunk már példát.)

George Gallup 1930-as évekbeli kutatásai óta tudjuk, hogy egy minta egyes változók mentén lehet csak reprezentatív. Egy minta akkor reprezentálja azt az alapsokaságot (pl. Budapest lakossága), ha a minta összesített jellemzői, a reprezentativitás dimenziói (pl. nem, életkor, iskolai végzettség, településtípus) jól közelítik a sokaság ugyanezen összesített jellemzőit. Az első táblázatban idézett kutatócégek valamennyi dimenzió szerint jól reprezentálják Budapest lakosságát, kivéve a Nézőpontot, mely településtípus (vagyis kerületi bontás) szerint nem reprezentatív a főváros lakosságára nézve. Vagyis könnyen elképzelhető, hogy a hagyományosan jobboldalibb kerületekből többen kerültek be a mintájukba, mint amennyi a fővároson belüli arányszámuk. Ez akár torzításokhoz is vezethet.

És akkor még nem is beszéltünk a mintavételből fakadó esetleges problémákról, pl. egyes csoportok rendszeres felül-, ill. alulbecslése, rossz mintaválasztás, egyes társadalmi csoportok szándékos kihagyása, lemorzsolódás, vagy a kérdések megszerkesztetlenségéből (pl.válaszkategóriák kidolgozatlansága, kérdések sorrendje, sugalmazó- és duplacsövű kérdések) adódó hibákról. Persze, az ilyen problémák elkerülésére a szakmájukhoz értő kutatók mind figyelnek.

Ahogy látható tehát, a közvéleménykutatók által publikált adatokat millió okból kifolyólag korlátozottan és csak fokozott óvatossággal érdemes kezelni. Ne felejtsük el, a társadalomkutatók az emberek véleményét egy adott kérdésről csak korlátozottan és csupán egy adott pillanatban képesek megismerni, mely már akár egy egyik napról a másikra gyökerestül is megváltozhat. Mégis, munkásságuk és létjogosultságuk megkérdőjelezhetetlen, az általuk kutatott eredmények fontos részét képezik a mindennapi közéleti diskurzusnak és fontos szerepet játszhatnak bizonyos társadalom- vagy gazdaságipolitikai döntések előkészítésében, meghozásában.