آنچه که نیویورک تایمز انجام داد

ماجرای یک نظرسنجی آنلاین

در اوایل مرداد ماه امسال (جولای ۲۰۱۴)، یک نظرسنجی مشترک توسط «نیویورک تایمز» (وب سایت آپ شات)، شبکه تلویزیونی CBS آمریکا و موسسه نظرسنجی «یوگاو» (YouGOV) منتشر شد و مطابق نتایج این نظرسنجی، شانس پیروزی جمهوری خواهان در انتخابات ماه نوامبر امسال (آبان ماه) در انتخابات سنا، بیشتر از دموکرات‏ها برآورد گردید (۵۱ درصد به ۴۹ درصد).
در این نظرسنجی بیشتر از ۱۰۰ هزار نفر به صورت آن‏لاین مورد سئوال قرار گرفته بودند و نمونه‏ها هم شامل تمام حوزه‏های رای گیری انتخابات مجلس نمایندگان و مجلس سنا بود. نتایج، سپس با روند آرای گذشته در هر منطقه مقایسه شد؛ با استفاده از مدل‏سازی‏های کامپیوتری، تمام حالت‏های ممکن برای پیروزی یا شکست کاندیداها در هر منطقه بدست آمد و در نهایت برای هر کدام از این حالت‏های ممکن، یک احتمال تحقق آن نیز محاسبه گردید.
نمونه‏های آن‏لاین
اما آنچه که این نظرسنجی را با حرف و حدیث و مناقشه بسیار روبه‏رو کرد همین انتخاب نمونه‏های آن‏لاین بود. یعنی استفاده از یک پنل ۱۰۰ هزار نفری از پاسخ دهندگان و بررسی نتایج حاصل از مصاحبه با آنها در دوره‏های زمانی مختلف، و بدست آوردن تفاوت‏های موجود در پاسخ‏های آنان در مقایسه با یکدیگر و در مقایسه با هم در این دوره‏های زمانی.
طرفداران این روش به آمار بالای افرادی که به سئوالات تلفنی جواب نمی‏دهند استناد می‏کنند (نرخ عدم پاسخ یا همان Drop Rate در برخی از نظرسنجی‏های با ماشین‏های خودکار حتی تا ۹۰ درصد است. در ایران این رقم در نظرسنجی‏های تلفنی و با پرسشگر به صورت متوسط ۷۵ درصد است). به اعتقاد آنان، نرخ بالای عدم پاسخ، نمایا بودن نمونه‏ها را با چالش مواجه می‏کند چون کسانی که به سئوالات جواب نمی‏دهند خود می‏توانند بخشی از پاسخ دهندگان باشند که دلایل این پاسخ ندادن مشخص نیست. برخی دوست ندارند تلفنی مصاحبه کنند، یا از جواب دادن به ماشین‏های خودکار اجتناب می‏کنند؛ برخی مشغول کار و فعالیت روزانه هستند و فرصت این کار را ندارند؛ برخی هم به دلایل دیگر مانند دلایل سیاسی علاقه ای به پاسخ دادن ندارند. به هر هر حال هر کدام از این دلایل و البته دلایل دیگر اگر درست باشند، در نهایت تعمیم پذیری نمونه‏ها را با مشکل مواجه می‏سازند. قسمت بزرگی از این افراد هم جوانان هستند که بیشتر از آنکه با تلفن مانوس باشند ترجیح می‏دهند در فضاهای آن‏لاین و شبکه‏های اجتماعی نظرات خود را بیان کنند. بنابراین در بسیاری اوقات تفاوت آرا از نمونه‏های به ظاهر تصادفی گوناگون می‏تواند بیشتر از آنکه ناشی از تغییر نظر افکار عمومی باشد، از تفاوت‏های تکنیکی در برآورد نظر پاسخ دهندگان ناشی شود.
منتقدان نظرسنجی‏های آن‏لاین چه می‏گویند؟
با اینحال اما مشکل نمونه نمایا (یعنی نمونه ای که پاسخ آن با درصد خطای مشخصی بیانگر پاسخ کل جمعیت است؛ یعنی یک نمونه مثلا ۱۰۰۰ نفری که با روش‏های آماری می‏تواند نظر یک جمعیت ۷۰ میلیون نفری را مشخص سازد) هنوز برقرار است و استفاده از نمونه‏های غیرنمایا، کل اساس تئوریک نظرسنجی‏ها را با چالش مواجه می‏سازد. ضریب نفوذ اینترنت در آمریکا ۸۱ درصد است و وقتی شما از نمونه‏های آن‏لاین استفاده می‏کنید یعنی نمونه شما از ۸۱ درصد جمعیت آماری تان بدست می‏آید و ۱۹ درصد دیگر که از اینترنت استفاده نمی‏کنند شانس این را که نماینده ای در نمونه شما داشته باشند ندارند و در نتیجه شما نظر آنها را نپرسیده اید.
برای حل این مشکل در نظرسنجی مشترک ‏نیویورک تایمز‏ (وب سایت آپ شات)، شبکه تلویزیونی ‏‏CBS آمریکا و موسسه نظرسنجی ‏یوگاو‏ (YouGOV)، گفته شده است که نمونه‏ها در این پنل ۱۰۰ هزار نفری بر اساس دموگرافی جمعیت که توسط موسسه ملی سرشماری در آمریکا بدست می‏آید وزن دهنی می‏شوند تا مشکل عدم نمایا بودن نمونه‏ها کمتر شود. اما به هر حال در اولین پرسش هنوز این سئوال بی‏جواب است که چگونه پاسخ‏های نمونه ای که نمایا نیست و تمام جمعیت را شامل نمی‏شود می‏تواند قابل تعمیم باشد.
به همین یک دلیل مهم هم است که این نظرسنجی مورد انتقاد وسیع قرار می‏گیرد. ‏اسکات کلمنت‏، نظرسنج روزنامه ‏واشنگتن پست‏ در صفحه توییتر خود، ‏نیویورک تایمز‏ و ‏‏CBS را متهم می‏کند که سال‏ها تلاش برای رسیدن به روش‏های تحقیق درست را نادیده گرفته‏اند. ‏اسکات کتر‏، مدیر موسسه نظرسنجی پیو، کمی محتاطانه تر برخورد می‏کند. او می‏گوید که این روش نظرسنجی می‏تواند مناقشه‏های زیادی را برانگیزد و تاکنون هم هیچ کدام از موسسه‏های اصلی و بزرگ خبری از چنین روشی استفاده نکرده اند. اما به دلیل اینکه ‏نیویورک تایمز‏ و ‏‏CBS، شهرت خوبی در شفافیت روش‏ها و کارهای خود دارند امیدواز است که در مورد متدولوژی کار خود بیشتر توضیح دهند.
اما یکی از مهمترین این انتقادها توسط موسسه آمریکایی بررسی افکار عمومی (AAPOR) انجام می‏شود که اعتقاد دارد این روش به دلیل عدم اثبات تئوریک استفاده از نمونه‏های غیر نمایا قابل تعمیم و استناد نیست. این موسسه، ‏نیویورک تایمز‏ را به دلیل آنکه اصول استاندارد خود را برای استناد به نظرسنجی‏ها تغییر داده و حتی بخشی از سند مرتبط در مورد چگونگی استناد به نظرسنجی‏ها را با واژه‏های دیگری عوض کرده است مورد انتقاد قرار می‏دهد. هرچند ‏نیویورک تایمز‏ در پاسخ مدعی می‏شود که نتایج این نظرسنجی با نمونه‏های غیر نمایا تنها توسط وب سایت آپ شات (http://www.nytimes.com/upshot) که وب سایت بررسی و تحلیل داده‏های ‏نیویورک تایمز‏ است مورد استفاده قرار می‏گیرد و ‏نیویورک تایمز‏ برای استناد به نظرسنجی‏ها در سایر بخش‏ها و همچنین برای انجام نظرسنجی‏هایی که توسط خودش انجام می‏شود کماکان از روش‏های پیشین نظرسنجی استفاده می‏کند.
طرفداران نظرسنجی‏های آن‏لاین چگونه توجیه می‏کنند؟
در روی دیگر میدان، ‏موسسه‏ هافینگتون پست‏ می‏گوید که از این روش نظرسنجی چندان متعحب نشده است. ‏داگ ریورز‏، مدیر ارشد نوآوری‏های در ‏یوگاو‏ از جمله بنیانگذاران وب سایت بررسی نظرسنجی‏های ‏هافینگتون پست‏ است. او می‏گوید: آنچه که ‏نیویورک تایمز‏ در بیان دلیل همکاری مشترک خود با ‏یوگاو‏ می‏گوید دقیقا مطابق با آن چیزی است که باعث شد از دو سال پیش ‏هافینگتن پست‏ با ‏یوگاو‏ به صورت مشترک همکاری کند.
به تعبیر طرفداران این گونه نظرسنجی‏ها و از جمله همکاران آنها در ‏هافینگتن پست‏، تمام موسسه‏های افکارسنجی، چه آنها که از نمونه‏های تصادفی استفاده می‏کنند و چه آنها که از نمونه‏های تصادفی به روش‏های سنتی استفاده نمی‏کنند، در بدست آوردن داده‏های اولیه و خام با مشکل و سوگیری مواجه هستند و همه آنها سعی دارند خطای حاصل از این سوگیری را با وزن دهی به نمونه‏ها کاهش دهند. در نظرسنجی‏های آن‏لاین به شیوه ای که توضیح داده شد یعنی پنل ۱۰۰ هزار نفری از پاسخ دهندگان، موسسه ‏یوگاو‏ راه‏هایی را برای کاهش خطای سوگیری خود به کار می‏برد. از جمله اینکه بسیاری از پاسخ دهندگان در طول زمان مورد تحلیل قرار می‏گیرند که این کار باعث می‏شود متغیرهای جدیدی مانند سابقه رای دادن آنها بدست آید و توسط وزن دهی، خطاهای ممکن کاهش یابد. در جریان رقابت‏های ریاست جمهوری سال ۲۰۱۲، ‏یوگاو‏ توسط این شیوه نظرسنجی، با تغییرپذیری کمتری نسبت به بسیاری از نظرسنجی‏های دیگر مواجه بود و نتایج نظرسنجی آخر آن قبل از انتخابات همسطح یا بهتر از سایر موسسه‏های نظرسنجی هم بود.
برای صحت نتایج اینگونه نظرسنجی‏های آن‏لاین، ‏پیتر کلنر‏، مدیر موسسه ‏یوگاو‏ به نتایج حاصل از نظرسنجی‏های موسسه خود در سال ۲۰۱۲ و روش‏های متفاوت وزن دهی اشاره می‏کند. او از مناظره اول میت رامنی و باراک اوباما (که طی آن اوباما به شدت ضعیف ظاهر شد) مثال می‏آورد و می‏گوید نتایج حاصل از نظرسنجی‏های تلفنی و نظرسنجی‏های آن‏لاین که بر اساس مشخصه‏های دموگرافیک وزن دهی شده بودند با یکدیگر شباهت داشتند و هر دو از تغییر نظر مردم از سوی اوباما به میت رامنی حکایت می‏کردند. اما هنگامی که پاسخ دهندگان بر این اساس که در سال ۲۰۰۸ به چه کسی رای داده اند و یا اینکه خود را لیبرال، میانه رو (Moderate) و یا محافظه کار (Conservative) می‏دانند، مورد وزن دهی قرار گرفتند، مشخص می‏شد که اوباما به مقداری کمی حمایت خودش را از دست داده است.
با تحقیق بیشتر در مورد کسانی که به صورت مدام مورد نظرسنجی قرار گرفتند، مشخص می‏شود که تعداد کمی رای خود را تغییر داده اند. با اینحال برای چند روز طرفداران میت رامنی اشتیاق بیشتری برای پاسخ به سئوالات نظرسنجی داشتند و طرفداران باراک اوباما از خودشان کمتر اشتیاق و علاقه برای پاسخ به سئوالات نشان می‏دادند. ‏پیتر کلنر‏ سپس ضمن دفاع از نظرسنجی‏های آن‏لاین می‏گوید که در حالی که نظرسنجی‏های آن‏لاین ‏یوگاو‏ به ندرت بیانگر تغییر بود، نظرسنجی‏های تلفنی با تغییرات مقطعی در پاسخ‏ها مواجه می‏شد و این تغییرات تکنیکی به نادرست با عنوان تغییر قابل توجه در افکار عمومی تلقی می‏گردید.
مثالی از نظرسنجی با تلفیق نمونه‏های تلفنی و آن‏لاین
به صورت سنتی – لااقل در ایران – تا چند سال پیش پرسش گران به در خانه‏های مردم می‏رفتند و از طریق پرسشنامه حضوری، نظر آنها را می‏پرسیدند. این کار هزینه بسیار زیادی دارد و ‏وقت بر‏ هم هست. به همین دلیل اکثر موسسه‏های نظرسنجی در غرب – و برخی این روزها در ایران – از نظرسنجی تلفنی استفاده می‏کنند. اما تلفن این روزها، دیگر نقشی را که پیش از این ایفا می‏کرد بازی نمی‏کند. در آمریکا تقریبا ۳۰ درصد مردم دیگر از تلفن منزل استفاده نمی‏کنند. در حالی که پیش از این اکثر مردم، در منزل خودشان تلفن داشتند. (هرچند نظرسنجی تلفنی به دلیل اینکه در سال ۱۹۳۶ شامل اکثر مردم نمی‏شد هم با مشکل مواجه گردید). در عین حال در گذشته و به دلیل عدم وجود تکنولوژی‏هایی مانند Answering Machine احتمال اینکه افراد به سئوالات پاسخ بدهند به مراتب زیادتر بود. این کار باعث می‏شد انتخاب نمونه در محدوده‏های جغرافیایی و با توجه به سن و جنس و نژاد، آسان تر شود. اما امروز اکثر مردم از موبایل استفاده می‏کنند و پیش شماره‏های موبایل هم لزومن محل سکونت جغرافیایی یک فرد را مشخص نمی‏کند. از این رو، انتخاب نمونه حتما به سادگی قبل نیست (انتخاب نمونه‏های اشتباه یکی از دلایل پیش بینی نادرست پیروز انتخابات سال ۲۰۱۲ توسط موسسه گالوپ هم بود. گالوپ، میت رامنی را پیروز انتخاب پیش بینی کرده بود).
برای حل این مشکل است که نظرسنجی‏های آن‏لاین توسط برخی از موسسه نظرسنجی استفاده می‏شود اما همانگونه که در بالا توضیح دادم استفاده از نظرسنجی که کاملا آن‏لاین باشد با انتقادات خاص خودش رو به روست. به همین دلیل
Public Policy Polling، یک موسسه نظرسنجی نزدیک به دموکرات‏ها که بخش بزرگی از نظرسنجی‏های خود را توسط ماشین‏های خودکار انجام می‏دهد (این کار باعث کاهش فوق العاده هزینه‏های نظرسنجی‏ها می‏شود)، در ماه ژانویه سال ۲۰۱۴ (دی ماه ۱۳۹۲) گزارشی منتشر و اعلام کرد که از این به بعد ۲۰ درصد نمونه‏های خود را از طریق اینترنت مورد پرسش قرار می‏دهد.
نمونه‏های آن‏لاین در این نظرسنجی‏ها توسط Qualtrics، یک شرکت تحقیقات بازرگانی در ایالت یوتا آمریکا با تمرکز بر پیمایش از طریق موبایل، نمونه‏های آن‏لاین و …، انجام می‏شود. اما سئوال اینجاست که نمونه‏ها در چنین نظرسنجی اینترنتی چگونه بدست می‏آیند؟
Opt-in Panel‏ها چه هستند؟
شرکت‏های مختلف، آدرس ای میل یا تلفن گروه‏های مختلفی از مردم را اختیار دارند که اظهار تمایل کرده اند در نظرسنجی شرکت کنند. البته ممکن است به این افراد پول هم پرداخت شود یا مزایای ویژه ای بگیرند. به این روش Opt-in Panel گفته می‏شود. Public Policy Polling مدعی است که با این شیوه، نمونه‏هایی که متغیر ‏سن‏ را نمایاتر معرفی می‏کنند، بدست آورده است. این شیوه البته توسط موسسه‏های دیگر نظرسنجی معروف ازجمله موسسه راسموسن Rassmussen هم به کار می‏رود. این موسسه، ۱۰ تا ۲۰ درصد از نمونه‏های خود را به این شیوه انتخاب می‏کند. اما نظرسنجی از طریق انتخاب Opt-In Panel ایرادهایی هم دارد؛ از جمله اینکه اگر شما قرار باشد در یک محدوده مشخص آمار بگیرید ممکن است افرادی که در آن محدوده برای جواب دادن ثبت نام کرده باشند وجود نداشته باشد. به عنوان مثال می‏خواهید نظر رای دهندگان یک شهرستان را در خصوص انتخاب بین دو کاندیدا بدست آورید. اگر در این شهرستان به اندازه کافی نظردهنده داوطلب وجود نداشته باشد این روش جواب نمی‏دهد. پاسخی که به این انتقاد داده می‏شود این است که کسی که می‏خواهد آمار اینچنینی بدست آورد باید هزینه آن را هم بپردازد و آن وقت است که نوبت به نظرسنجی تلفنی می‏رسد، هرچند هزینه آن هم بیشتر است.
آیا اجماعی در روش‏های نظرسنجی وجود دارد؟
تمام اینها در هر حال حکایت از این دارند که چه موسسه‏های نظرسنجی از نمونه‏های آن‏لاین استفاده کنند که همه جمعیت را در بر نمی‏گیرد و چه از نمونه‏های تصادفی که ظاهرا مطابق تئوری‏های آماری نمایاتر هستند، صنعت نظرسنجی با مشکلات زیادی مواجه است. همانطور که گفتم امروز میزان کسانی که به سئوالات جواب نمی‏دهند و تلفن را قطع می‏کنند در آمریکا ۹۰ درصد است. این رقم در دهه نود میلادی ۶۵ درصد بود و تقریبا تمام موسسه‏های نظرسنجی برای نمایا کردن نمونه‏های خود از وزن دهی به متغیرها استفاده می‏کنند. با اینحال اگر فرض‏های این وزن دهی که مبتنی بر داده‏های پیشین اشتباه باشد، خود می‏تواند به نتایج غلط منجر شوند. یک تحقیق در مورد نتایج انتخابات سال ۲۰۱۲ هم نشان می‏دهد که متوسط خطا در نظرسنجی‏های آن‏لاین از نظرسنجی‏های تلفنی کمتر بوده است. اما در هر صورت این روزها نظر جامعی در خصوص اینکه کدام روش نظرسنجی معتبرتر است وجود ندارد و اختلاف‏ها در مورد آن زیاد است. به خصوص آنگه اگرچه گفته می‏شود که در انتخابات سال ۲۰۱۲ خطای نظرسنجی‏های آن‏لاین به صورت متوسط کمتر از نظرسنجی‏های تلفنی بوده اند اما این نکته هم باید در نظر گرفته شود که نظرسنجی‏های آن‏لاین در صورتی به نتایج درست منجر می‏شوند که روند آرای افرادی که در نظرسنجی در نظر گرفته نمی‏شوند با روند آرای افرادی که مورد نظرسنجی قرار می‏گیرند مشابه باشد، در غیر اینصورت می‏تواند واجد خطای زیادی هم باشد. به عنوان مثال در انتخابات ریاست جمهوری سال ۱۳۹۲ ایران، آمار حاصل از نتایج نظرسنجی‏های آن‏لاین و نتایج حاصل از نظرسنجی در شبکه‏های اجتماعی و نظرسنجی‏های تلفنی بر یکدیگر منطبق بودند، چون جمعیتی که در نظرسنجی‏های تلفنی منظور می‏شدند همگام با افرادی بودند که صرفا در نظرسنجی‏های آن‏لاین مورد پرسش قرار می‏گرفتند. این فرض اگرچه در سال ۹۲ درست بود اما در سال ۸۴ درست نبود و نتایج حاصل از نظرسنجی‏های آن‏لاین یا نظرسنجی در مناطق شهری با روستایی تفاوت می‏کرد. در سال ۹۲ اما شهرها و روستاها هم تقریبا به یک نسبت کاندیدای پیروز را انتخاب کرده بودند و به همین دلیل این دو بر یکدیگر منطبق بودند. به این دلایل است که به نظر می‏رسد انجام نظرسنجی‏های آن‏لاین و تلفنی به صورت همزمان، اگرچه هزینه بیشتری دارد اما می‏تواند امکان تحلیل را در آینده افزایش دهد. ضمن اینکه نقش Big Data و آمار حاصل از آرای شبکه‏های اجتماعی هم می‏توانند در بررسی این روند تاثیر گذار باشد.

منتشر شده در شماره سه سخن ما

ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.