博客首页|TW首页| 同事录|业界社区
2006-12-17

关于市场调查数据的一些思考


 


感谢各位的热烈讨论,无论是支持的还是反对的。


 


中国的教育制度中,缺乏对数据处理与数据分析方面的普及教育。我刚到国外留学的时候,给我留下最深刻印象的有两点。一点是所有硕、博士研究生在开学第一周(Orientation Week),都要重新学习一遍写作业的注意事项(本地学生其实在大学教育的时候都学习过),其中最重要的是如何在作业中引用别人的观点、事实或数据,譬如什么情况下不能间接引用而需要直接引用、引用的时候如何规范化地注明出处、是否需要知会原作者、引用长度不得超过多少、超过多少就有抄袭或剽窃的嫌疑等等。我问过我的一些朋友和同事,他们说无论是大学还是研究生阶段,中国的大多数大学或研究院所都没有这样的培训或指引。


 


给我留下深刻印象的第二点是,第一学期学的全是Foundation课程,即所有学生不分文理不管研究方向都是必修的基础课程。基础课程中有一门Data Processing and Analysis,讲授的是有关数据解读、数据处理与分析的基本知识。学习这门课只需要有中学时期学到的数学概念即可,但是学生修完这门课程后,对数据就应该有相当的辨识能力,更重要的一点是能够增进数学思维——用数学语言进行思考的能力。


 


考过GREGMAT的人大多都知道,中国学生的数学平均水平高于美国、英国、加拿大和澳洲国家的本地学生,尽管那些本地学生中不乏一些数学尖子。非常令人遗憾的是,中国的基础数学教育没有把理论与实际更好地结合起来,因此数学语言在逻辑、论辩当中的应用非常苍白。中国人感性思考大于理性思考,我觉得这也是原因之一。中国大学生的毕业论文洋洋洒洒几万、十几万字,可以没有插进一张图表;而在国外,学生写的无论是作业还是论文,三页内见不到一张图表,教授就可能拒绝批阅。


 


这些年来,数据在中国开始变得比以前流行起来了。记者的报道,评论家的评论,专家的观点,都比较经常地开始引用数据。这是一个好现象,但还不够好。因为大多数人引用数据的时候,他们并不哪怕花上一点点的时间,了解这个数据的确切来源和获得这个数据的方法。我们做的调查报告发布后,国外的媒体记者与国内的媒体记者打给我的电话有一个特别显著的不同:国外记者几乎无一例外最先向我了解的,是我们用什么调查方法获得的调查结果;国内记者打给我的电话,只有寥寥几个会向我问到调查方法,其他人最感兴趣的,往往是直接获得调查结论。


 


我以前常常被邀请在中央电视台的一些新闻事件报道中做专家评论,电视新闻由于时间限制,往往只需要我说一个几句话的结论而不在乎导出这个结论的论据或过程,我因此颇为不快。在我看来,许多新闻事件中的结论往往是显而易见的,没必要非得由我来说。张三和李四可能说了一样的话,但他们背后的思考却可能大相径庭。一个尊重理性思考的社会,需要的是每一个个体本身独立的思考,而不是人云亦云。


 


回到关于市场调查的主题上来,我想说说什么样的调查数据我们是不能轻易相信的。


 


近年来,一些大大小小的网站常常会根据刚刚发生的新闻事件做一项网上调查,调查结果可能会被广泛引用。但是,可能很多人没有仔细想过,这样获得的调查结果是否真实反映了全体网民、更不要说全体中国人的真实观点、真实想法或者真实态度?先不说调查的样本只涉及某个网站、甚至网站内某个频道的访问者这种局限性,由于调查内容往往需要网民鲜明地表明态度或立场(支持或反对),持某一立场(譬如说支持)的网民带着一种要影响调查结果的强烈意愿来参与这项调查,而持其他立场(反对或中立或不明确)的网民没有这么一种强烈的参与愿望,或者他们明白自己的立场在网上容易受到攻击或伤害,他们也会回避参与这项调查。因此,这种类型的调查结果是最不能通过样本推及目标总体的典型例子。


 


所以第一种不可信的数据,是样本不能推及目标总体的数据。


 


但是,不能因此说这种调查没有价值。至少,通过这种类型的调查,我们能够发现这一新闻事件网民的关注度以及关注的角度。因此,新浪的网上调查我不嫌多,都愿意看。网民对新闻所作的评论,也具备同样意义的价值,这可能是平面或电视媒体与网络媒体相比最欠缺的价值因素。


 


2004年的杜蕾丝调查称中国人的性伴侣数为“世界之最”,平均每个中国人有19.3个性伴侣。这项调查结果争论颇多,但杜蕾丝这项调查结果的问题,本人认为还不是调查数据是否准确的问题,而是对调查结果未用任何统计手段进行处理、故意发布错误数据以达到恶意炒作的目的。也许19.3这个数据确实来自杜蕾丝的原始数据,但是它可能是一些喜欢恶作剧的问卷填答人虚报数据弄出来的。这个数据至少需要两步后期的统计处理,第一步是排除虚假而完全不可信的样本,如删除性伴侣高达10,000个的问卷样本;第二步是根据数据分布状态找出特别离散的数字(Outcasts),如1,000。现实生活中可能存在性伴侣多达1,000的人,但这种人在总体中的比例可能在十万分之一以下,如果在几千或最多几万的样本中掺进了一个或几个这样的数字,就会使样本中的平均数据出现非常大的正偏差。负责杜蕾丝调查统计的人不可能不知道他们发布的数据需要后期统计处理,但他们仍然未作处理就发布了,因此存在恶意炒作、愚弄大众的嫌疑。


 


所以第二种不可信的数据,是明显为了炒作的目的公布的数据。


 


我们再来看看艾瑞的调查方法存在的问题。艾瑞公布的调查方法中说明,它招募来的样本已经根据CNNIC公布的网民数据,以性别、年龄和地区为基本指标进行了配比。这样经过配比的样本,是否等同于随机抽样了呢?不能。


 


我们简单地举个例子。要调查中国人黄金周的旅游消费情况,在各地的火车站发放问卷进行调查,然后按国家旅游局相关调查中的中国旅游人口数据进行性别、年龄和地区的配比,得出中国人黄金周的旅游消费调查结果。很显然,由于抽样地点局限在火车站,那些通过飞机出行旅游的中国人,他们的旅游消费情况完全没被统计在内。在火车站招募到的样本,与在机场招募到的样本,二者在性别比例、年龄和地区可以配比得完全一致,但结果一定有巨大的差异性。我们不考虑艾瑞招募样本的信息是否或者通过哪些网站进行了推广,如果全部样本都是按照艾瑞自己网站上的说明招募来的,我们可以说它相当于是在自己公司门口招募过路行人做样本,这种方式与街头拦访或在火车站招募样本一样严重缺乏抽样代表性,何况你的公司还不是在人口流量辐射区域较大的街区。如果招募样本的信息通过其他网站或其他方式进行了推广,那么对艾瑞调查样本代表性的影响因素,会复杂到难以把握。


 


说实在的,就算配比能够对调查结果作出修正,但只按性别、年龄和地区作配比,而不考虑学历和职业(学生与非学生)这样两个对搜索引擎使用倾向性有重要影响的个人特征,这样不完整配比的结果,理论上有可能会使调查结果与市场真实状况发生更大的偏离。


 


以上这段文字,应艾瑞总经理杨伟庆的要求作答,也顺便回答了上篇文章一些读者对我提出的问题。对与不对,仍然欢迎大家一起讨论。


 


艾瑞调查的症结在于样本是否首先经过随机抽样而招募来的。艾瑞调查与Nielsen//NetRatingsComScore的同类调查之间最大的不同,也在于此。以科学的方法抽样,抽到的同龄同性同地区的样本,就不会只局限于火车站的流动人口或者自己公司门口的过路人群。

2006-12-14



对艾瑞报告的质疑


 


艾瑞刚发布的搜索引擎市场份额数据被谷歌质疑,我们认为谷歌的质疑有其正当性。


 


艾瑞这次推出的,是国内首次通过插件统计用户的搜索请求量来定义市场份额的一份搜索引擎调查报告。去年下半年的某个时候,艾瑞的杨伟庆总经理告诉我,他们正在着手准备用插件的办法来做搜索引擎市场调查报告。这首份报告到现在才正式推出,比我原先的期待还是晚了一些。


 


诚然,根据用户总体使用不同搜索引擎发出的搜索请求量来决定搜索引擎市场份额是可能的最佳办法,美国权威的市场调查公司Nielsen//NetRatingsComScore也正是这么做的。


 


但是,任何一项市场调查数据,要做到符合市场真实状况的先决条件,是抽样的科学性和代表性。很遗憾,艾瑞的这份报告,仍然在抽样或样本招募上存在严重的问题。


 


根据新浪科技的报道,杨伟庆不认为他们的数据“有公正性问题”。他介绍说,“目前已经有超过3万名用户安装了艾瑞的监测软件;在过去一年中,艾瑞通过对用户的样本监测方法,连续研究网民行为来了解市场的变化”。


 


从艾瑞的iclick.cn的网站上,大家可以看到安装“艾瑞的检测软件”(调研通)的用户是如何招募来的。


 



 


艾瑞为吸引用户下载它的“调研通”插件而开出的条件,是安装并通过认证且填写好“网民消费及喜好研究”问卷的用户,可以获得艾瑞通过“快钱”支付的2元人民币。以后该用户每在线一天,即可获得0.10元人民币。用户一整年每天都开着“调研通”的话,可以获得36.5元人民币。如果该用户另外还填写艾瑞的调查问卷,每填写一份可额外获得2元人民币。艾瑞以前的调查报告,大多数也是根据来自“2元用户”填写的数据编写的。


 


我们不难认为,艾瑞开出的这个条件,对一个普遍意义上的网民来说是不等价的。一个普遍意义上的网民,很难想象愿意以一年区区几十元人民币的报酬,来付出自己日常网上活动的隐私,接受一个对他们的电脑运作和网上浏览只有害处没有好处的插件。当然,非普遍意义上的网民除外。


 


谁会是非普遍意义上的网民?我们通常能够想到的,是那些所谓“点点鼠标、轻轻松松在家赚钱”的人。这是一个因网络广告(包括搜索引擎广告)而生、且日益壮大的特殊网民群体。他们以类似于网络传销组织的方式运作,通过虚假点击网络广告和搜索引擎广告而获得分成、收取会员介绍费、领取促销优惠券等途径赚钱。我的电子邮箱中,至今还能收到介绍“在家创业、成功致富”这一类的垃圾邮件,其中包括告诉我去填写艾瑞调查问卷赚钱的“诀窍”。


 


即使不排除可能也有一些热心肠的不图利的普通网民,或者确实觉得那几十元钱已经很公道了的网民,会抱着一种认真负责的态度,尽责并诚实地使用调研通,从而为艾瑞提供真实的用户数据 —— 即使不排除这种可能,同时又不考虑上面提到的“特殊网民群体”的参与所带来的影响,我们也不得不指出,由于“调研通”用户中高端用户比例可能严重稀缺,而大幅低估在高端用户中相对表现较好的Google的市场份额。尤其是,如果“调研通”曾经通过百度但没有通过Google等其它搜索引擎推广,调查结果中百度与其它搜索引擎的相对关系数据就更容易被扭曲。


 


任何一份市场调查报告或调查结果的发布,都需要说明调查方法。没有说明调查方法的调查数据是不可采信的。调查数据是否真实可靠,其调查方法首先需要经得起推敲或质疑。一项调查中最容易出现的偏差以及出现的最大偏差,往往都可以从抽样或样本招募的方法上找到原因。


 


综上所述,艾瑞首先需要改变其一贯忽视抽样统计方法的作风,从样本的代表性及获取样本的方法上多下点研究的功夫、多花点该花的钱。不改变它目前的调查工作作风,任何调查手段都可能会沦于一种花哨的噱头。


 


最后声明一点:本人所从事的工作与艾瑞有竞争关系,本文观点是否正确,敬请读者自辨。涉足中国互联网的中国市场调查公司一直有一个不成文的规矩,即不公开指出其他市场调查公司的调查方法与调查结果的缺陷与谬误。本文破了这个规矩,是因为本人相信市场调查是一门科学,从业者需要有科学的精神思辨和证伪。


 


欢迎拍砖!