讀者通常難以區(qū)分夸張和真正令人震驚的調(diào)查統(tǒng)計(jì)數(shù)據(jù)。
調(diào)查在信息安全行業(yè)很流行。它們會(huì)告訴我們,在類(lèi)似的情況下,我們的同行會(huì)做什么,并且可以突出我們可能遺漏的常見(jiàn)陷阱。調(diào)查與從已知來(lái)源分析已知數(shù)據(jù)的報(bào)告不同,例如供應(yīng)商根據(jù)自己的遙測(cè)表明特定惡意軟件的流行情況。在本文中,我們將調(diào)查定義為對(duì)人們提供的信息的分析,而不是數(shù)據(jù)展現(xiàn)的事實(shí)。
但我們需要謹(jǐn)慎。調(diào)查基本上是營(yíng)銷(xiāo)工具;市場(chǎng)營(yíng)銷(xiāo)的目的是銷(xiāo)售產(chǎn)品或品牌。推銷(xiāo)產(chǎn)品的營(yíng)銷(xiāo)是硬銷(xiāo)售。推銷(xiāo)品牌則是一種軟銷(xiāo)售。然而,它始終是營(yíng)銷(xiāo),我們需要意識(shí)到這一點(diǎn)。
調(diào)查面臨的困難
調(diào)查分為兩類(lèi):廠商調(diào)查和市場(chǎng)調(diào)查(由專(zhuān)業(yè)的第三方市場(chǎng)調(diào)查公司進(jìn)行)。雖然后者應(yīng)該更加客觀,但兩者之間并沒(méi)有明顯的區(qū)別。一些廠商或供應(yīng)商調(diào)查可能是客觀的——Verizon的數(shù)據(jù)泄露調(diào)查報(bào)告 (Data Breach Investigations Report,DBIR) 就是一個(gè)例子——而一些委托第三方的報(bào)告可能是主觀的。
無(wú)論調(diào)查的設(shè)計(jì)和制訂出自誰(shuí)手,基本的困難和問(wèn)題都是一樣的。這里我們主要關(guān)注由供應(yīng)商進(jìn)行的調(diào)查。
營(yíng)銷(xiāo)動(dòng)機(jī)
營(yíng)銷(xiāo)就像其他業(yè)務(wù)功能一樣,必須能夠帶來(lái)投資回報(bào)。因此營(yíng)銷(xiāo)的第一個(gè)要求是營(yíng)銷(xiāo)內(nèi)容必須被盡可能多的人看到。實(shí)現(xiàn)這一目標(biāo)的最佳途徑是利用媒體,這意味著必須首先將營(yíng)銷(xiāo)工具推銷(xiāo)給媒體。在決定報(bào)道內(nèi)容之前,記者只有幾秒鐘的時(shí)間來(lái)瀏覽他們收到的每一份通告的第一段。營(yíng)銷(xiāo)人員明白這一點(diǎn),其結(jié)果是他們通過(guò)對(duì)供應(yīng)商進(jìn)行推廣,或者將其寫(xiě)入報(bào)道中,或兩者兼而有之,從而帶來(lái)抓人眼球的效果。
嘩眾取寵和理性很少并存,但讀者面臨的問(wèn)題是難以區(qū)分夸張和真正令人震驚的統(tǒng)計(jì)數(shù)據(jù)。記者們?cè)噲D篩選掉那些嚴(yán)重夸張的調(diào)查,但最終判斷調(diào)查是否利大于弊,還是取決于主觀觀點(diǎn)——大多數(shù)記者會(huì)承認(rèn),他們對(duì)調(diào)查進(jìn)行了報(bào)道,而現(xiàn)在回想起來(lái),他們寧愿忽略這些報(bào)道。
這是否意味著所有的調(diào)查都是糟糕的?絕對(duì)不是。但這確實(shí)意味著所有讀者都應(yīng)該意識(shí)到調(diào)查背后的動(dòng)機(jī),并將其考慮在內(nèi)。
并不是所有的調(diào)查都依賴(lài)于轟動(dòng)效應(yīng)。這種方法通常會(huì)被新成立的,規(guī)模較小的,侵略性強(qiáng)的公司所采用。他們需要迅速獲得市場(chǎng)份額,而且他們通常與現(xiàn)有的、更成熟的供應(yīng)商處于競(jìng)爭(zhēng)關(guān)系。
大型的、成熟的供應(yīng)商不需要嘩眾取寵。他們更關(guān)心如何保持他們的品牌知名度,而不是抓人眼球。
Verizon 的 DBIR 又是一個(gè)很好的例子。它只包含事實(shí),并避免去嘗試解釋這些事實(shí)。所以該報(bào)告對(duì)去年發(fā)生的事情進(jìn)行了非常詳盡的描述和分析;這是對(duì) Verizon 品牌的一次出色宣傳。然而,雖然 DBIR 對(duì)結(jié)果的解釋幾乎沒(méi)有主觀內(nèi)容,但是其提供的數(shù)據(jù)仍然受制于受訪者的主觀性。
DBIR 之類(lèi)的調(diào)查更可信,但制作成本很高。小公司沒(méi)有資金去效仿。
誤差幅度
所有的調(diào)查都或者應(yīng)該以百分比的形式表示誤差幅度。這是受訪者人數(shù)和總?cè)丝跀?shù)之間的一個(gè)算數(shù)關(guān)系。在這里,“人口” 指的是與調(diào)查相關(guān)的所有人——因此,對(duì) 1000 名 PC 用戶(hù)的調(diào)查會(huì)比對(duì) 500 名 CISO 的調(diào)查存在更大的誤差幅度。如果對(duì)整個(gè)群體進(jìn)行調(diào)查,并且整個(gè)群體都做出了回應(yīng),那么就不會(huì)有任何誤差。
重要的是要考慮受訪人數(shù)與其總?cè)丝跀?shù)之間的關(guān)系,以了解調(diào)查潛在的準(zhǔn)確性或者不準(zhǔn)確程度。這一誤差也應(yīng)該與調(diào)查中的人口統(tǒng)計(jì)資料有關(guān)(任何沒(méi)有對(duì)受訪者進(jìn)行人口統(tǒng)計(jì)分析的調(diào)查都應(yīng)該被認(rèn)為是可疑的)。例如,一個(gè)受訪者中某一行業(yè)所占比例很高的行業(yè)調(diào)查,并不一定能夠?yàn)槠渌袠I(yè)提供準(zhǔn)確的統(tǒng)計(jì)數(shù)據(jù)。
問(wèn)題
調(diào)查中提出的問(wèn)題對(duì)于調(diào)查得出的結(jié)論至關(guān)重要。最明顯的風(fēng)險(xiǎn)是,這些問(wèn)題可能是一些引導(dǎo)性的題目,旨在引出期望回答,公然實(shí)現(xiàn)營(yíng)銷(xiāo)目標(biāo)。這可能是有意識(shí)的意圖,也可能是調(diào)查設(shè)計(jì)者的潛意識(shí)偏見(jiàn)。
有關(guān)問(wèn)題的第二個(gè)困難是設(shè)計(jì)清楚以及得到明確的回答。如果問(wèn)題不明確,受訪者無(wú)法準(zhǔn)確回答;如果答案模棱兩可,就不知道所有受訪者是否都在回答同一個(gè)問(wèn)題。
市場(chǎng)研究公司 Osterman Research 總裁 Michael Osterman 表示,圍繞調(diào)查問(wèn)題有兩個(gè)主要的困難:提出正確的問(wèn)題,以及選擇合適的人來(lái)提問(wèn)。
調(diào)查設(shè)計(jì)是一門(mén)藝術(shù)。當(dāng)客戶(hù)第一次發(fā)來(lái)他想讓我們問(wèn)的問(wèn)題時(shí),我們總會(huì)對(duì)它們進(jìn)行修改,因?yàn)檫@些問(wèn)題寫(xiě)得很糟糕、令人困惑或模棱兩可。
這個(gè)問(wèn)題可能有兩方面:首先,如果客戶(hù)和受訪者太過(guò)接近,可能會(huì)認(rèn)為受訪者的理解水平也差不多;其次,提問(wèn)者在提出具體問(wèn)題時(shí),可能存在有意識(shí)或潛意識(shí)的偏見(jiàn),引導(dǎo)受訪者說(shuō)出期望答案。后者是一個(gè)合理的擔(dān)憂(yōu),Osterman 表示,有些調(diào)查公司實(shí)際上就是這么做的。
對(duì)回答進(jìn)行解釋
對(duì)受訪者的回答進(jìn)行解釋存在的問(wèn)題與問(wèn)題本身存在的問(wèn)題相同:回答可能是模棱兩可的,可以通過(guò)解釋來(lái)得出期望回答。同樣,解釋的人可能會(huì)有意識(shí)地利用這一點(diǎn)去推銷(xiāo)特定的產(chǎn)品,也可能潛意識(shí)引導(dǎo)他這么做。
其中一個(gè)問(wèn)題是,人們?cè)诨卮饐?wèn)題時(shí)往往過(guò)于樂(lè)觀。當(dāng)他們被問(wèn)到對(duì)明年的預(yù)算有何打算時(shí),他們往往傾向于回答自己想要的,而沒(méi)有考慮可能發(fā)生的意外(比如經(jīng)濟(jì)低迷、重大意外或新的更節(jié)儉的管理團(tuán)隊(duì))。
在今年的 DBIR 中可以找有關(guān)解釋數(shù)據(jù)存在問(wèn)題和潛在陷阱的例子。Verizon DBIR 團(tuán)隊(duì)負(fù)責(zé)人 Alex Pinto 表示,自己不會(huì)進(jìn)行猜測(cè),這不是DBIR的目的。但他指出,勒索軟件——根據(jù)受訪者提供的數(shù)據(jù)——占惡意軟件感染的 24%,但占醫(yī)療保健行業(yè)感染的 70%。他拒絕進(jìn)行推測(cè)的一方面是,是否是因?yàn)?HIPAA 要求醫(yī)療行業(yè)報(bào)告勒索軟件,而其他地方?jīng)]有類(lèi)似的要求,導(dǎo)致了這一巨大差異。
在這個(gè)領(lǐng)域和例子中,統(tǒng)計(jì)數(shù)據(jù)以及對(duì)統(tǒng)計(jì)數(shù)據(jù)的錯(cuò)誤解釋可能會(huì)導(dǎo)致錯(cuò)誤的結(jié)論。
最大的問(wèn)題是:你能相信供應(yīng)商的調(diào)查嗎?
鑒于設(shè)計(jì)、實(shí)施和分析調(diào)查的難度,無(wú)論是個(gè)人還是團(tuán)體,有必要對(duì)這些調(diào)查的價(jià)值提出質(zhì)疑。我們?cè)儐?wèn)了 Michael Osterman,供應(yīng)商是否能夠有效地執(zhí)行他們自己的調(diào)查。
我認(rèn)為,如果做法得當(dāng),是可以做到的。如果能夠接觸到目標(biāo)調(diào)查對(duì)象并以正確的方式提問(wèn),調(diào)查就會(huì)是有效的。我想有人會(huì)迅速表示懷疑——很多人會(huì)想知道這些問(wèn)題是如何被制定出來(lái)的,等等;但這是有可能的。我認(rèn)為供應(yīng)商必須面對(duì)很多質(zhì)疑,這并不容易。但是肯定可做到的。
供應(yīng)商也意識(shí)到了這種懷疑,但仍在推廣自己的價(jià)值。“供應(yīng)商調(diào)查就像香腸”,位于猶他州的 SaltStack 營(yíng)銷(xiāo)副總裁 Rhett Glauser 表示,很有可能你根本不想知道這兩種東西的制作過(guò)程。然而,就像香腸里的好配料一樣,在供應(yīng)商調(diào)查中總能找到好的數(shù)據(jù)。你自己只要愿意花時(shí)間來(lái)驗(yàn)證和解釋它。如果你不花時(shí)間和精力去理解,那么你必須問(wèn)問(wèn)自己,你是否相信 Oscar Meyer……或供應(yīng)商提供的調(diào)查分析。(現(xiàn)在公司的正式名稱(chēng)是 Oscar Mayer,是 Kraft Heinz 旗下的維也納香腸生產(chǎn)商。)
總部位于加利福尼亞的 Untangle 產(chǎn)品管理副總裁 Heather Paunet 則并不認(rèn)為調(diào)查的主要?jiǎng)訖C(jī)始終是為了營(yíng)銷(xiāo)。
我們從這些報(bào)告中獲得的信息和見(jiàn)解超出了我們特定的‘營(yíng)銷(xiāo)目標(biāo)’。這些調(diào)查可以確定每年的趨勢(shì)和進(jìn)展,例如,向云的業(yè)務(wù)過(guò)渡,或者采用云解決方案來(lái)解決中小型企業(yè)面臨有限資源的問(wèn)題。我們還從這些調(diào)查中了解到。客戶(hù)當(dāng)前面臨的擔(dān)憂(yōu)或問(wèn)題,以及他們希望行業(yè)為他們當(dāng)前的痛點(diǎn)提供什么解決方案。
提供調(diào)查的供應(yīng)商普遍認(rèn)為調(diào)查面臨的這些困境不會(huì)否定他們的價(jià)值。供應(yīng)商進(jìn)行的調(diào)查可以收集有關(guān)特定主題的行業(yè)知識(shí),雖然這些公司可能有他們希望分享的觀點(diǎn),但這種動(dòng)機(jī)并不會(huì)否定供應(yīng)商調(diào)查中所有數(shù)據(jù)的有效性。
如果供應(yīng)商是正確的,并且調(diào)查包含有效和有用的數(shù)據(jù),那么真正的問(wèn)題是如何取其精華,去其糟粕。總部位于加州的 Vectra 安全分析主管 Chris Morales 建議:當(dāng)你閱讀結(jié)果時(shí),一定要先閱讀問(wèn)題,以識(shí)別潛在的問(wèn)題,或者判斷他們是否在引導(dǎo)受訪者。想想你會(huì)如何回答同樣的問(wèn)題。如果答案是不同的或相似的,考慮驅(qū)動(dòng)你的回答的因素,以及樣本可能會(huì)因此發(fā)生什么變化還是保持類(lèi)似。
了衡量報(bào)告結(jié)果的價(jià)值,要看供應(yīng)商對(duì)過(guò)程的透明度。供應(yīng)商是否共享了調(diào)查方法?你是否能夠查看完整的問(wèn)題列表和回答的原始數(shù)據(jù)?這些問(wèn)題是否包含了那些不能直接提升供應(yīng)商在行業(yè)的地位的主題?
Morales 建議調(diào)查問(wèn)題應(yīng)該主要是定量或定性的。定量問(wèn)題傾向于產(chǎn)生較低的變異性,因?yàn)閿?shù)字就是數(shù)字,不管當(dāng)時(shí)受訪者身上發(fā)生了什么。而定性問(wèn)題,根據(jù)當(dāng)時(shí)的外部因素,可能有更高的變異性。
但他更進(jìn)一步,想知道質(zhì)疑調(diào)查的準(zhǔn)確性是否有意義。讀者會(huì)從他們自己的實(shí)際情況來(lái)看待調(diào)查,在潛在的供應(yīng)商主觀性的基礎(chǔ)上增加了潛在的讀者主觀性。
他們傾向于根據(jù)這些數(shù)據(jù)進(jìn)行確認(rèn)或獲得潛在的見(jiàn)解。調(diào)查結(jié)果不太可能導(dǎo)致他們的戰(zhàn)略發(fā)生重大變化。
總結(jié)
廠商的調(diào)查也許價(jià)值不大,但如果你看的足夠仔細(xì),也會(huì)找到一些好東西。這樣說(shuō)這可能太極端了。畢竟一些廠商調(diào)查會(huì)包含一些好的數(shù)據(jù),因此要在查看調(diào)查報(bào)告的時(shí)候,了解其準(zhǔn)備過(guò)程和解釋方面存在的困難,并忽略明顯嘩眾取寵和夸張的例子,那么就應(yīng)該能夠找到一些可以證實(shí)或質(zhì)疑解決問(wèn)題的數(shù)據(jù)。