在追逐 p-value 的(de)道(dào)路(lù)上₹✔₽(shàng)狂奔，卻在科(kē)學的(de)道(dào)路(™↔lù)上(shàng)漸行(xíng)漸遠(yuǎn)

作(zuò)者：石川

我最近(jìn)讀(dú)了(le)美(měi)國(guó)金(jīn)融協>₩™會(huì)（AFA，American Finance Associati‍'on）前主席 Campbell Harvey 于 20<♣17 年(nián)協會(huì)年(nián)會(huì)上(shà§∑✔ng)做(zuò)的(de)題為(wèi)《The Scientif≈÷ ∏ic Outlook in Financial E♠ conomics》的(de)主席報(bào)告，感觸頗≥‍♣深，醍醐灌頂。以一(yī)個(gè)學者應有(yǒu)的(de)↑ ☆σ科(kē)學态度和(hé)操守，Dr. H‌÷₹arvey 深刻剖析了(le)近(jìn)年(nián)來(lái)西(xī) >☆≤方學術(shù)界在收益率風(fēng)險多(duō)因子(zǐ)模型研究中的(de)一(yī)個(gè)錯(cuò)誤趨勢：

學者們在追逐 p-value 的(de)β‌‍÷道(dào)路(lù)上(shàng)狂奔，卻在科‍•∏×(kē)學的(de)道(dào)路(lù)上(shàng)漸行(∑↔xíng)漸遠(yuǎn)。

我看(kàn)完之後産生(shēng)了(le)深深的(de)共鳴：¥ 難怪我在頂級期刊上(shàng)以及賣方的(de)研究報(bào)告中看(≤‌kàn)到(dào)的(de)很(hěn)多(duō)因子π€(zǐ)，僅僅是(shì)在報(bào)☆<告中“看(kàn)起來(lái)有(yǒu)效”。在這(zhè)個(g×↕​è)急功近(jìn)利的(de)時(shí)代，Dr. Ha★•rvey 大(dà)聲呼籲學術(shù)界應該後退一(yī)步（takγ ®₹e a step back），重新審視(shì)一(yī)下(xià)學♣♣術(shù)氛圍和(hé)文(wén)化♠™(huà)，真正做(zuò)到(dào)以推動人(rén)們對(duì)金(j&φīn)融經濟學的(de)正确認知(zhī)為(wèi)∑​®己任。這(zhè)無疑是(shì)量化(huà)投資領域的(de)φ↕®福音(yīn)。此外(wài)，Dr. Harvey 還(hái)提出了(le  )貝葉斯 p-value 的(de)概念，它可(kě)以'‌正确地(dì)評價因子(zǐ)的(de)有(yǒu)效性。

1 p-value

先來(lái)看(kàn)看(kàn)什(shén)♥'"™麽是(shì) p-value，以及它在因子(zǐ)分(fēn)析中的(dσ±÷≈e)作(zuò)用(yòng)。（本節內(nèi)容是(shì)我÷→∞←加的(de)。）假設我們有(yǒu)一(yī)個(gè)因子(zǐ) A，在學術"↕₽★(shù)界研究該因子(zǐ)能(néng)否獲得(de)≠≠ 超額收益時(shí)，一(yī)般的(de)流程如(rú)下(xià)：

可(kě)見(jiàn)，p-value 在上(shàng)述過↔δ程中至關重要(yào)。p-value 是(shì) proba®'ΩΩbility value 的(de)簡稱。在統計(jì£×&$)檢驗中，假設統計(jì)模型對(duì)應的₩♥(de)原假設是(shì) H，該模型觀測到(dào)的(de)随機(j•&✔ī)變量 X 的(de)取值為(wèi) x，↕≈✔π則 p-value 代表著(zhe)在原假設 H 下(δ₩γ÷xià)随機(jī)變量 X 取到(dào)比 x 更加極端的∏ (de)數(shù)值的(de)條件(jiàn ₩Ω)概率，即：

The null hypothesis Ω∏is usually a statemenδ←♠♣t of no relation between variabl¥πes or no effect of a≥✔<n experimental manipul$↕ation. The p-value is the probabili←∏λ→ty of observing an outcome or a £✘more extreme outcome if ₩‍δΩthe null hypothesis is true (F<¶©"isher 1925).

對(duì)于股票(piào)收益率因子(₩ zǐ)模型領域，因為(wèi)我們希望找到(dào)可(k&✔ě)以帶來(lái)超額正收益的(de)因子(zǐ)，所以∑"✔÷ p-value 一(yī)般指的(de)是(s♥$λ hì)上(shàng)面第一(yī)種定義，☆↑即 p-value = prob(X ≥ &≈ ©x|H)。例如(rú)，當 p-value βφ≥= 0.05 時(shí)，我們說(shuō)在原假設₽•♦ H 下(xià)觀測到(dào)不(bù)小(xiǎγ§o)于 x 的(de)超額收益的(de)條件(jiàn)概率為(wèi)✘₩ 5%；當 p-value = 0.01 時(shí>Ω$σ)，我們說(shuō)在原假設 H 下(xià)觀測到(dào)不(b‌δ™↔ù)小(xiǎo)于 x 的(de)超額收益的↓₹∏(de)條件(jiàn)概率僅有(yǒu) 1%。顯然，p-value 越小(xiǎo)說(shuō)♠Ω明(míng)在原假設 H 下(xià)觀測到(dào)不(b§λ✘ù)小(xiǎo)于 x 的(de)超額收益λπΩ的(de)可(kě)能(néng)性越低(dī)，即發生(shēng)“不 $"(bù)小(xiǎo)于 x 超額收益”這(zhè★')個(gè)事(shì)件(jiàn)和(hé)原假設 H 越不→‍(bù)相(xiàng)符，我們越傾向于拒絕原假設。

當“因子(zǐ) A 無法獲得(de)超額收益”這(zhè)個(gè)原假設被拒絕時(shí)，人¥∞Ω(rén)們便會(huì)推論出“因子(zǐ) A 能(néng)夠獲得(÷×$÷de)超額收益”。如(rú)此，人(rén)們習(xí)慣把“p-v☆↓≤alue 越低(dī)”和(hé)“因子(zǐ) A 越能(‍ε∞‌néng)獲得(de)超額收益”等價起來(lái)了$↕(le)。這(zhè)就(jiù)是(shì)為(wèi€λ♣‍)什(shén)麽我們都(dōu)喜歡低(dī)的(de) p->γ" value。但(dàn)它們真的(de)等價嗎(ma)？低(dī)的(de) p-value 僅僅是(shì)某個(gè)因子(zǐ)§δ能(néng)獲得(de)超額收益的(de)必要(yào)條件(jiàn)；但∑δ♥(dàn)是(shì)它遠(yuǎn)不(bù)是(sh∑↔ì)充分(fēn)條件(jiàn)。有(‍∞>&yǒu)意或者無意的(de)數(shù)據操縱（×✔data manipulation）以及不(¥ 'bù)完善的(de)統計(jì)檢驗所得(de)到(dào)的★÷​♦(de)低(dī)的(de) p-value 在說(₩≥€γshuō)明(míng)因子(zǐ)是(shì)否有(yǒu)效方面÷≥  毫無作(zuò)用(yòng)。

2 p-hacking

好(hǎo)了(le)，現(xiàn)在我們已經知(zhī)道(dào)了(≠α>♦le) p-value 在因子(zǐ)模型中的(de)作(zuò)用(•<®yòng)：要(yào)想說(shuō)明(míng)某個(gè≈ ©)因子(zǐ)有(yǒu)效，最起碼得(de)有(yǒu)個‌↕↕(gè)低(dī)的(de) p-value；否則免談。在這(zhè)種暗(àn)示下(xià)，學術(shù)界便自(zì)上(α‍shàng)而下(xià)的(de)刮起了(le)一(yī)♥€股追求超低(dī) p-value 之風(fēng)。以下(xià)就(jiù)是(shì)因子(zǐ)模型 ☆§p-value 在學術(shù)界的(de)因果關系鏈：

為(wèi)了(le)提升期刊的(de)聲望，編輯們都(dōu)更傾向于錄用≈←(yòng)低(dī) p-value 因子(zǐ)≤÷的(de)文(wén)章(zhāng)；為(wèi)>☆了(le)在更高(gāo)水(shuǐ)平的(dπ→​e)期刊上(shàng)發文(wén)，學者們更傾向于找到(dào)δ®低(dī) p-value 的(de)因子(zǐ)。在美(měi)國(gu₩↔β±ó)絕大(dà)多(duō)數(shù)學校(xiào)裡(lǐ)，如(r↕≈ú)果能(néng)在 Journal of Fin♦σ 'ance 發表一(yī)篇文(wén)章(zhāng)，一(yī)個(gè)✔§®教授就(jiù)有(yǒu)可(kě)能(n‍εéng)得(de)到(dào)終身(shē ✘↑n)教職（tenure）。在如(rú)今的(de)金(jīn)融經濟學領域★'₩©，這(zhè)樣的(de)做(zuò)法無奈的(de)導緻了(le)一(yīσ→₹)種發表偏差（publication bias）：學者們更願意把時(shí)間(jiān)和(hé)精力花(huā) σ到(dào)可(kě)以利用(yòng)各種手段來(lái)找到€ £(dào)低(dī) p-value 的(de)因子(zǐ)上(βγshàng)，隻願意發表“看(kàn)上(s↑✘↕ hàng)去(qù)最顯著”的(de)研'>'δ究成果。他(tā)們不(bù)願意冒險來(lái)研究“無效的(de)因&♠"≤子(zǐ)”。

從(cóng)推動學科(kē)發展的(de)角度，“無效的∑βΩ(de)因子(zǐ)”和(hé)“有(yǒu)效的(de)因子(zǐ€$≥)”同樣重要(yào)。如(rú)果我們能(néng)夠确切的(de)證¥↓♦<明(míng)某個(gè)因子(zǐ)就(jiù)是(shì)無法帶來(lái♠¶→♠)超額收益，那(nà)麽它對(duì)實際中選股也(yě)是(s§'hì)非常有(yǒu)價值的(de)（我們可(kě)以放(fàng)心€ $的(de)避開(kāi)該因子(zǐ)）。 $然而，在追求超低(dī) p-value 之風(fēng)下(ε¶xià)，學者不(bù)願意進行(xíngβ  σ)這(zhè)樣的(de)研究，因為(wèi)¶♦♥頂級期刊上(shàng)鮮有(yǒu)它們的(de)容身(shēn)之處。下(xià)圖出自(zì) Harvey, ∑✔≠Liu, and Zhu (2016)。他(tā)們分(fēn)析了(le)β↓πε 1963 年(nián)到(dào) 2012 年(nián)間(jiān)∑™發表在金(jīn)融領域最頂級期刊上(shàng)的(de) 3€±00 多(duō)個(gè)因子(zǐ)模型的(de) t-statisδφtics（可(kě)以簡單的(de)理(lǐ)解為↕± ♣(wèi) p-value 越低(dī)，其對(duì)應的(de∏¥​) t-statistics 越高(gāo)）α£σ的(de)分(fēn)布情況。這(zhè)個(gè)分(fēn)"≤‍布清晰地(dì)說(shuō)明(míng)♥↓↕∞了(le)學術(shù)界的(de)發表偏差。比如∞§π₹(rú)，t-statistics 取值在 2 到(dào) 2.5♦π7 的(de)文(wén)章(zhāng)數(shù)和(δ♥¶hé) t-statistics 取值在 2.&₩→57 到(dào) 3.14 的(de)文(wén)章(zhāng)數(sh≤π€™ù)十分(fēn)接近(jìn)。要(yào)知 ¶α(zhī)道(dào)，t-statistics = 2.57 對(d₽₹σuì)應的(de) p-value 大(×πdà)概是(shì) 0.005；而 t-statistics = 3£<§ 對(duì)應的(de) p-value 則是(shì) 0.001！顯然，≥®找到(dào) p-value = 0.001 的(de)因子(zǐ)要(y♥​ào)比找到(dào) p-value =≤$γ 0.005 的(de)因子(zǐ)要(yào)困難得(de)多(duō™•'φ)，但(dàn)它們的(de)文(wén)&¥←¥章(zhāng)數(shù)量卻大(dà)緻∞∏Ω相(xiàng)當。這(zhè)隻能(néng)說(shu≠↔¥ō)明(míng)在頂級期刊發表文(wén)章(zhāng)時(shí)× 'γ，學者們傾向于更低(dī)的(de) p-value。

3 硬科(kē)學與軟科(kē)學

看(kàn)到(dào)這(zhè)裡(lǐ)，人(rén)們不(bù≤$£ε)禁要(yào)問(wèn)怎麽會(huì)有(yǒu)這(zhè£≥♠)麽多(duō)低(dī) p-value 的(de)因♠♠επ子(zǐ)？這(zhè)可(kě)以從(cóng)“硬科(kē)↔ •學”和(hé)“軟科(kē)學”的(de)角'≠Ω₽度來(lái)解釋。法國(guó)著名的(de)哲學家(jiā)奧古䥕∑斯特 • 孔德将科(kē)學分(fēn)成不(bù)同的(deφσ©ε)等級（Comte 1856）。像數(shù)學、物(wù)理(lǐ)這(z©φhè)類的(de)“硬科(kē)學”位于等級的(de)上(s¥✘hàng)方，而社會(huì)學（包括今天所說(shuō)的(de)經±×$✔濟學或者哲學）這(zhè)類“軟科(kē)學”位β↕ 于等級的(de)下(xià)方。這(zhè)裡(lǐ)“硬”和(hé)“軟”并沒有(yǒu)“好(hǎo)”φ∞與“壞”之分(fēn)。

在“硬科(kē)學”中，人(rén)的(de)痕迹幾乎可(kě₽£)以不(bù)存在，從(cóng)數(shù)據♦≥↓δ可(kě)以直接得(de)到(dào)結論、無需任何人(rén)工(gōng‌‌)解釋，且結論是(shì)高(gāo)度可(kě)歸納的(de)。比如(rú)數(shù)學上(shàng)的↑"₹$(de)四色問(wèn)題，一(yī)旦¥♦證明(míng)成立那(nà)就(jiù∏ )是(shì)成立；又(yòu)如(rú)物(wù)理(lǐ)上(shà±∞"ng)的(de)引力波，一(yī)旦發現(xiàn)那(nà)就(jiù)是☆≤∑γ(shì)說(shuō)明(míng)它的(de)存在，↔®‍≤這(zhè)些(xiē)都(dōu)是(shì)确切的(₹δ♣de)。反觀“軟科(kē)學”中，人(rén)的(de)痕迹便會(huì)更加÷∞明(míng)顯，研究成果依賴于提出怎樣的(de)假設，如(rú)何處理(lǐ₹ )數(shù)據，以及如(rú)何分(fēn)析、解釋結果。這(zhè¥π©)些(xiē)都(dōu)和(hé)研究者自(zì)身(s ¥✔hēn)的(de)聲望、利益、個(gè)人(ré"€♠n)偏好(hǎo)有(yǒu)關，因此結果往往是(sh '÷ì)無法歸納的(de)。金(jīn)融學中的(de)多(duō)因子(zǐ)模型無疑是(shì±✘)軟科(kē)學，因子(zǐ)選取、原假₩∏₩設的(de)構建、以及數(shù)據分(§₹♣>fēn)析都(dōu)會(huì)因人(rén)而異。

比如(rú)“使用(yòng)過去(qù) 50 年(nián)的(de)λ♦數(shù)據還(hái)是(shì)過去(q≤∞ù) 30 年(nián)的(de)數(shù)據？”“使用× '(yòng)美(měi)股還(hái)是(sh♦★→&ì)其他(tā)國(guó)家(jiā)的(de★"σ™)股票(piào)？”“使用(yòng)日(rì)收益率還(háΩ€‌↕i)是(shì)周收益率？”“使用(yòng)百分(fσ≈•‍ēn)比收益率還(hái)是(shì)對(duì)數(shγ↕✘ù)收益率？”“是(shì)否以及如(rú)何剔除異常 •≤值？”“使用(yòng)線性回歸還(hái)是(✔ shì)邏輯回歸？”“使用(yòng)截面回歸還(hái)是(shì)σ↔♣♣時(shí)間(jiān)序列回歸？”“因子(zǐ)對(duì) 500 個(∞'↓ gè)公司有(yǒu)效但(dàn)是(shì)"‌​↕對(duì) 1000 個(gè)公司無效，因此發文(wén)± ‍≥時(shí)僅提及那(nà) 500 個←←♠(gè)公司。”……在追逐超低(dī) p-→÷"☆value 的(de)背景下(xià)，學者在面臨這(z¶≥hè)些(xiē)選擇做(zuò)決定時(shí→φ)會(huì)“非常微(wēi)妙”，一(yī)切阻礙超低(dī)↔™ p-value 誕生(shēng)的(de)數(shù)據都✘ (dōu)會(huì)被巧妙的(de)避開(kāi)。Har§π≤vey 教授将為(wèi)了(le)追求超低(dī) p-valu↓₽e 而在因子(zǐ)研究中刻意選取的(de)數(shù☆₽€)據處理(lǐ)方法稱為(wèi) p-•♠↑ hacking。

在科(kē)學研究中，我們往往先觀察事(sh₽σ₩ì)物(wù)是(shì)如(rú)何運作(zuò)的(de)，£₽&然後提出一(yī)個(gè)假設并通(tōng)過數(sh✘ ù)據來(lái)驗證其是(shì)否成立，可(kě)謂“先有(yǒu)假設再 ₩有(yǒu)結果”。然而，p-hacking 卻可(kě)能(néng)使我們本末倒置，“™Ω♣先有(yǒu)結果再有(yǒu)假設！”（Hypothesizin$♦★g after the results are known，稱為(wèi) H≤↔§ARKing）。比如(rú)我們的(de)假設是(shì)變量 Y♦™"π 和(hé) X1 相(xiàng)關。為(wèi¥★Ω≥)此我們設計(jì)了(le)一(yī)個(±☆gè)實驗，并控制(zhì)了(le) X2 到(dào) ₽←<≤X10 其他(tā) 9 個(gè)變量，來(lái)考察♦‌ Y 和(hé) X1 的(de)關系。但(dàn)是(s÷¥♠hì)實驗結果表明(míng) Y 卻和(hé) X7Ω↕∏​ 相(xiàng)關。因此，我們就(jiù)會(h♦ §≈uì)輕易地(dì)（不(bù)負責任地(✔ ☆÷dì)）把假設改為(wèi)“Y 和(h↑ é) X7 相(xiàng)關”，而忘記了(le)研究的(dδ‍Ωe)初衷。由于數(shù)據分(fēn)析的$φ≥♦(de)成本很(hěn)低(dī)，HARKing 在因子(zǐ)模型研究中非π​₩常普遍。所有(yǒu)這(zhè)一(yī)切對(duì)超低(dī) p•±-value 的(de)追逐都(dōu)源于人(rén<₩‌®)們的(de)一(yī)個(gè)誤解：“p-value 越低(dī)”等價于“因子(zǐ) A₽ ‌§ 在解釋超額收益上(shàng)越有(yǒu)☆‌₩效”。下(xià)面來(lái)看(kàn)看(kàn) p-value 到(dào£→≈©)底意味著(zhe)什(shén)麽。

4 正确認識 p-value

人(rén)們對(duì) p-value 的(de)正确含義充滿了(le)→₹Ω誤解。為(wèi)了(le)說(shuō)明(míng)這(zhè)一(yī)÷γ點，Dr. Harvey 給出了(le)一(yī)個(gè)假想的(de)<↓γ例子(zǐ)。假設一(yī)個(gè)選股因子(zǐ)為(wèi)董事(sδ↔hì)會(huì)的(de)規模。由此我們把上(shε÷∞àng)市(shì)公司分(fēn)為(wèi)兩 δ類：小(xiǎo)型董事(shì)會(h≤$uì)的(de)公司和(hé)大(dà)型董事(shì)會(huì)的(de§")公司。原假設 H 是(shì)：董事(shì)會(h₹φuì)規模與超額收益無關。比較這(zhè)兩類股票(< piào)的(de)收益率均值，我們得(de)到(dào™‌♠≤)該因子(zǐ)的(de) p-value 小(xiǎo)于₽'÷• 0.01。那(nà)麽，下(xià)面 ®δ4 種關于 p-value 的(de)陳述哪些(™ xiē)是(shì)正确的(de)呢(ne)（原↓♥≈文(wén)中是(shì) 6 個(gè)陳述，為(wèi)了(l"£σe)簡化(huà)討(tǎo)論這(zhè)裡(lǐ)隻包含其中 4 個(gèγ‍™)）？

1. 我們證明(míng)了(le)原假設是(shì)錯(cuò)誤的(de)π≈εε。

2. 我們找到(dào)了(le)原假設為(wèi)真的(de)概率，即♥&$ prob(H|D)。

3. 我們證明(míng)了(le)小(xiǎo)型董事(shì‍★σ)會(huì)的(de)公司比大(dà)型董事(shì)會(huì)的(de)•§π​公司有(yǒu)更高(gāo)的(de)₹←®超額收益。

4. 我們可(kě)以推斷出“小(xiǎo)型董事(sh♠↔ε€ì)會(huì)的(de)公司比大(dà)型董事±÷↓(shì)會(huì)的(de)公司有(yǒu)更高(gāo)的(de)≥↔•超額收益”為(wèi)真的(de)概率，即  ↕↔☆prob(H^c|D)。

怎麽樣？你(nǐ)覺著(zhe)上(shàng)σ®面四個(gè)陳述中有(yǒu)幾個(gè)是(shì)正确€₹‌的(de)？答(dá)案是(shì)：它們都(dōu)是(shì)錯(cuò)的(de)。p-value 代表著(zhe)原假設下(xià​✔‍)觀測到(dào)某（極端）事(shì)₹≤件(jiàn)的(de)條件(jiàn)概率。以γ​∏ D 代表極端事(shì)件(jiàn)，則 p-value = pro↑£b(D|H)。從(cóng)它的(de)定義出發，p-valu÷↕₽e 不(bù)代表原假設或者備擇假設是(shì)否為(wèi)真實的(de)α§。因此，上(shàng)述中的(de) 1 'γ&和(hé) 3 都(dōu)是(shì)錯(cuò)的(✔✔♣↑de)。

P-value is a statement about d<★©Ωata in relation to a specified hypothet<γ♠ical explanation, and is n&ε↕ot a statement about the explanation"€™‍ itself.

再強調一(yī)遍：p-value 是(shì)原假設 H 成立下(xià& )，D 發生(shēng)的(de)條件(j±εiàn)概率，即 prob(D|H)；它不(bù)是(sπ♥↔↓hì) prob(H|D)，即 D 發生(shēng)時(£δ≤'shí) H 為(wèi)真的(de)條件(jiànε​&)概率。因此 2 也(yě)是(shì)錯(cuò)♠✘的(de)。同理(lǐ)，p-value 也(yě)​£和(hé) p(H^c|D)——H^c 代表備©←π擇假設——沒有(yǒu)任何關系，因此 4 也(yě)是(sh♥≤≤ì)錯(cuò)的(de)。

在這(zhè)個(gè)例子(zǐ)中，最重要(yào →∏®)的(de)信息就(jiù)是(shì) p-value 等于 p>™$λrob(D|H)；而人(rén)們往往把它和(hé)↑☆ © prob(H|D) 混淆，這(zhè)是(shì)因為(wèi)我們太想¶↓‌知(zhī)道(dào) prob(H|D) 了(αβπ☆le)，因為(wèi)它告訴我們原假設 H 在 D 發生(shē≈±ng)時(shí)為(wèi)真的(de)條件(j©Ω₩←iàn)概率。然而 p-value 不(bù)等于它。把 prob(D|H) 當成 prob(H|D) 是↓•✘(shì)一(yī)個(gè)非常嚴重的(de)錯(cuò)誤↓εγ$。來(lái)看(kàn)一(yī)個(gè)形象的(d ✔≠​e)例子(zǐ)（出自(zì) Carver 1978）： ÷

最後，來(lái)看(kàn)美(měi)國(g×®♣σuó)統計(jì)協會(huì)（Americ£‌ an Statistical Association）關于 p-value ™¶的(de) 6 個(gè)準則（Wasserstein and Laza§≠>r 2016）：

1. P-values can indicate how incomp♦∑atible the data are with a specified st₹φ&☆atistical model.

譯：P-value 可(kě)以表示數(shù)據和(σ≥hé)給定統計(jì)模型的(de)不(bù)兼容程度。

2. P-values do not measu<λ¶re the probability that the st♠£udied hypothesis is t✘Ω¥§rue, or the probability ‌×γ÷that the data were produced by"λ↓£ random chance alone.

譯：P-value 不(bù)表示所研究的(de)假設為(w♦‌→èi)真的(de)概率；同時(shí)，它也(yě)不(bù)表示數(shδ×ù)據僅由随機(jī)因素産生(shēng)的(d​<>e)概率。

3. Scientific conclusions and busines≠♥↓λs or policy decisions should ✘₹λnot be based only on whether ₹♣&≤a p-value passes a spec±φ'≠ific threshold.

譯：科(kē)學結論和(hé)商業(yè)或政策決策不(bù)應隻根據 P-v₹λalue 是(shì)否通(tōng)過給定的(de)阈值而确定•β±€。

4. Proper inference r↔αequires full reporting and tran>®sparency.

譯：全面的(de)分(fēn)析報(bào)告和(hé)完全的(de)透→£≠明(míng)度是(shì)适當的(de)統計(©•jì)推斷的(de)必要(yào)前提。（這(zhè)說(shuπ≠ ō)的(de)就(jiù)是(shì)要₩↕φ(yào)摒除 p-hacking 的(de)'>問(wèn)題。）

5. A p-value, or statistiβΩ÷​cal significance, does not ♥∞±≥measure the size of an effec‌₩t or the importance of a result.

譯：P-value 或統計(jì)上(shσ♣‌àng)的(de)重要(yào)性并不(bù)能(néng)衡量↑®效用(yòng)的(de)大(dà)小(xiǎ ☆γo)或結果的(de)重要(yào)性。（這(zhè)是(shì)我們通‍©→(tōng)常說(shuō)的(de)統計(jì)上(shà→★ng)顯著未必具有(yǒu)重要(yào)的(dσ♠λe)經濟意義——economic significance₹₩）

6. By itself, a p-value does n≤ ot provide a good measure o​↑ £f evidence regarding ∏>a model or hypothesis.

譯：關于模型或者假設是(shì)否有(yǒu)效，p-value •☆本身(shēn)并不(bù)提供足夠的(de)證據。

相(xiàng)信上(shàng)面這(zhè) 6 點一(yī)定會(h÷↑→uì)幫助我們更好(hǎo)的(de)理(lǐ)解 p↔‌§-value 的(de)意義。

5 失真的(de) p-value

如(rú)前所述，p-value 用(yòng)來(lái)說(shuō)明₽↑ •(míng)某種效用(yòng)（effect）是(shì)否在統計(jì£✘)上(shàng)顯著（因子(zǐ)可(kě)以解釋股票(piào)的(de)σ¶超額收益率就(jiù)可(kě)以理(lǐ)解為(wèi)一(yī)種效用(y®®£♦òng)）。當待檢驗的(de)效用(yòng)非常罕見(jiàn)時(shí)，'→✔統計(jì)檢驗得(de)到(dào)的(de) p-valu≥∏e 往往是(shì)失真的(de)。在醫(yī)學中，這(zhè)樣的(de)‌®φ例子(zǐ)屢見(jiàn)不(bù)鮮。假設我們要(yào)測₽♣試一(yī)種罕見(jiàn)的(de)疾病（疾病‌♥÷ 就(jiù)是(shì)效用(yòng)，罕見(jiàn)說(shuō)₹↕∑明(míng)它本身(shēn)出現(xiàn♣€ ¶)的(de)概率非常低(dī)）。原假設就(jiù)£∏是(shì)病人(rén)沒有(yǒu)得(de)病。假設這(zhè)種疾病的(de)發病率為(wèi) 1%。我們∞★φ≥使用(yòng)某種測試手段對(duì)§♠ 1000 名志(zhì)願者進行(xíng)篩查。該測試手段的(α↑×de)正确率為(wèi) 90%（即對(duì)于确實患病的(d₽"™e)患者，該測試結果為(wèi)陽性的(de)概率為(wèi) <¶$×90%）；此外(wài)，該測試手段的(de)誤診率為(wèi) 10%（即，↔‌¶>對(duì)于沒有(yǒu)得(de)病的(de)志( ≈₽zhì)願者，它誤診為(wèi)陽性的(de)概率為(wèi)‌₽  10%）。根據 1% 的(de)發病率和(hé) 1000 名志(zhì)₹​α願者，我們假設他(tā)們中間(jiān)有(yǒu) 10 名真正患β←$者和(hé) 990 名正常。對(duì)于這(zhè) γε10 名患者，該檢測手段成功的(de)找到(dào) 9₹∑™ 名患者；而對(duì)于剩下(xià) 990 名非患者ε↓<‍，它誤診了(le) 99 名。因此，一(yī)共有(y ">δǒu) 108 名志(zhì)願者被診斷為(wèi)患病，但(dàn‌₩↔)其中僅有(yǒu) 9 名是(shì)真正的(de)患者。換句話(huà)​¶說(shuō)，這(zhè)個(gè)測試的∑β★(de) false discovery raγ&♣te 高(gāo)達 92% (= 99 / 108)，遠(yuǎn)高(gā‍γαΩo)于該測試手段 10% 的(de)誤診率。在統計(jì)檢驗中，false discovery $σ¥↔rate 是(shì)僞發現(xiàn)率，其意義為(wèi)δπ±錯(cuò)誤拒絕（拒絕真的(de)原假設）的(de)↔ $♥個(gè)數(shù)占所有(yǒu)被拒絕的(de) ☆原假設個(gè)數(shù)的(de)比例的✔ (de)期望值。

上(shàng)述討(tǎo)論對(duì<₽)金(jīn)融經濟學有(yǒu)什(shén)麽啓示？這(zhè)裡(lǐ)的(de)核心是(shì)，如(rú)果一σ∑ (yī)個(gè)效用(yòng)本身(shēn)越不(bù)可(kě)能(nλ★&éng)發生(shēng)，我們越要(yào)₩©小(xiǎo)心，因為(wèi)會(huì)有(yǒu‌π)大(dà)量的(de) false discoveri£±es。令 π 代表在現(xiàn)實中我們找到(dào)一(yī)個(gè)真實因✘±果關系的(de)概率（即一(yī)個(gè)真實的(de)因子(∏≈zǐ)），α 代表原假設為(wèi)真時(shí)的(de)®σσ顯著性水(shuǐ)平，β 表示備擇假設為(wèi)真時(shí)檢驗正确的♥£(de)拒絕原假設的(de)概率。從(cóng)上(shàng)£ ε面這(zhè)個(gè)例子(zǐ)中可(kě)以歸納出，由于效用(yòng)εσ♠π的(de)罕見(jiàn)性，我們能(néng)®€¶夠預期的(de) false discovery rate 等于：

當 β = 1 時(shí)，上(shàng)述 false discove€≤ry rate 有(yǒu)理(lǐ)論的(de)最小(xiǎo)值€≈→。當找到(dào)真實因子(zǐ)的(de)概率很(hěn)低(dī)時‍∑(shí)，π 相(xiàng)對(duì)于 α σ"很(hěn)低(dī)，該 false discovery rat'±¶‍e 近(jìn)似為(wèi) 1。因此，如(λ εrú)果發現(xiàn)有(yǒu)效因子(zǐ)本身(shēn)這(zhè)件(jiε↓àn)事(shì)是(shì)一(yī)個(gè)極小(xiǎo)概率事(sε↓hì)件(jiàn)，則無論我們得(de)到(dào)了(le)多(du♠<α§ō)低(dī)的(de) p-value，我們≈​∏的(de)僞發現(xiàn)率（false discovery ∑×≥rate）也(yě)是(shì)非常高(gγ"™āo)的(de)。不(bù)幸的(de)是(shì)，發現(xiàn)真實±∞ β有(yǒu)效的(de)因子(zǐ)本身(shēn)就(jiù→↓€)是(shì)一(yī)個(gè)極小(xiǎo)概率事 δ(shì)件(jiàn)。因此，大(dà)量發表于頂級期刊上(shàng)β<的(de)收益率因子(zǐ)都(dōu)會(¶≥→•huì)在将來(lái)被證僞。Bartsch et. al. (201ε ∑7) 就(jiù)提供了(le)這(zhè)樣的(de)β≤證據。他(tā)們采用(yòng)了(le)一(yī)個(gè)多(duō)重≈≠÷₽檢驗框架，檢驗了(le)學術(shù)界的(de) 100 個✔←​•(gè)收益率預測模型，得(de)到(dào)的α↕>(de)結論是(shì)模型中的(de)預測能(néng)力全部來(l♠¥↕₩ái)自(zì)數(shù)據遷就(jiù)（data snooping₩₹π，即 p-hacking），這(zhè)些(xiē >)模型在新測試框架下(xià)的(de)預測準确性均無法戰勝曆史均值 ε¥。

6 先驗的(de)重要(yào)性，做(zuò)≥✘‍貝葉斯的(de)信徒

上(shàng)一(yī)節的(de)論述傳遞出一(y∏♦'∑ī)個(gè)重要(yào)的(de)觀點：我們需要(yào)對(duì)效用(yòng)本身(shēn)發生ε¶‍(shēng)的(de)概率（例如(rú)找到(dào)真實收©'>ε益率因子(zǐ)的(de)概率）有(yǒu)一(yī)個(gè)£ ≠←正确的(de)先驗判斷，并用(yòng)它和(hé) p-value ≤™₩一(yī)起計(jì)算(suàn)出一(yī)個(gè)≠÷₹後驗概率，并以此判斷是(shì)否應該拒絕原假設。在生(shēng)活中，先驗概率對(duì)于我們判斷一(yī)個(∞∏≈☆gè)效用(yòng)是(shì)否真的(de)有(yǒu ↔÷¶)效至關重要(yào)。來(lái)看(kàn)下(xià)面​÷∞§三個(gè)例子(zǐ)。

怎麽樣，從(cóng)這(zhè)三個(gè)例子(zǐ)中看(kàn)出先‌®↕驗在解讀(dú) p-value 時(shí)起到(dàoπ₽±)的(de)作(zuò)用(yòng)了(le)嗎(ma)$ ★§？這(zhè)就(jiù)是(shì)貝葉斯框架的(de±‌)強大(dà)之處。Harvey 教授将傳統的(de) p-value 嵌入到(↕♣↓±dào)貝葉斯框架中，提出了(le)貝葉斯化(huà) p-value（B&<β✔ayesianized p-value）的(de)概念，它是≈€(shì)一(yī)個(gè)後驗概率。貝葉斯化(huà) p-value 由最小(xiǎo)貝葉斯因子(zǐ)（minimum Bayesδ< factor，MBF）和(hé)先驗幾率（prior odds'γ）構成。貝葉斯因子(zǐ)是(shì)在原假設下♦λ(xià)觀測到(dào)效用(yòng)的(de)似然性與£φ→在備擇假設下(xià)觀測到(dào)效用("λyòng)的(de)似然性之間(jiān)的(de)比值。由于備擇假設中，效₩δ♠用(yòng)的(de)概率分(fēn)布未知(zhī)，因此貝葉斯因子₽π(zǐ)的(de)取值有(yǒu)個(gè)範圍。這(zhè)個(gè)範​γφλ圍的(de)下(xià)限就(jiù)稱為(wèi)最小(xiǎo)☆₩¥™貝葉斯因子(zǐ)。它代表著(zhe)貝葉斯框架下(xià)，我們<☆£'拒絕原假設的(de)傾向性（MBF 越小(xiǎo)，我們越傾向拒絕原假α₩₩設）。

具體(tǐ)的(de)，後驗貝葉斯後驗 p-value 的(de)表達¥→式如(rú)下(xià)：

其中，MBF 的(de)計(jì)算(su<€₩àn)方法有(yǒu)兩種，分(fēn)别根據統計(j≥εì)檢驗中的(de)原始 p-value 和(hé)其對(du'λ ì)應的(de) t-statistics 求出。以下(xià)↓‍↓£僅給出具體(tǐ)表達式，而不(bù)去(qù)探討(tǎo)具體(tǐβ δ)數(shù)學細節。

貝葉斯 p-value 的(de)強大(dà)之處在于，它§♣α是(shì)一(yī)個(gè)後驗概率，它回答(dá)βΩ了(le)那(nà)個(gè)我們真正關心的(de)問(wèn)題：在（極端）事(shì)件(jiàn)發生(shēng​£ε₹)的(de)前提下(xià)，原假設為(wèi)真的(de)條 ∏★件(jiàn)概率是(shì)多(duō)少(₽™✔αshǎo)，即我們夢寐以求的(de) prob(H|D)。使用(yòng)後驗貝葉斯 p-value，Dr. Harvey 對∏‌☆☆(duì)學術(shù)界的(de)一(yī)些(xiē★®♣')知(zhī)名因子(zǐ)進行(xíng)了(le)₹Ω<‍分(fēn)析（下(xià)表）。具體(tǐ)的(de)，他(& ♦tā)考慮了(le)三類不(bù)同的(de)‍∏先驗情況：a stretch（罕見(jiàn)的(de)，假設因子(σγ✔×zǐ)有(yǒu)效的(de)先驗概率為(wèi) 2≥ %），perhaps（有(yǒu)可(kě)能(néng)，假設因子(zǐ)有Ω♦δ(yǒu)效的(de)先驗概率為(wèi) 20%），soli→φd footing（業(yè)務基礎紮實，假設因子(zǐ)有(yǒu)效<​的(de)先驗概率為(wèi) 50%）。

在第一(yī)類（a stretch）中，考察的(de)φ≠≈因子(zǐ)叫 clever tickers（可(kě)以理(lǐ)解為®↓€(wèi)聰明(míng)的(de)股票(piào)代碼），即有('₹©→yǒu)些(xiē)股票(piào)代碼比另一(yī)些(xiē)更讓投資人(φ↑"rén)喜歡，因此這(zhè)些(xiē)股票(piào)有(yǒu)超額÷​↓Ω收益（這(zhè)一(yī)聽(tīng)就(jiù)不(bù×≥α)靠譜）。在貝葉斯框架下(xià)，其後驗貝葉斯 p-valu€ →✘e 為(wèi) 0.836，這(zhè)意味著(zhe)該因子(zπΩε≤ǐ)對(duì)解釋超額收益完全沒有(yǒu)作(z≤δ≥ uò)用(yòng)。值得(de)一(yī)提的(de)是(shì)，在•↑λ研究出該因子(zǐ)的(de)文(wén)章(zhāng)中，₹ φ♣它的(de) p-value 可(kě)是(shì)僅有(yǒu) 0.0 π♥±079，暗(àn)示著(zhe) clev✔&er tickers 用(yòng)來(l™φ 'ái)選股能(néng)獲得(de)超額收益。貝葉斯框架完美(měi)的(de)逆轉了(l™©<e)這(zhè)個(gè)錯(cuò)誤的(♣≤☆de)結論。在第二類（perhaps）中，考察的(de)因子(zǐ)是(shì)  ↔Fama 和(hé) French 提出的(de)盈利因子(zǐ)和(hé♠®∑β)規模因子(zǐ)。在原著中， Fama 和(hé)±α French 的(de)研究顯示這(zhè)兩個(gè)因子(zγπǐ)都(dōu)有(yǒu)超低(dī)的←≈↕ (de) p-value。然而，它們的(de)後驗 p-value ✔φ↑→分(fēn)别為(wèi) 0.117 和(hé) 0.332。其中，盈≤✘‌利因子(zǐ)的(de)後驗 p-value 仍然比較低(dī±✘¥★)（雖然比原著中的(de)高(gāo)很(≈σ•hěn)多(duō)），但(dàn)是(shì)規模因子(zǐ)的(£★Ωde)後驗 p-value 卻很(hěn)大(§∏​dà)，說(shuō)明(míng)它不(bù)能(néng)很♠¶(hěn)好(hǎo)的(de)解釋超額收益。在第三類（solid footing）中，♠✔✔考察的(de)因子(zǐ)是(shì)市(shì)場(chǎng)因子(₽©±zǐ)。它的(de)後驗 p-value 為(wèiα✔≤♥) 0.111（在另一(yī)種 MBF 的(∞&≠de)計(jì)算(suàn)方式下(xià)，其後驗 pδ↕&£-value 更是(shì)僅有(yǒu) 0.03♣ε5）。這(zhè)說(shuō)明(míng)市(shì)×σ→∑場(chǎng)因子(zǐ)确實是(shì)一(yī)個(gè)₹¶♥​能(néng)夠解釋股票(piào)超額收益的(de)因子 γ​(zǐ)。這(zhè)也(yě)完全符合人₽∏(rén)們的(de)預期。這(zhè)三個(gè)例子(zǐ)完美(m←γ ěi)的(de)說(shuō)明(míng)了± £™(le)當我們有(yǒu)一(yī)個(gè)手段來(lái)回答¶​"✘(dá)正确的(de)問(wèn)題時(shí)（即 p÷•Ωrob(H|D)），我們能(néng)夠得(de)到(dào​ )更加有(yǒu)效的(de)結論。

7 科(kē)學的(de)願景，研究應該能(nén δg)被複現(xiàn)

在過去(qù)的(de) 10 年(nián)←>、20 年(nián)裡(lǐ)，金(jīn)融£±'♠經濟學領域的(de)學者們都(dōu)在追逐 p-value 的(de)道(§λαdào)路(lù)上(shàng)狂奔。然 •✔而，這(zhè)麽做(zuò)的(de)結果是(shì)人(rén)類在 ‌科(kē)學的(de)道(dào)路(lù)上(shàng)漸行(xíng÷♥δ)漸遠(yuǎn)。科(kē)學研究的(de)目标是(shì)&→∏為(wèi)了(le)推動人(rén)們對(duì)該學科∑ φ&(kē)的(de)理(lǐ)解。為(wèi)了(le)實現(xiàn)它，我 ☆☆們應該确保所有(yǒu)的(de)發現(x≈¥εiàn)——不(bù)管是(shì)有(yǒu)效因子(zǐ)還(hái)✘α是(shì)無效因子(zǐ)——都(dōu‌§σ₽)是(shì)可(kě)以複現(xiàn)的(de)，≠←★成果應該是(shì)可(kě)以被其他(tā)學者複制(zhì)的(de)。這(zhè)意味著(zhe)，在摒除了(le)所有(yǒu)♣≤ p-hacking 的(de)數(shù)據操縱•σα之後，一(yī)個(gè)因子(zǐ)的(de)效用(yòng)仍然£♦$♦經得(de)起考驗，并且它在樣本外(wài)也(yě)同樣σ÷♥有(yǒu)效（或同樣無效）。

在頂級期刊中，隻有(yǒu) Journal of Finance 要(y✘​'ào)求被錄用(yòng)的(de)文(↓≠★wén)章(zhāng)提供計(jì)算(suàn)機(jī)代☆≥碼；沒有(yǒu)任何一(yī)個(gè)期刊σ≤≈要(yào)求作(zuò)者提供數(shù)據（所以很(hěn)多(duō&¥) p-hacking 的(de)行(xíng)為(wèi)根本無法被發現¶≈₽★(xiàn)）。可(kě)喜的(de)是(shì§☆​)，最近(jìn)一(yī)個(gè)新的(de)期刊 Criti"  £cal Finance Review 做(zuò)了(le)很 π(hěn)多(duō)工(gōng)作(zuò)，正逐"λφ漸使成果能(néng)夠被複現(xiàn)成為(wèi)學術(shù)界的($♣®de)主流。

我曾經聯系過多(duō)篇文(wén)章(zhāng)的(de)作(♦↔¥zuò)者，提及被他(tā)們文(wén)章(←εφ<zhāng)中因子(zǐ)的(de)表現(xiàn)所震撼、想要(yào)自σ₹(zì)己在樣本外(wài)複現(xiàn)他(tā)們∞✔‍₹的(de)發現(xiàn)，因此詢問(wèn)一(yī)些(xiē)數(sh±&♦ù)據和(hé)程序上(shàng)的(de)細節。但(dàn)是(shε®≈≥ì)這(zhè)樣的(de)文(wén)章(zhāng)幾乎全部石沉大σ←δ∑(dà)海(hǎi)。唯一(yī)良心的(de)回複是(shì)“當年(n​"ián)的(de)代碼寫的(de)很(hě÷↔"n)亂，可(kě)讀(dú)性已經很(hěn)差了(×π&→le)”。我想，大(dà)概這(zhè)些(xiē)ε♦∞↓作(zuò)者也(yě)根本無法再現(xiàn)它們當&φ↔時(shí)取得(de)的(de)神奇結果吧(ba)¶×&。

除此之外(wài)，學術(shù)界和(hé)頂級期刊應該鼓勵學者↓∑&們嘗試“高(gāo)風(fēng)險”的(de)研究¶♥€☆項目。“高(gāo)風(fēng)險”意味著(zhe)學者需要(yào)費(fèi‌≈)時(shí)費(fèi)力費(fèi)金(jīn)錢(qián)以收集和(®"←hé)處理(lǐ)數(shù)據，且得(de)≥♣​ 到(dào)的(de)結論不(bù)一(yī)定顯著（沒♥≤有(yǒu)令人(rén)稱奇的(de) p-value）。但(™εdàn)是(shì)，這(zhè)樣的(de)研究成果"‌₩才是(shì)最根本的(de)，才是(shì)真正能(néng)夠推動金(jī∏€×φn)融經濟學闊步向前的(de)創造性工(g£φ∏ōng)作(zuò)。

金(jīn)融經濟學的(de)科(kē)學前景深深的•≠≈™(de)植根于學術(shù)界的(de)研究和(hé)發表環境中©₩©♦。不(bù)可(kě)否認，如(rú)今學術(shù)界的(de)研究質 λ量仍然是(shì)很(hěn)高(gāo)的(de)。但(d§Ω¶αàn)是(shì)本文(wén)提出的(de→∏©®)問(wèn)題不(bù)關乎當下(xià)，' ₩σ而是(shì)著(zhe)眼于未來(lái)。為(♠‌✔wèi)了(le)保證金(jīn)融經濟學的(d∞$∞e)發展，學者們應該時(shí)刻保持學者的(de)操守，并創造一(≈™↑yī)個(gè)健康的(de)研究氛圍。不(bù)要×↕β≥(yào)試圖尋找捷徑，而是(shì)腳踏實地(dì)的(de)₩✔☆<走曲折的(de)道(dào)路(lù)，無論荊棘與坎坷。不(£€✔bù)忘初心，砥砺前行(xíng)，金(jīn)融經濟學的(de<φ)科(kē)學前景勢必一(yī)片光(guāng)明(míng)。

參考文(wén)獻

Bartsch, Dichtl, Dro±→₩∞betz, and Neuhierl (©♣2017). Data Snooping in Equitδ→≥↕y Premium Prediction. Wor≤∞₽king paper.

Harvey (2017). Presiden♥♠ Ωtial Address: The Scientific Outlook in©λ≠ Financial Economics. AFA 2017 Annual Meeting.

Carver (1978). The case a ‌£Ωgainst statistical significance test<βing. Harvard Educational Review 48, 378 – 399.

Comte (1856). The PoΩ↕₹sitive Philosophy ofε₩ Auguste Comte, translated  •∑by Harriett Marineau (★​Calvin Blanchard, New York≥"δ). Vol. II.

Fisher (1925). Statistical Me✘€thods for Research W​λ♦•orkers. Oliver and Boyd Ltd, Edinbur ¥gh.

Harvey, Liu, and Zhu (2016). … ∞≥¥and the cross-section of expected retur®​ns. Review of Financial Studies 29(1), 5 – 68.

Wasserstein and Lazar ↓♥φ§(2016). The ASA's Statem§✔ent on p-Values: Context, Process,™↑  and Purpose. The American Statistician 70(2): 129 – 133

免責聲明(míng)：入市(shì)有(yǒu)風(fēng)險，投資需謹慎。在任何情況下(xià<♥≥₽)，本文(wén)的(de)內(nèi)容、信息及數(shù)據或所'→₹表述的(de)意見(jiàn)并不(bù)構成對(duì✔↔)任何人(rén)的(de)投資建議(yì)。在Ω₹"任何情況下(xià)，本文(wén)作(zu÷↑ò)者及所屬機(jī)構不(bù)對(duì)任何人(rén)因使用(y ¥★©òng)本文(wén)的(de)任何內(nèi)容所引緻的(↕>de)任何損失負任何責任。除特别說(shuō)明(míngδ↕±)外(wài)，文(wén)中圖表均直接或間(jiān)✘®≤接來(lái)自(zì)于相(xiàng)應論文(wén)₩ ，僅為(wèi)介紹之用(yòng)，版權歸原作(zuò)者和(hé)期刊所有≠★(yǒu)。