Being Honest with Backσ←αtest Reporting

作(zuò)者：石川

摘要(yào)：比起傳統定義下(xià)的(de)動量，FF3-α 動量能(néng)α‍↕÷夠獲得(de)顯著的(de)超額收益。然而這(zhè)背後又‍¶'(yòu)藏著(zhe)哪些(xiē)不(bù)為(wèi)人(×∞↑§rén)知(zhī)的(de)真相(xiàng)？、

1

由多(duō)因子(zǐ)模型定義可(kě)知(zhī)，股票(pià±ε≠£o)的(de)超額收益可(kě)以分(fπ∑ēn)解為(wèi)特質部分(fēn)以及被因子(zǐ)解釋•™☆≈的(de)部分(fēn)。如(rú)果使用(yònφ★g)特質收益率計(jì)算(suàn)動量，就(ji​♠ù)構成了(le) α 動量。Hühn and Scholz (2018) 指出以 Fama and α"☆©French (1993) 三因子(zǐ)（σ¥"FF3）為(wèi)基準計(jì)算(suàn)↔£α✔的(de) FF3-α 動量在美(měi)股上(shàng)有(yǒu★≠')很(hěn)好(hǎo)的(de)效果。此外(wài)，相(xiàng)比于≥‌傳統的(de)動量，α 動量背後的(de)邏輯是(shì)投資者對(duì)公司特質信息≠ ★的(de)反應不(bù)足所緻，因此更加持續；且​®由于剔除了(le)對(duì)常見(jiàn)因子(zǐ)的←"≥(de)暴露，α 動量比傳統動量波動更低(dī)。

下(xià)面我們看(kàn)看(kàn) FF3-α 動量在 A 股上( ♥₹₩shàng)的(de)表現(xiàn)怎麽樣。↔↓為(wèi)了(le)構造 FF3-α 動量因子(zǐ)，利用(yò×≤↑ ng)過去(qù)一(yī)段時(shí)間(‌✔π‌jiān)個(gè)股日(rì)超額收益對(duì) FF3 的(®∏¥de)因子(zǐ)超額收益回歸，得(de)到Ω♠♣π(dào)其超額收益 α，并将其作(zuò)為(wèi)構造 FF3-α 動量♥‍™因子(zǐ)的(de)變量：

使用(yòng)自(zì) 2017/01/0∏×1 到(dào) 2021/06/30 近(jìn) ♦♥₩✘5 年(nián)的(de)實證窗(chuāng)口；股票(pi‍₽∏​ào)池為(wèi)從(cóng)所有(yǒu)在市(shì)交易的(π"> de)股票(piào)中剔除掉黑(hēi)名單（包括待退市(shì)股票λ'₽✔(piào)、淨資産為(wèi)負股票(piào) ↑•、風(fēng)險警示股票(piào)和(hé)次新股等）和("®&hé)不(bù)可(kě)交易股票(piào)（包括停牌股和(hé)¥•÷♣一(yī)字漲跌停股票(piào)等）之後的(de)≥←剩餘股票(piào)，并剔除異常值（詳細處Ω®理(lǐ)方法請(qǐng)參考《因子(zǐ)投資：方法與實踐》的(de) 3.1 節）。在每月(yuè)末，使用(yòng) T – 13 到(dào) T – 2（✔↔‌即剔除最近(jìn) 1 個(gè)月(yuè)ασ）的(de)數(shù)據計(jì)算(suàn) FF3-α，通↓αλ≤(tōng)過 portfolio sort ®✔α✔構造因子(zǐ)多(duō)空(kōng)對(duì)沖組合，其中多(₹↓∞σduō)頭和(hé)空(kōng)頭均按照(zhào)市(shì)值加權β©。在實證窗(chuāng)口內(nèi)，上(€↕shàng)述 FF3-α 動量的(de)月(yuè)均超額收益¥×為(wèi) 2.05%，因子(zǐ)累計(jì)收益曲線如(rú÷↑)下(xià)圖所示。

由上(shàng)述介紹可(kě)知(zhī)，α 動量理(lǐ)論似乎基礎清晰，在 A 股中的(de)實證結果也(yě)算≥♣©♦(suàn)給力，看(kàn)上(shàng)去(qù)是(sh£ ∞ì)一(yī)個(gè)能(néng)夠取代傳統動量的(dδ±e)合格因子(zǐ)。看(kàn)到(dào)這(zhè)裡(lǐ)，細心地(dì∏φ)小(xiǎo)夥伴可(kě)能(néng)品出了(le)上®✔☆(shàng)面這(zhè)句話(huà)中的(de)關 ≠₽™鍵詞：“似乎”，“也(yě)算(suàn)”，“看(kàn)上¶β(shàng)去(qù)”。而且，公衆号的(de)老(lǎo)朋(péng)友 →(yǒu)也(yě)許會(huì)感到(dγ♣≠ào)困惑，因為(wèi)最近(jìn)幾$↕ ★年(nián)在檢驗因子(zǐ)和(hé)異象的(de)文(wén)章(zh↕≈♠āng)中，我幾乎不(bù)再使用(yòng)累計(jì)↓<↔$收益曲線圖了(le)，取而代之的(de)是(shì)用(♣'♥±yòng)檢驗結果的(de)表格。然而，上(shàng)面實證分(fēn)±"析連 t-statistic 都(dōu)沒有(yǒu)給出。這(zhè)很(hěn)不(bù)“川總寫量化(h₩↑λ¶uà)”。沒錯(cuò)，接下(xià)來(lái)的(de)內(nèi)容才是(shì∑≠→✘)本文(wén)的(de)重點，我們就(jiù)來(lái)​‍盤一(yī)盤 FF3-α 動量誕生(shēng)之路(lù)上♠ε(shàng)的(de)三宗罪。

2

先說(shuō)第一(yī)宗。John Cochrane 曾說(shuō)過：Every important number×↑ should include a standard error。在上(shàng)面的(de)檢驗中，FF3-α 因子(zǐ)的  (de)月(yuè)均收益率無疑是(shì)'✔我們的(de)目标，但(dàn)是(shì)卻隻給出了(le)均值（2.0€×$5%）而沒有(yǒu)給出 standard error（'✘↓或者 t-statistic），取而代之的(de)試圖利用(yò∞αng)一(yī)條持續上(shàng)行(xí₩ ↔φng)的(de)累計(jì)收益曲線來(lái)傳遞出它很(hě¶β✔n)不(bù)錯(cuò)的(de)信号。沒有(yǒu)計(jì)算(suàn) standard erro© r 就(jiù)是(shì)第一(yī)宗罪。

通(tōng)過計(jì)算(suàn)可(kě)知(zhī)，其經£×過 Newey and West (1987) 調整後的(de) t-statistic 為(wèi) 3.06，超過了(le)>±πΩ Harvey, Liu, and Zhu (2016) 提出的÷×≠(de) 3.0 阈值。面對(duì)這(zhè)個(gè)檢驗結果（Ω >而非一(yī)條累計(jì)收益曲線），我們似乎終于能(néng)松了(le‌∏←✔)一(yī)口氣。但(dàn)是(shì)，我沒有(y∞←♠ǒu)告訴你(nǐ)的(de)是(shì)，如(rú)果不(bù)使 ​≈±用(yòng) Newey and West (1987) 調整，那(nà↑₩)麽該因子(zǐ)月(yuè)均收益率的(de) t-statistic 隻有(yǒu) 2.70，小(xiǎo₽§)于 3.0 阈值。另一(yī)個(gè)我向你☆≥(nǐ)隐瞞的(de)參數(shù)是(shì)，計(‍±÷jì)算(suàn) Newey and West (★'↔✘1987) 時(shí)使用(yòng)的(de)αα滞後期數(shù)。下(xià)表顯示了(le)不(bù)同滞後期（L≥β）取值下(xià)，該 FF3-α 動量因子(zǐ)月(yuè)均超額∑↑'收益的(de) t-statistic 取值。結果說(shuō)明(γ•míng)，我們可(kě)以通(tōng)過改變 "∏¶L 的(de)取值來(lái)操縱 t-statistic，使之滿足我們需要(yào)的(de)阈值。

然而，如(rú)果我不(bù)告訴你(nǐ)♥ ♥這(zhè)些(xiē)呢(ne)？事(shì)實上(shà π↑ng)，t-statistic = 3.06 對(duì)應的(de)是(shì) L  δπ♦= 3，而 3 這(zhè)個(gè)取值是(shì)根據 Ne♥←↔wey and West (1994) 的(de)算(suàn)法得≠↑↑(de)到(dào)的(de)。因此，如(rú∞©)果在行(xíng)文(wén)中使用(yòng)“考慮到(₽ σdào)因子(zǐ)收益率的(de)自(zì)相(x™≈​iàng)關和(hé)異方差，使用(yòng) Newey and West ±Ω (1987) 調整 standard error 并計(j$λ¶ì)算(suàn) t-statistic，在計(jì)算(suàn)中根據 Newey anσ​✘d West (1994) 确定滞後期 L”将顯得(de)♣>α©非常自(zì)然以及合情合理(lǐ)，不(bù)會(huì)給人(∞¥♦rén)數(shù)據操縱的(de)感受。而另一(yī)方面，如(rú)果我₩≈Ω需要(yào)的(de)滞後期為(wèi) L 等于 4 或者 5，>‍≠上(shàng)述措辭又(yòu)可(kě)以被“ ✔合情合理(lǐ)地(dì)”改為(wèi)“遵循使用•©∏(yòng)月(yuè)頻(pín)收益率進行(xíng)實證研究的(de∑±®)慣例，取 L = 4（或者 5）”。

一(yī)切都(dōu)是(shì)那(nà)麽的(de)自​∞(zì)然。

盡管對(duì) t-statistic 的(de)操縱已經令人₹$ε(rén)尴尬，但(dàn)這(zhè)個(gè)第一(™★λyī)宗罪僅僅是(shì)最初級的(de)問(wèn)題。

下(xià)面來(lái)說(shuō)第二宗。實證窗(chuāng)口到(dào)底是(shγ¶₹αì)怎麽選的(de)？為(wèi)什(shén)麽實證窗(c♥÷huāng)口從(cóng) 2017/01/01 開(kāi<‍ )始，而不(bù)是(shì)更早？為(wèi)什(£≠≥shén)麽因子(zǐ)多(duō)空(kōng)組合用(yòng)市(shì♥λ≠)值加權，而不(bù)是(shì)等權？δ∞÷答(dá)案分(fēn)别是(shì)（1）在 2017/01/01 之前，F∏<☆F3-α 動量因子(zǐ)不(bù)好(hǎo)使；（2）使"✘φ 用(yòng)等權後，FF3-α 動量因子(zǐ↕φ<)不(bù)好(hǎo)使。因此，第二宗罪就(ji¶ ↑ù)是(shì)：Hypothesizing After the Re₽≤εsults are Known（HARKing），即先看(kàn)數(shù)£®δβ據，後提出假設。如(rú)果我們希望粉飾數(shù)據窗(chuāng)口λ&¥δ的(de)選擇，那(nà)麽找一(yī)些(xiē)理(lǐ÷↓‌)由似乎并不(bù)困難，比如(rú)從(cóng) 2017/01/‌♠01 之後，投資者結構發生(shēng)了(le)變化(h©∏€φuà)，機(jī)構投資者占比上(shàng)升；而如(¶→rú)果我們想要(yào)掩飾股票(piào)權重的(dφ₩≥βe)選擇，也(yě)可(kě)以冠冕堂皇的(de)說(sh¶ Ωuō)出于流動性的(de)考慮按照(zhào)市¶₽(shì)值加權而非等權，而刻意選擇性失憶忽視(shì)過去(qù)'↓幾年(nián)大(dà)市(shì)值跑赢≤÷&小(xiǎo)市(shì)值的(de)事(sh<¶₩ì)實。

寫到(dào)這(zhè)裡(lǐ)，我→₹♠&想強調的(de)是(shì)，投資者結構變化(huà)導緻因子(z♠☆ǐ)表現(xiàn)變化(huà)以及按照(zhào)市(shì)值加權φ®構造因子(zǐ)組合 per se 都(dōu)是(shì)合理(lǐ)的(de)。但(dà•→↑₹n)在我們的(de)場(chǎng)景下(xià)，如(rú)果僅&✘僅彙報(bào)能(néng)夠獲得(de)最顯著 ★α$結果的(de)實證設定，而隐瞞其他(tā)¶¶→設定下(xià)的(de)結果，那(nà)無疑是(shì)不(bù)負責任的₩<(de)。Eugene Fama 曾說(shuβ$ō)“實證研究其實就(jiù)是(shì) data£☆♥• description，當你(nǐ)完成ε<↓>實證研究之後，你(nǐ)總是(shì)希望收集新的(de)數(s>δφhù)據來(lái)驗證觀點。”這(zhè)是(shì)一(yī)種值得 ≈(de)學習(xí)的(de)态度。下(xià)表給出了(le)不(bù)同實證窗(ch☆→∞βuāng)口內(nèi)，分(fēn)别按照(zhào)等權和(hé)÷ ♠市(shì)值加權計(jì)算(suàn)的(de) FF3-α 月 ✘☆ (yuè)均超額收益檢驗結果。不(bù)出意外(wài)的(de)是$$≠(shì)，隻有(yǒu)在本文(wén)第一(yī)節選擇&≥的(de)實證設定（2017/01/01 開(•$©kāi)始且市(shì)值加權）下(xià)，FF3-α ©¥±♦月(yuè)均超額收益才是(shì)顯著的(de)，而₹ •其他(tā)實證設定則全軍覆沒。彙報(bào)不(bù)同設®✘↕定下(xià)的(de)結果而非 HARKing，能(néng)夠幫助我☆→$→們更加客觀的(de)評判這(zhè)個(gè)φ×π←因子(zǐ)并在樣本外(wài)使用(y®₽¶òng)這(zhè)個(gè)它。

上(shàng)面兩宗罪體(tǐ)現(xiàn)出的(d←Ω÷☆e)數(shù)據操縱足以令人(rén)不(bù)安，但(dàn)它們和( ©hé)最後一(yī)宗罪比起來(lái)隻能©<™φ(néng)算(suàn)是(shì)小(xiǎo)巫 αε✔見(jiàn)大(dà)巫。因為(wèi)無論是(shì)計(j≤♦ì)算(suàn) t-statistic 還(hái)是(shì)選擇實證設定，上(®δ₩​shàng)述結果似乎都(dōu)在傳遞出一(yī)個(gè)假象'♣₩♦，即我們在進行(xíng) single hypothesis tes₹©t —— 似乎我們從(cóng)一(yī)個(gè)合理(lǐ)的(d¥λ≠•e)金(jīn)融學依據出發，提出了(le) α 動量，然後進行(xíng)實證分(fēn)析。₹∑‌然而，找到(dào) FF3-α 動量背後的(de)真相≠δ™(xiàng)其實是(shì)，我們嘗試了(le) 8 個♥₩∞(gè)改造後的(de)動量因子(zǐ)，然後從(cóng)中精挑細選出§ε₩了(le)最好(hǎo)的(de)一(yī)個(gè)♠≥，即 FF3-α。除 FF3-α 外(wài)，其他(tā₽→↑) 7 個(gè)因子(zǐ)包括：傳統動量、距離(lí×↕)最高(gāo)點距離(lí)、未實現(xiàn)盈利值、動量加速度、☆✔©特質動量、累計(jì)異常收益、左尾動量以及相(xiàng)似動量→☆ 。在本文(wén)第一(yī)節的(de)實證設定下(xià)，♦™£¥這(zhè)些(xiē)動量的(de)月(yuè)均超額收益¥₩ε檢驗結果如(rú)下(xià)表所示。

毫無疑問(wèn)，從(cóng)上(shàng)述變量中挑出 FF3-α φ'λ動量并不(bù)困難；雖然其顯著性略遜累Ω¥Ω<計(jì)異常收益一(yī)籌，但(dàn)其高(gāo)達 2.0σ→5% 的(de)月(yuè)均收益率比起累計(jì)異常收益的(de) 0.7÷™2% 要(yào)高(gāo)得(de)多(duō)（因此經濟意義上(♦$δshàng)更加顯著），且累計(jì)異常收益是(shì)>​®一(yī)個(gè) PEAD 類的(de)因子(zǐ)。所以綜合考慮，FF3>☆✔↓-α 脫穎而出。試了(le) 8 個(gè)，卻隻挑出了✘→(le)最好(hǎo)的(de)，這(zhè)無疑是(shì) multi★εple hypothesis testing（MHT）。然而，如(rú♠∞)果我們隻像第一(yī)節那(nà)樣介紹 FF3-α 動量而對(d§✔‍uì)試過的(de)其他(tā) 7 個(gè)諱莫如(rú)深，就(jiù)☆ ©會(huì)給人(rén)一(yī)種 single hypo♥÷γthesis testing 的(de)錯(cuò)覺♥λ$•，這(zhè)就(jiù)是(shì)如(rú)‍∑≈✘今學界大(dà)力呼籲的(de) p-hacking 問∞&(wèn)題。隻有(yǒu)如(rú)實彙報(b≈≥≥ào)全部 8 個(gè)因子(zǐ)，才能(néng)夠在合理(lǐ)ε♠的(de) MHT 框架下(xià)對(duì)結果進行 ♠₽≤(xíng)修正（當然，面對(duì)原始的(de) t-statistic，依然有(yǒu)前面兩宗罪的(σε≤de)問(wèn)題）。

p-hacking 就(jiù)是(shì)第三宗罪。↓✔‌

如(rú)果你(nǐ)和(hé)我一(yī)樣也(yě)關注了(le)>φ [Chihiro Quantitative Research] ₹☆公衆号，那(nà)麽一(yī)定發現(xiàn)了(le) ≥✘ 今天的(de)文(wén)章(zhāng)使用(yòng)的(de)是(×&♥Ωshì)連長(cháng)最新文(wén)×'∞β章(zhāng)《動量 Plus（上(shàng)）》裡(lǐ)面的(de)數(shù)據。在這(zhè)裡(lǐ)我特地(d<✘ì)給連長(cháng)打個(gè) call，該文(wén)計(jì)算(s♦φ₹✘uàn)了(le) standard errors，如(rú)<∏¶≤實彙報(bào)了(le)上(shàng)述♠∑ 8 個(gè)因子(zǐ)和(hé)傳統動量（一(yī)共 9 ☆≈↔&個(gè)因子(zǐ)）在不(bù)同窗(chu↓♣‌♠āng)口內(nèi)以及等權和(hé)市(shì)值加權下(xià)的(®£✘‌de)檢驗結果。這(zhè)是(shì)應有(yǒu)的(de &)研究态度。我在本文(wén)中的(de)分(fēn)析僅僅是(shì)使™φ≠用(yòng)他(tā)的(de)實證數(shù)據借花(huā)獻♠≥λ↓佛。

3

我曾經非常糾結于本文(wén)的(de)标題， ♣≤因為(wèi)它肯定會(huì)劇(jù)₽←透，從(cóng)而讓行(xíng)文(wén)中的(de)反轉€≠λ↑效果打些(xiē)折扣（其它曾經使用(yòng)的(de)題目就(jiùπ¥↔)包括 FF3-α 動量），但(dàn)最終還("∞•hái)是(shì)保留了(le) Being Honest withβ& Backtest Reporting 這(zhè)個(gè)标題（但 ↔(dàn)我盡量讓摘要(yào)顯得(d£'e)不(bù)那(nà)麽直接），這(zhè)是(shì)本文™σ®(wén)希望傳遞出的(de)态度。而這(zhè)個(gè)标題也(yě)是(™≈&☆shì)借鑒了(le) Fabozzi and L'♥opez de Prado (2018) 發表在 Journal of Portfolio Manageφ÷↔λment 上(shàng)的(de)同名文(wén)章(zhāng)。（我也(yě)₩φ÷要(yào) be honest with my title pick÷→​δing。）為(wèi)了(le)降低(dī) MHT 的φ©(de)影(yǐng)響，該文(wén)主張在回測中如±↕(rú)實彙報(bào)如(rú)下(xià)幾點：

Family of trials

Family size

Familywise error rate (FWER)

Power of the test

Robustness analysis

其中 family of trails 和(hé) family size®€ 可(kě)以理(lǐ)解為(wèi)嘗試次數(shù)（或變量個(gè)數σφ (shù)）以及嘗試的(de)有(yǒu)明(míng™£$σ)顯差異的(de)實驗（或變量）的(de)個(gè)數(sh<£ù)，具體(tǐ)解釋見(jiàn)截圖如(rú'≥π÷)下(xià)。

由本文(wén)關于改造動量因子(zǐ)的(de<←)例子(zǐ)可(kě)知(zhī)，僅§‌★彙報(bào)通(tōng)過數(shù)據操縱得(d‌£¥e)到(dào)的(de)最顯著結果是(♥÷₹shì)不(bù)負責任的(de)，而上(shàn®✔ ♥g)述 checklist 能(néng)夠從(cóng≠₹π)一(yī)定程度上(shàng)幫助規避文(wén)中提到(dào)✔↓的(de)幾宗罪，讓我們對(duì)實證結果更σ↑¥ 加安心。最後，本文(wén)和(hé) Faboz׶<zi and Lopez de Prado (2018) 都(dō•±u)傳遞出和(hé) Campbell Ha± rvey 教授的(de)《Tortured Data》同樣的(de)觀點：“數(shù)據不(bù)會↑→♦↔(huì)發聲，而是(shì)進行(xíng)數(shù)據分(fēn)析的∏'(de)人(rén)通(tōng)過數(shù)據發聲。•$≤€而在這(zhè)背後，又(yòu)有(yǒu​ε)多(duō)少(shǎo)不(bù)同的(de)動機(jī)、原"♠γ因、理(lǐ)由來(lái)追求人(rén)們希望看(kà♣αn)到(dào)的(de)結論，或者希望講述的(de)故事(shì)↓​>≠呢(ne)？”

Be honest with your  $•€backtest reporting.

參考文(wén)獻

刀(dāo)疤連，動量 Plus（上(shàng)），https://mp.weixin.qq.com/s/_LBmaL2JRdARΩ☆λ♠CZg4Ce7UAA

Fabozzi, F. J. and M. Lopez de Prado (±σδ2018). Being honest in backtest r≠£♣₹eporting: A template for disclosing mε×ultiple tests. Journal of Portfolio Management 45(1), 141 – 147.

Fama, E. F. and K. R. French♣←£≥ (1993). Common risk factors in the retε↓×urns on stocks and bλ→β↑onds. Journal of Financial Economics 33(1), 3 – 56.

Harvey, C. R., Y. Liu, and H. Zhu (2♠ ♠&016). … and the cross-section of expe≤β<₽cted returns. Review of Financial Studies 29(1), 5 – 68.

Hühn, H. L. and H. S‍εcholz (2018). Alpha momentφ★um and price momentum. International Journal of Fina∏>ncial Studies 6(2), 49.

Newey, W. K. and K. D. W∏​est (1987). A simple₽≥©, positive semi-definite, hete☆±roskedasticity and autocorrelati​£βon consistent covariance matrix₹≈♥. Econometrica 55(3), 703 – 708.

Newey, W. K. and K. D. West (‌λ↕ 1994). Automatic lag selection in cov×♠ariance matrix estimation. Review of Economic Studies 61(4), 631 – 653.

免責聲明(míng)：入市(shì)有(yǒu)風(fēng)險，投資需謹慎。在任何情況✔☆≠‌下(xià)，本文(wén)的(de)內 $ ♥(nèi)容、信息及數(shù)據或所表述的(de)意見(jiàn)并<✘₹♥不(bù)構成對(duì)任何人(rén)→πγ∑的(de)投資建議(yì)。在任何情況下(xià)，本文(wén)作±&€(zuò)者及所屬機(jī)構不(bù)對(duì)任♠✘↓π何人(rén)因使用(yòng)本文(wén)♣∞&≠的(de)任何內(nèi)容所引緻的(de)÷÷任何損失負任何責任。除特别說(shuō)明(mí×±ng)外(wài)，文(wén)中圖表均直&∏α接或間(jiān)接來(lái)自(zì)于'$ ☆相(xiàng)應論文(wén)，僅為(wèi)介紹之用(yòng)，版權≈Ω∑‍歸原作(zuò)者和(hé)期刊所有(yǒ☆Ωu)。