解读研究结果
读研究结果时,先问「这份证据回答了哪个问题」,再看结论。以下是你的审查列表,不是系统替研究打分数的功能。
分清楚研究完成到哪里
把数据导入、把策略写好、送出评估,以及评估完成,是不同的进度。完成前一步,不能当成下一步也成功。
| 你拿到的东西 | 可以确认什么 |
|---|---|
| 工具设置或工具列表 | 设置存在;只有连接成功且工具加载,才代表连接可用。这仍不是一次评估。 |
| 提交回复与操作编号 | 工作已送出,可以追踪原操作;还要查它是否成功结束。 |
| 部分成功的结果 | 有一部分成果;要看哪一步失败,不能把它当成全部完成。 |
| 成功结束的评估与产出文件 | 可以审查这次历史评估,不代表未来也会有同样结果。 |
Edgewright 是研究引擎,不会下单。报告里写「可实盘」时,请追问它的依据,不要把历史评估当成已经发生的实际交易。
认清每份结果用的材料
这里的「身分」指的是:哪份数据、哪个策略、哪组设置产生了这份结果。
比较两份结果前,请核对:
- 数据集的编号与商品。
- 策略的编号与版本。
- 评估期间、交易执行方式、资金与成本设置。
- 操作编号、评估编号与产出文件。
例如,你原本只想比较交易成本,却发现第二次换了数据集,就先请工具说清楚差异,别急着把收益变化归因于成本。
在 Soulhall 中阅读评估
从研究页的引擎记录、报告或成果卡片打开一次评估。上面的每个数字都是引擎自己的量测,Soulhall 不会自行计算或补上数字。显示破折号代表引擎认为这个数字在此次执行中没有定义,例如没有亏损交易时的获利因子。
| 标签页 | 内容 |
|---|---|
| 概览 | 净利、最大回撤、交易次数与期末权益,权益曲线,以及标出每笔交易的价格图。 |
| 绩效明细 | 报酬(含年化成长率 CAGR)、风险(夏普、索提诺、卡玛、回撤长度)、交易(胜率、获利因子、平均每笔、持仓时间占比)与成本。下方是每日与每月报酬。 |
| 交易列表 | 每一笔完整来回的进场、出场、方向、持有时间、出场原因与损益。选一笔即可把图表放大到那笔交易。 |
| 逐笔成交 | 引擎的每一笔成交,含持仓变化、手续费与额外成本。 |
最下方的结果来源列出数据集与结果的指纹,让两次评估可以精确对应到产生它们的东西。策略回放会在交易终端上重播这次执行;见策略回放。
参数扫描与运气
参数扫描会用同一个策略跑过一整组参数组合。Soulhall 把它画成热力图:在着色指标选择指标,并选择要显示的纵轴、横轴与区段。每一格都是一次完整评估,点击即可打开。
试的组合越多,最好的那一格就越可能只是运气。因此扫描会附上引擎对最佳格的判定,使用的是折减夏普(DSR):它会校正这类策略在此做过的所有尝试。
| 判定 | 意思 |
|---|---|
| 通过 | 校正后,最佳格胜过运气的把握在 95% 以上。 |
| 接近门槛 | 超过 90% 但未达 95%。值得做保留样本测试,还不能算是优势。 |
| 可能是运气 | 在这么多次尝试下,这么好的一格光靠运气就常常出现。请先做样本外测试。 |
| 无法判定 | 引擎目前无法计算这个数字,因此不做任何判断。 |
如果扫描分成样本内与样本外两段,Soulhall 会并列显示引擎在样本内选出的那一格,以及它在没看过的数据上的表现。只在样本内有效的格子,是被那段期间拟合出来的。
读出风险与适用范围
请要求研究者说明结果适用于哪些商品、哪些期间、哪些交易与成本假设。结论的范围应该跟证据一致。
审查时可以问:「这个结论只在所用期间成立吗?成本提高后还成立吗?缺少哪份数据,会影响我现在的决定?」这些是你要追问的问题,不是每份评估都自动附上的检查。
历史评估不是预测,也不是投资建议。引擎完成计算,仍需要你判断证据是否足以支持这次决定。
辨认过度拟合
过度拟合,可以想成「一直改策略,改到它刚好很会回答这份旧考卷」。旧数据的结果越漂亮,不一定越能回答新的问题。
阅读时,请要求交代试过多少次、改过哪些条件,以及测试数据是否曾被拿来调整策略。不要只收最后最好的一次。
Soulhall 给化身的研究指引也要求交代搜索量:经过大量试验才挑出的数字,不能当成一次明确检验得到的同样数字来报告。你可以先写下可能被推翻的假设,再研究,避免看完结果才换问题。
让每个结论都找得到依据
请把重要结论和评估编号、产出文件对在一起。只有文字摘要时,要求补上原始评估与文件,读得到它们再下判断。
引擎的评估详细数据可带出产出文件的识别资讯,工具能依这些资讯读回文件。你可以要求:「指出支持这段结论的评估与文件,说明里面哪个结果支持它。」找不到依据的部分,就标成尚未查证。