一、前言

矮子能看得更远，只因为他站在巨人的肩膀上。 - Isaac Newton

今天的文章，我将着眼於过去研究，探讨之前的研究人员，在股市预测下应用了哪些方法，来作为之後文章方向的参考。
本篇文章主要参考「人工智能应用於股票市场交易(Artificial Intelligence Applied to Stock Market Trading: A Review)」，若是论文中已有片段，我会直接利用引用功能来撷取。

一般来说，人工智能被应用於金融的三个不同领域：投资最佳化，股市预测，以及市场情绪分析。尽管每个领域都有差异和特殊性，但一些作品提出了不同领域的技术组合。计算金融领域的其他一些研究包括应用於金融市场的动态系统控制(Dynamic Systems and Control)、投资人行为分析(Investor Behavioral Analysis)、网络分析(Network Analysis)和金融产品的聚类分类(Clustering of Financial Assets)。

二、投资最佳化(Portfolio Optimization)

投资组合优化，是确定一个或一组最适合特定投资者的资产组成的问题，通常以投资组合优化为目标。

根据这个命题，目前最常使用的方法是现代投资组合理论(Modern Portfolio Theory)，或者转换成一般人听得懂的说法 - 鸡蛋不要放在同一个篮子。

现代投资组合理论假定投资者为规避风险（Risk Averse）的投资者。如果两个资产拥有相同预期回报，投资者会选择其中风险小的那一个。只有在获得更高预期回报的前提下，投资者才会承担更大风险。换句话说，如果一个投资者想要获取更大回报，他（她）就必须接受更大的风险。一个理性投资者会在几个拥有相同预期回报的投资组合中间选择其中风险最小的那一个投资组合。另一种情况是如果几个投资组合拥有相同的投资风险，投资者会选择预期回报最高的那一个。这样的投资组合被称为最佳投资组合（Efficient Portfolio）。 - from Wikipedia

看不懂? 没关系，因为我也看不懂，根据另外查的资料可以解释成不那麽数学的说法。

风险

风险又可分为两种：

• 系统性风险(Systematic Risk)：不可规避的风险，比如调息、战争、长荣卡运河等等
• 非系统性风险(Unsystematic Risk)：可规避的风险，特定於个股的风险，比如管理人员变动、营收下降。

Markowitz利用数学向我们证明了，非系统性风险是可以透过多元投资来规避的，在此种环境下，个股的风险对投资组合风险贡献很小，取而代之的是由各股票风险水平之间的差异决定，因此投资者能从持有多元化的投资组合获益。

鸡蛋不能放在同个篮子，投资越多元，风险越低
Image by Julie Bang © Investopedia 2020

而有效边界 (Efficient frontier)则代表着，在同样风险的情况下，必定有一种投资组合有最佳报酬。

可乐的风险比Google低，相对的投资报酬率也较低，而线段以下的部分则好比是附近快要倒的家庭工厂
Image by Julie Bang © Investopedia 2020

AI能做什麽

在投资最佳化这块，AI主要用於各个参数的调整，方法从过去的启发式(heuristic)优化，到现在的基因优化与机器学习。

缺点

投资组合理论要求各个投资之间关连性越低越好，并且没有考虑到市场情绪(Financial Sentiment)的问题，但是各个股票之间的实际上是会互相牵扯的，甚至连期货这种过去被认为与股票关系不大的投资，近年研究也表明关系远比过去人们认为的还大，市场情绪影响股价也已被证明是存在的。

三、股市预测(Stock Market Prediction)

股市预测(Stock Market Prediction)最简单的定义：基於过去资料，来预测明天的股票价格。

总算不用对着一页数学公式瞪眼10分钟了

根据资料使用的不同，又可分为两大类：

• 技术分析(Technical Analysis)：主要根据股票的历史价格、成交量等技术数据分析。
• 基本分析(Fundamental Analysis)：主要根据股票的资本、营收等基本数据分析。

利用AI模型金融预测流程图

基於预测对象与实作方法又分为：

• 分类技术(Classification): 对股票涨跌、优劣程度分级，基於SVM、KNN、LSTM等方法。
• 回归技术(Regression): 直接预测未来股价，基於SVR、Random Forest、LSTM等方法。

结论

为了预测资产价格及其趋势，文献中的绝大多数方法都采用机器学习技术。回归技术通常用於价格预测，分类技术通常用於预测资产价格变动的趋势。越来越多的数据被用作输入或特徵，意味着需要用方法来选择和预处理这些输入数据，过滤最基本的信息。深度学习方法是另一个趋势，在最近的工作中显示出有希望的结果，尽管它有显着的计算复杂性，这使得数据选择和预处理变得更加重要。

关於使用资产历史数据的预测，机器学习方法最近被越来越多地使用。具体来说，深度学习方法大幅增加，产生了令人鼓舞的结果。同时，在不同的作品中使用的特徵有很大差异，包括技术和基本面指标。然而，在分析这些特徵对方法性能的贡献方面，研究有限。

可参考论文

• 60种资料、指标用於股价分析
• LSTM & XGBOOST分析
• 深度学习应用於高频股市(5 Min)分析
• 利用LSTM分类股票
• 利用CNN与RNN预测股票走向
• 将资料翻成矩阵後利用CNN分析

四、市场情绪分析(Financial Sentiment Analysis)

情感分析是分析人们对某一实体（如产品）的感受和情绪的研究领域，以评估这些意见是负面的还是正面的，以及它们的负面或正面程度。要进行情感分析，首先需要收集大量的文本，如从社交媒体或新闻网站中提取的、用自然语言写成的文本。因此，应用自然语言处理方法也是必要的。情感分析已经被越来越多地应用於多个知识领域，如计算金融。

在金融领域，一些研究人员测试了新闻和意见对未来资产价格的影响，检查了效率市场假说，其基础是新闻和意见引导投资者，创造市场价格的趋势，从而为投资者在股票市场交易中获得利润提供可能性。

值得注意的是，第一批应用於金融领域的情感分析工作是使用新闻作为输入数据。然而，现在有一种趋势是使用社交网路上的评论，这大大增加了数据的总规模。因此，对这些数据进行预处理并选择最重要的资讯成为这种方法的必要任务。应用於金融投资的情感分析在实践中通常用於决定是否购买或出售所研究的资产，因此，经常与这些资产的历史价格分析相结合。在这种结合中，预测的情绪被用作机器学习算法的特徵之一来预测资产的价格或运动趋势。

第一批应用於金融投资的情感分析工作采用了新闻作为研究对象。由於社交网络的普及，互联网上出现了大量关於金融资产及其公司的评论，这也成为这类分析中最常用的信息来源。然而，很少有论文同时考虑使用这两个来源（新闻和社交网络上的评论）。

可参考论文

• 利用新闻分析市场(一)
• 利用新闻分析市场(二)
• 利用新闻分析市场(三)
• 利用Twitter推文分析股票市场
• Twitter推文+CNN+股票市场分析

五、组合型

组合型论文整合了讨论的两种或更多的方法，通常旨在提高机器学习模型的性能或增加股票市场中交易模拟提供的利润。虽然绝大多数论文只使用了一种方法，但许多文章指出了更好的组合方法，这些都是比较新的作品。

可参考论文

• 增强式学习(Reinforcement learning)应用於股市分析
• 同时运用情绪分析与网路分析
• 市场情绪分析与技术指标分析应用

最後，论文中提出的各种方法的组合显示出相比单一方法的优越性，尽管文献中的组合论文数量仍然很少。

七、结尾

看到这里你可能已经看出来了，由於该篇论文是整合型的论文，因此後面技术部分不多的部分基本上我都直接全部引用了。

完全不用管引用比例的感觉真爽

之後的几天内，我会参考几个比较重要的论文，以台湾股票的资料实作一遍，可能是SVM、XGBoost等简单易用的模型，也可能先清理资料，详细情况就明天再说了，毕竟我的存稿也没了。