《大数据与人工智能在金融领域的应用》由会员分享，可在线阅读，更多相关《大数据与人工智能在金融领域的应用（14页珍藏版）》请在金锄头文库上搜索。
1、大数据与人工智能在金融领域的应用本文主要介绍的内容是“大数据与人工智能在金融领域的应用”，主要是偏重于智能投顾领域。目前人工智能的技术话题非常热，有我们一些熟悉的领域，也有一些不太熟悉的领域，最终我们会回到金融。什么是人工智能？一些常见的新闻，包括比如说下面这个是波士顿的机器人公司，现在主要是运用在人工智能人的行动，这里面的机器人会做后空翻，谷歌的无人驾驶汽车，深圳最近有一个无人驾驶大巴都出来了，这些都是最新的情况。包括我们科大讯飞的自然语音识别系统，还有人脸识别，人脸识别已经广泛应用在各个地方，包括现在去有的酒店，入住的时候有一个人脸识别的过程。这些是我们比较熟悉的领域，人工智能正在广泛的应
2、用。实际上在医疗领域、法律方面都有很广泛的应用，医疗领域，在识别的时候，做CT、X光检测之后，如果用机器学习的方法来检测结果，效果比专家的检测结果正确率要高达50%,主要原因是因为肉眼有的时候看不到细小的问题，可以通过机器学习的方法来认识到。在传统制药和新兴制药，人工智能技术也在广泛的应用，可以优化新药研发的周期，提高效率，控制研发成本。在法律领域，国内现在有些法律咨询网站最近已经拿到风投超过1个亿的认可，如果不是这个专业的话可能不是很熟悉，人工智能在各个领域都有非常广泛的运用和趋势。这次主要是谈金融行业，今年的BreakingNews,高盛600人的股票交易团队逐步被智能机器人替代只剩2人，
3、美国摩根大通银行用自动机器几秒内替代之前内部律师需要36万小时完成的工作量。我有一个朋友之前在纽约德意志银行做衍生品交易的，今年也是被自动的系统所取代，他今年初也开始在找工作。当然，因为我个人以前在摩根大通和瑞银工作的时候，当年也是几百个人的交易员，眼睁睁的看着人员在减少，逐步被机器所替代。这些在美国西方市场实际上很早就已经发生了，可能已经发生了有七八年，或者说更长的时间。开始很多自动化算法、智能化的过程。投行每年营收的1/3都投入到IT技术的更新上，花费非常大的资金。最后的效果，很多职位如果是容易通过算法自动化智能化的尽量就会被机器替代，当然这里面有核心的算法。这是一个流行的趋势，之所以很多
4、交易员被机器所取代，是招募了很多开发人员，逐步做算法交易系统来取代交易员的职能。虽然今年的新闻爆出来，但是在过去七八年的时候在海外市场这些金融机构实际上大量的布局在这方面，我们今天看到新闻主要是因为谷歌的阿尔法狗，让大家觉得机器人、人工智能替代人类，甚至在博弈领域替代人类非常强大的能力，让人非常的惊讶。今天简单分享一下在博弈领域人工智能基本的原理，简单扩展到什么是AlphaGO，谷歌AlphaGO的机器人挑战人类顶尖棋手，普通的围棋比赛是150步左右，人工智能学习的核心，在盘中有一个评估函数，怎么训练一个非常好的评估函数是取胜的关键。AlphaGO,首先它有非常强大的计算能力，训练数据包含人类
5、3千万盘面的数据，根据所有的样本进行训练，得到一个高效的盘面评估函数，有一个高效的盘面评估函数，保证它在跟人类棋手下棋的时候，比如说人类棋手可以往前看五步、十步，它可以比人类棋手更好的判断接下来二十步的情况，可以得到更好的盘面评估函数，用到的逻辑是卷积神经网络和蒙特卡洛树状搜寻模型。卷积神经网络是训练盘面评估函数，在盘面中间判断当前的盘面到底是白子占先还是黑子占先，下一步走的时候要走到哪一步有更好的结果，这些是基于对盘面的评估。在AlphaGO深度学习的过程中，首先是对历史对局的数据库得到直接的训练，在这个基础上用神经网络学习并一般化后得到习得策略。第三，通过蒙特卡洛模拟数据用强化学习自我对下
6、得到改良的策略，因为围棋你往下走就有一个结果，通过随机的新样本，最终有一个结果之后，对整个神经网络的权重做调整和优化，AlphaZero不需要原有的人类样本，随机走也可以起到自我训练的效果，通过蒙特卡洛树状模拟随机产生历史对局数据库以外的数据进一步训练，通过回归推导出价值网络的盘面评估函数。为什么要用卷积神经网络，围棋盘面是白棋和黑棋的盘面，最终根据谁占的区域大小确定输赢。卷积神经网络广泛应用于人脸识别，人脸识别技术已经比较成熟了，图像是由像素点组成的，卷积神经网络用一个小的矩阵取平均值，扫过去整个像素点，这个过程中，简单的原理就是找到图形的边框部分，比如说房子和蓝天交界的边界部分，通过扫描可
7、以把边界部分识别出来。人脸一样，通过多次卷积神经网络扫描把人脸上最具特征点扫出来。通过盘面卷积神经网络的扫描发现白子和黑子占区域的范围，很快的识别出来。这是基本的原则。为了扩大搜索空间，增强AlphaGO的学习范围，在自我对下的过程中采用了蒙特卡洛树状搜寻法，为了学习在历史对局数据库里面没有见过的棋局，在值得研究的某些棋局下加入随机乱走的情况，以最大限度的训练AlphaGO。人工智能系统所应该具备的条件，首先就是非常强大的计算能力，还有大数据，这个数据可以是已有的样本，也可以是随机产生出来的自我训练的样本，另外，基于已有的专家系统或者是人类专家之前的系统，当然更重要的是一些算法。结合之后，可以
8、对现有人类的一些过程采用人工智能系统来替代，算法的核心从过去的样本中或随机产生自我学习的样本中训练模型，然后对未来或者是没有发生的事情做一些可扩展的预测。这是人工智能的系统所应该具备的大概条件。回顾一下人工智能技术，在很多方面取代人的功能。主要是行动，波士顿机器人就是能模拟人的行动能力。自动化，机器人有一个运行的过程，包括工业自动化过程中用到的机器人都是模拟人的行动能力。决策，比如说识别、分类、预测，在金融行业最常用到的就是分类、预测、决策能力。另外，最基础的涉及到人类的感知能力，包括对图象的感知，语音、语义识别，文字识别，包括图像识别里面人脸识别，或者是物体的识别。这些都是人工智能最重要的取
9、代人的功能的一些领域。接下来对人工智能机器学习的主要技术，神经网络、决策树学习，深度学习，增强学习，聚类方法，贝叶斯网络，遗传基因算法，分为监督学习、无监督学习、增强学习，金融领域运用最主要的是预测和划分。最基本的Feedforward人工神经网络模型，模拟人的大脑，每一个节点都会受到前一层节点的信息，加总之后通过转换的函数，根据你是做分类还是做时间序列预测，可以将数据转化成二值分布或者是连续性数据的分布，取决于你具体需要解决的问题类型。通过输入和输出训练网络调整它的权重，模拟输入输出的内在逻辑，这个逻辑可以通过一些函数，甚至是一些函数组合来表现的。具体取决于需要解决问题的复杂度，中间的函数可
10、以是连续型的，也可以是非连续型的。可以通过对输出输入数据进行训练，减少误差，使误差最小化，最后训练得到一个内在逻辑关系，这个关系可以是一种很复杂的函数关系表达。tsi；鸽学吧一般深度学习是指这个网络超过十层，通过网络可以模拟函数关系，或者是逻辑关系，可以非常复杂，甚至复杂到这些描述逻辑关系的函数组合超过了人类熟悉的数学领域，或者说人类还不熟悉他们的函数特征。人工神经网络模型节点上的转换函数，根据具体应用领域是做分类还是预测，可以通过相应的数据转化成二值或者连续性数据的结果，具体是取决于应用的方向、领域。影响人工神经网络模型表现的主要因素，当然这中间包括训练算法，本身输入输出，模拟输出输入之间最
11、小差异的算法，能够最快找到全局的优化点。我是研究生的时候做人工神经网络的研究，做金融市场预测，算法部分一直没有特别明显的飞跃，体现在优化的收敛速度及效率能不能大幅提高，这一块我个人觉得随着计算机性能的大幅度提高应该不是最核心的问题。神经网络的内部结构，我觉得最重要的是在训练的时候避免过度拟合，在样本训练的时候，训练人工神经网络的时候并不是说训练的次数越多，让样本内的误差越小结果就会越好，在样本内训练的时候的确是训练次数越多样本误差越小，但是在样本外实际应用的时候有一个临界点，在超过这个临界点之前是可以提高预测或者应用的准确率。但是超过这个临界点之后预测的准确率反而会下降，在机器学习的过程中最核
12、心的问题是要避免过度拟合，算法的核心是找到一个平衡点，让它有最好的学习能力，并保持有一个可扩展的预测应用能力。训练算法方面，包括线性的，或者是平行的计算，甚至是基于算法寻找最优点的过程，核心就是找到平衡点，避免过度拟合的过程。人工智能技术在金融投资领域有哪些应用，在广泛的领域已经开始应用了，前面提到金融行业一方面主要是预测的应用，摩根斯坦利和日本的三菱银行有用对市场的预测，对市场做短期的预测，放在短期大量资产配置里面，Bloomberg应用在公司财务状况预测,比如说上司公司财报超过预期，可以做一些投资。美国的SAC是用机器学习的方法做了收益率曲线变动预测，主要是用在固定收益类资产领域。收益率曲
13、线变动预测对固定收益类资产配置非常重要。我以前在瑞信的时候，因为花大量的精力在交易执行的算法方面，在交易执行的算法和做市交易执行用了很多机器学习的算法。波动率预测，本身在投资和套利领域有广泛的应用，银行用人工智能来做波动率的预测。衍生品交易策略，复杂金融衍生品的定价领域的应用，还有信用衍生品资产配置，信用风险预测。Moodys对债券评级，还有花旗银行消费金融风险管理对消费者市场划分的预测。在商业领域以前用到传统模型，用机器学习的办法，从数据里面学习市场如何应该划分，可以起到比传统统计模型更好的效果。如果大家关注最近的新闻，全球最大的资产管理公司黑石已经开始用智能投顾来取代投资顾问、基金经理的工
14、作。人工智能技术在金融市场预测方面的应用，这方面有一些发表的文章，包括达到一定的程度，在预测市场走势方面的领域是可以应用的。在固定收益类资产配置方面的应用，一半来说收益率曲线有四种状态，当然它的状态变化过程更复杂，包括平移、扭曲等。对于固定收益类资产配置来说，能够更好的预测利率曲线变化的趋势或过程是至关重要的，美国的对冲基金正在使用机器学习的办法来做收益率曲线走势的预测，提高资产管理的风险收益特征。(Si；鸽学吧人工智能技术在自动做市和算法交易方面的应用，提供各类的交易执行算法，减少市场冲击的。人工智能技术在自动做市业务方面的应用，一般正常的做市情况，比如说客户要一个很大的卖单，不希望直接放到
15、市场上，一般会找市场上比较大的做市商，希望有一个买单来接卖单，谈一个价差，直接就达成交易，对市场没有任何冲击。这种情况下一般大的投行都是作为做市商，比如说大的指数性ETF,本身它的流动性不是很活跃，特别是在这种情况下很多对冲基金会找投资银行来做交易对手方来完成，否则直接在市场上交易会对市场造成比较大的冲击，交易成本会比较高。投资银行如果是做市商，对方是卖，你就买，买了以后有一个风险暴露，正常传统的做法是想办法到市场上去对冲风险，对冲之后赚差价，现在因为市场竞争非常激烈，大家都通过提高做市的效率，减少对冲的成本，一般投资银行都有5000-6000家，全球大的对冲基金，养老基金这样的长期客户。投行
16、会通过大数据研究长期客户的交易习惯，有这样的单来的时候立刻算出来有哪些客户愿意作为做市对冲交易的交易方，通过研究长期客户的交易习惯，在某一单过来的时候会主动想办法算出其他第三方的客户愿意承担交易对手方的可能性。这个时候会主动的通过客户端把做市对冲交易的信息发到潜在客户里面，这个时候潜在客户交易员通过客户端可以直接按一个按钮就完成交易。因为长期研究客户的交易习惯，几十家里面可能有一两家愿意做交易对手方，一个客户是要卖，另外一个客户要买，对它来说这个交易就撮合了。在海外自动做市、交易系统广泛的用这种算法来提高做市的效率，减少他需要产生的交易成本。交易执行市场的潜力，中信证券2012年净利润是42.37亿元，若非经济业务采用二代算法利润可提高17%,而若采用三代算法利润可提高26%。整个市场若采用二代算法可节省400亿交易费用，三代算法可节
