机器学习技术在币种分析中的应用
谈到机器学习,大家可能会对这个AI方面的概念比较陌生,但如果提到谷歌AlphaGo,大家肯定就很熟悉了。当年谷歌人工智能程序通过机器学习的方式掌握围棋比赛技巧后,轻松击败了多个国家的围棋冠军,时隔3年世界冠军韩国李世石宣布退役时,还高呼AI不可战胜......通过机器学习训练后的计算机程序,在某些类似比赛和交易这样的博弈场景中,是比人类具有更高胜率的。
非小号研究本次就做了一个硬核的试验:将机器学习技术应用在币种分析中,看看会有什么好玩的结论,以及是否真的能够帮助我们判断、交易。
我们的具体课题是,通过现有的市场公开数据预测明日收益率为正还是为负。
这是一个二分类问题,我们可以使用的模型有很多,这里我们选用了以下模型用于实验:逻辑回归LR、线性判别分析LDA、二次判别分析QDA、支持向量机SVC、决策树DT、随机森林RF、渐变提升树GBC等。
本次用来试验的数据主要有三个方面:
赛博数字实验室与秘宝达成深度合作:据官方消息,赛博数字实验室与一站式 NFT 创作发行平台秘宝达成深度合作。赛博数字实验室将在秘宝平台发行“赛博西游”系列 NFT,与秘宝共同打造西游系列元宇宙。
秘宝是基于 Nervos CKB 的 NFT 平台,现已经聚集艺术、音乐、二次元、电影、游戏等各种文化领域的艺术家,以实现多元的加密文化。[2021/9/14 23:23:43]
1、资产的历史数据;
2、相关品种,如黄金原油美国三大股指等;
3、币圈相关币种数据,主要是主流币。
完整的机器学习建立流程
1.首先,特征工程
特征工程是机器学习中最关键的步骤,没有之一。
这有别于大众认知的AI能解决一切问题,人工智能是万能的认知。真实的情况是数据科学家们常挂在嘴边的一句话是“输入的是垃圾,输出的也一定是垃圾”,这意味着特征工程做得好不好会直接影响AI的“智商”。
红鱼量化和DFORK达成深度战略合作:据官方消息,近期,全智能AI量化平台红鱼pro与DFORK达成深度战略合作,共同开发数字货币市场。
红鱼pro是一款数字货币量化交易软件。
DFORK是一个聚合性多链交易的去中心化清结算网络。
红鱼量化将使用DOR多尔币作为平台燃料,底层公链系统通证DK也改为DOR,作为清结算网络的平台币,DOR将在四大应用场景中使用:燃料销毁机制,手续费回购销毁机制,底层公链协议结算gas消耗机制,实体矿机算力挖矿产出DOR。DOR多尔币总量为1.8亿,DOR将在在六月份进行社区投票上线交易所。[2021/5/11 21:47:40]
特征工程不止是数据需要清洗重新组合,还需要将数据进行标准化处理。
2.其次,建模
建模是一个简单的过程,模型在那里,无非是灌入数据后不断地调参优化。国内很多大互联网公司的AI团队也都是在常用模型中选择靴子不断优化,大家的过程都是一样的,没有什么捷径。
声音 | 王小云:密码技术将深度融合5G、区块链等技术,为物联网安全保驾护航:2019物联网密码应用专题峰会在无锡召开。密码学家、中国科学院院士王小云在会上表示,物联网络设施,是经济社会运行的神经中枢,也是可能遭到重点攻击的目标,而密码是保障物联网网络安全的核心技术和基础支撑。密码学是集数学、信息科学、计算机科学和物理学等于一体的深度交叉与融合的学科。密码技术将深度融合5G、区块链、人工智能、卫星通信等技术,为物联网安全保驾护航。(经济参考报)[2019/9/12]
3.评价模型效果
模型的效果评估有很多,常见的有MSE,MAE,取代矩阵,ROC等。
4.最终,应用
当模型对数据的可解释度良好时,模型可用。一般这个可解释度要达到80%以上,90%以上更好,但如果100%可解释就需要注意是否出错了。
对BTC的解释性
数据一
仅有高开低收量,及高开低收量计算的技术指标作为训练数据。得到各个模型解释度如下表所示:
动态 | 雄安中院将积极推动区块链等现代科技成果与司法工作深度融合:据法制日报报道,雄安新区中级人民法院公开开庭审理了上诉人中国平安财产保险有限公司保定中心支公司与被上诉人凌某、王某机动车交通事故责任纠纷一案,双方经合议庭调解达成协议。今后雄安中院将积极推动5G、人工智能、大数据、区块链等现代科技成果与司法工作深度融合,不断提升审判质量和效率,让新区百姓享受到更高水平的司法服务。[2019/3/6]
由上表可以得到,单纯的用高开低收量和技术指标作为特征,在以上机器学习模型中训练,无法很好地解释价格。其实仅从这里就能看出币圈属于弱势有效市场。技术分析得到的尺度是判断二分类正确概率是50%,即模型无效,也与弱势有效市场中技术分析无效,基本面分析和内幕信息有效相吻合。
市场包含三种信息:历史信息,公开信息和内幕信息。
各种信息分别对应不同分析交易策略:历史信息对应技术分析;公开信息对应的基本分析;内幕信息对应的内幕交易。
动态 | 2018年中国银行业‘十件大事’:“银行业深度融合金融科技 充分运用区块链等技术”入选位列第八:据新京报报道,中国银行业协会在京发布“2018年中国银行业‘十件大事’发布会”,其中第八件大事为,银行业深度融合金融科技,相继成立金融科技子公司,数字化赋能重塑业界生态。内容包括,银行业深度融合金融科技,充分运用互联网、大数据、人工智能、区块链、物联网等技术,推进数字化转型升级加速,实现“服务智能化、业务场景化、渠道一体化、融合深度化”。[2019/1/8]
当市场有效时,市场已反映三种信息,故对三种信息的分析均值不能在市场获得优势,某种分析和交易策略均值无效;当市场为半强势有效时,市场已反映公开信息和历史信息,故技术分析和基本分析无效,内幕交易有效;当市场为弱有效市场时,市场只反映历史信息,故技术分析无效,基本分析和内幕交易有效。
数据二
不但有高开低收量数据,我们还增加了相关品种的数据,如美国三大股指,黄金,原油,币圈主流币种等作为训练数据。
为什么认为美国三大股指,黄金,原油,币圈其他主流币种等数据可以插入基本面数据?
虽然这些因素不是直接影响BTC的基本面因素,但是它们和BTC由相同的基本面因素影响,所以这些数据中包含很少的一部分基本面信息。
由上表可以得知:在增加基本面替代特征后,解释度提升了10%以上。
那么提高多少可解释度是模型极限?
经过1000次的实验得到,当随机因子为1730时,随机森林RF模型的可解释度67%,这是所有实验中所有模型中可解释度最高的一组。
模型效果的衡量:
混淆矩阵
混淆矩阵就是分别统计分类模型归错类,归对类的观测值个数,然后把结果放在一个表里展示出来。这个表就是混淆矩阵,把预测情况与实际情况的所有结果两两混合,结果就会出现以下几种情况,就组成了混淆矩阵。如下:
ROC曲线
ROC曲线,又称接受者操作特征曲线。该曲线最早应用于雷达信号检测领域,用于区分信号与噪声。后来用于评价模型的预测能力,ROC曲线是基于混淆矩阵得出的。
ROC曲线中的主要两个指标就是真正率和假正率,其中横坐标为假正率,纵坐标为真正率,下面就是一个标准的ROC曲线图。
横轴FPR:1-TNR,1-Specificity,FPR越大,预测正类中实际负类越多。
纵轴TPR:Sensitivity(正类覆盖率),TPR越大,预测正类中实际正类越多。
为什么解释性不强?
1.交易量数据造假
2.未有数据披露制度约束,未形成一体的基本面数据
3.市场有可能存在内幕信息
目前我们模型中的数据还不够全面,仍然需要更多的努力揭示更多的基本面信息,才能更好地解释BTC价格。
在披露更多信息时,才能促进市场效率的提高,促进币圈的发展,这也是“非小号”作为机构应该做且做好的事情。
是否有使用价值?
虽然机器学习在解决传统问题时都要求正确率达到80%甚至90%以上才可以使用,但是我们能否使用一个解释度在60%-70%之间的模型?
-1.模型是有解释度的,60%也远高于50%,长期预测胜率显著高于50%的多空各一半的平均水平,这有点类似庄家在轮盘中有概率优势一样,时间越久赢面越大;
-2.加入限制条件时可以提高概率,单次若想取得概率优势只能限制使用条件
如下所示为决策树输出的树形图,用红色框起来的枝杈正确率很高,但是只有满足层层条件后才会有交易机会。为了达到盈利目的,交易者要在交易机会与单次交易盈利水平中找到平衡点。
单个树杈局部图如下所示,当满足红框圈住的条件时,正确率提高到93%,这完全达到了使用要求:
对ETH和TRX的解释性
从模型训练结果看,已知特征使用以上模型训练时,可解释度也在60%-70%之间。下面我们列举一些有价值的树杈,树杈概率的提高是基于条件概率提升的。
ETH
由以下ETH树形图可以看出,当同时满足条件
美元比eth收盘价<0.01,eth昨日成交量<3956783616,原油成交量>117392.5,涨跌幅>0,黄金开盘价<1489.25时,时,有93%的正确率,这时交易机会是总交易机会的19.05%(28/147)。
TRX
由以下TRX树形图可以看出,当同时满足条件bch<289.51,bsv>63.5,美元比eth调整后收盘价>0.01,纳指收盘价<8371.12,道指最低价>24290.5,美元比eth收盘价>0.01,瑞波币收盘价<0.32时,有82%的正确率,这时交易机会是总交易机会的23.68(36/152)。
如果以上使用机器学习来分析不同币种交易机会的流程没看懂,也没有关系,涉及到的知识比较复杂。所以,非小号后期将应用很多大数据或AI等技术帮助大家建立分析模型,直接在APP中为大家提供易懂和好用的币价预测工具或投资策略参考,一键体验。
2020年减半数字货币2020年可以说是币圈大事件频发的一年,从年初大家一致期待这个减半狂潮之后,数字货币会迎来一个大的爆发。特别是对于比特币矿工来说,但是事实没有人们预想的那么好.
1900/1/1 0:00:00以往,多空通吃,是一些新手交易者常犯的错误,表面看起来利润不菲,反而会影响大趋势的判断和操作,下跌的行情支撑一定是用来抛售或离场空单的,而不是尝试逆势博反弹的,反弹的阻力成为了入场继续顺势交易的关键,拿不住利润的习惯是通病.
1900/1/1 0:00:00当年三国孔明入西川,于鱼腹铺布下石头八卦阵,称之为10万雄兵,以抗东吴军。今天,如果谁掌握和领悟了布林线,可抵得过10万美金.
1900/1/1 0:00:00投资有风险,入市需谨慎。金色只是提供资讯,不做任何建议,请各位读者理性对待。最近,波场Defi大放异彩,相比较于以太坊动辄几十刀几百刀的手续费和卡壳拥堵的用户体验,其低到忽略不计的手续费和接近丝滑的Dex体验隐隐有接替以太坊上面的去中.
1900/1/1 0:00:00尊敬的LOEx用户:LBR技术升级维护已完成,LOEx国际站将于2020年9月4日12:00恢复LBR充提币通道.
1900/1/1 0:00:00尊敬的OKEx用户: 为了营造区块链行业健康的数字资产环境,优化项目的流动性,给用户提供良好的交易体验.
1900/1/1 0:00:00