宇宙链 宇宙链
Ctrl+D收藏宇宙链

两大可商用开源大模型同时发布!性能不输 LLaMA,羊驼家族名字都不够用了

作者:

时间:1900/1/1 0:00:00

来源:量子位

从Meta的LLaMA发展出的羊驼家族一系列大模型,已成为开源AI重要力量。

但LLamA开源了又没全开,只能用于研究用途,还得填申请表格等,也一直被业界诟病。

好消息是,两大对标LLaMA的完全开源项目同时有了新进展。

可商用开源大模型来了,还一下来了俩:

MosaicML推出MPT系列模型,其中70亿参数版在性能测试中与LLaMA打个平手。

Together的RedPajama系列模型,30亿参数版在RTX2070游戏显卡上就能跑。

V神:使用开放的多个ZK-EVM将面临延迟和数据效率低下两大挑战:金色财经报道,V神在其最新博客文章中建议采取开放的多个ZK-EVM创建一个“多客户端”生态系统,但同时他指出这种解决方案将面临延迟和数据效率低下两大挑战,恶意攻击者可能会延迟发布一个区块,以及对一个客户端有效的证明,如果时间足够长可能会创建一个临时分叉并中断几个插槽的链。此外,如果希望能够为一个区块生成多种类型的证明,则需要实际发布原始签名,继而造成数据效率低下。[2023/4/2 13:40:22]

对于这些进展,特斯拉前AI主管AndrejKarpathy认为,开源大模型生态有了寒武纪大爆发的早期迹象。

MPT,与LLaMA五五开

两大Ripple客户分别与Visa和PayDo达成合作:金色财经报道,在线银行应用程序PayDo已与德国顶级银行之一Fidor银行达成合作伙伴关系,后者是Ripple Labs的客户。Fidor与PayDo将一起计划建立更好的支付基础设施,并尽最大努力吸引欧洲和世界各地的客户开始使用在线支付。与此同时,Ripple客户Nium已与支付巨头Visa和FuiouPay合作,以在中国香港创建并推出B2B全球支付工具。[2021/7/20 1:03:31]

MPT系列模型,全称MosaicMLPretrainedTransformer,基础版本为70亿参数。

MPT在大量数据上训练,与LLaMA相当,高于StableLM,Pythia等其他开源模型。

支持84ktokens超长输入,并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。

在各类性能评估中,与原版LLaMA不相上下。

国盛证券分析师:国际央行研发数字货币主要受两大现象推动:国盛证券分析师宋嘉吉认为,国际央行研发数字货币主要受到两大现象推动,一是现金使用率下降,央行担心公众无法得到央行负债,例如瑞典央行、加拿大央行;二是私人部门发行的数字货币崛起,各国央行担心法币受冲击,例如英国央行。此外,宋嘉吉表示,英、美、加、日等大国现金使用率并未下降到“临界点”,现有的货币政策体系也较为有效,它们不认为有必要发行CBDC。(澎湃新闻)[2020/10/9]

除了MPT-7BBase基础模型外还有三个变体。

MPT-7B-Instruct,用于遵循简短指令。

MPT-7B-Chat,用于多轮聊天对话。

动态 | 欧洲打击两大暗网市场缴获大量比特币及门罗币:据cointelegraph报道,欧洲刑警组织5月3日宣布,德国与欧洲刑警组织一起关闭了暗网市场Wall Street Market的服务器,并从被捕的嫌疑人手中查货550,000欧元(613,600美元)的现金、总额六位数的比特币和门罗币、几辆汽车、电脑和硬盘等。在同一份声明中,欧洲刑警组织还正式宣布,芬兰海关已捣毁黑网市场Valhalla(也称为Silkkitie)并扣押了大量的比特币。[2019/5/4]

MPT-7B-StoryWriter-65k+,用于阅读和编写故事,支持65ktokens的超长上下文,用小说数据集微调。

MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。

点亮资本合伙人劳维信:人工智能和区块链是迈向数字商业社会的两大举措:点亮资本合伙人劳维信日前在第十届深圳IT领袖峰会上表示:“我们正在迈进数字商业社会,这有两大举措,一个是人工智能,一个是区块链。比特币作为数字货币,相当于40年前第一代互联网里面第一个应用比较广泛的电子邮件。这个发展还需要很长时间。”[2018/3/26]

该公司致力于降低训练神经网络的成本,推出的文本和图像生成推理服务成本只有OpenAI的1/15。

RedPajama,2070就能跑

RedPajama系列模型,在5TB的同名开源数据上训练而来。

除70亿参数基础模型外,还有一个30亿参数版本,可以在5年前发售的RTX2070游戏显卡上运行。

目前70亿版本完成了80%的训练,效果已经超过了同规模的Pythia等开源模型,略逊于LLamA。

预计在完成1Ttokens的训练后还能继续改进。

背后公司Together,由苹果前高管VipulVedPrakash,斯坦福大模型研究中心主任PercyLiang,苏黎世联邦理工大学助理教授张策等人联合创办。

开源模型发布后,他们的近期目标是继续扩展开源RedPajama数据集到两倍规模。

OneMoreThing

来自南美洲的无峰驼类动物一共4种,已被各家大模型用完了。

Meta发布LLaMA之后,斯坦福用了Alpaca,伯克利等单位用了Alpaca,JosephCheung等开发者团队用了Guanaco。

以至于后来者已经卷到了其他相近动物,比如IBM的单峰骆驼Dromedary,Databricks的Dolly来自克隆羊多莉。

国人研究团队也热衷于用古代传说中的神兽,如UCSD联合中山大学等推出的白泽。

港中文等推出的凤凰……

最绝的是哈工大基于中文医学知识的LLaMA微调模型,命名为华驼。

参考链接:

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

标签:AMALAMALlamaMPTKamaleontLlamaverseMPTC价格

狗狗币最新价格热门资讯
梳理ARK Invest的Crypto持仓变化情况,木头姐看涨有多坚定?

本文来自:Blockworks编译:Odaily星球日报Azuma 有着“木头姐”称呼的女股神CathieWood一直以来都是华尔街最大的?Crypto多头之一.

1900/1/1 0:00:00
歐盟数字金融監管新規MiCA來了,你最需要了解什麼?

欧洲议会于?4?月?20?日通过了欧洲加密资产市场法规。据悉,欧盟是世界上第一个引入全面加密法的主要司法管辖区,通过没多久后,美国国会派遣十几名国会工作人员负责了解欧盟新的加密法律框架.

1900/1/1 0:00:00
DEX 范式的变迁与发展

Tips: AMM与RFQ实际代表着DeFi和TradFi思维模式的差别AMM提高资金利用效率的方式是通过LP杠杆化实现的RFQ模式对于跨链交易有天然的优势CorePools的引入将显著改变Balancer的收益结构关于价格区间的流动.

1900/1/1 0:00:00
Fusionist:强技术力获Unity认可,冲破“链游换皮困境”

纵览过去的一个周期,GameFi?产品从无到有、从新生到强盛,这一产品类别无疑为加密世界开创新的用例和产品品类。但所有的加密投资者都深知一个事实,GameFi?仍然是强金融属性的,其“游戏”属性只能说聊胜于无.

1900/1/1 0:00:00
坎昆升级将成为以太坊 L2 的转折点

在即将到来的坎昆升级中,以太坊将迎来重大改变,将使得以太坊Layer2的速度提高10x,甚至有机会提高100倍且成本更低。本文将探讨坎昆升级的影响以及可能受益的L2项目。 坎昆升级的影响 坎昆升级将实现“blob交易”类型的实施.

1900/1/1 0:00:00
全球區塊鏈專利狀況研究

区块链是一种安全共享的去中心化的数据账本。近年来,区块链与大数据、云计算、人工智能、5G等新一代信息技术快速融合发展,应用已延伸到数字金融、物联网、智能制造、供应链管理、数字资产交易等多个领域.

1900/1/1 0:00:00