作者:肖仰华,系复旦大学教授、上海市数据科学重点实验室主任
来源:澎湃新闻
·通用人工智能是人类历史上第一次关于智能本身的革命,是一种元革命,是历次某个技术革命难以比拟的。大模型的诞生宣告了整个人工智能进入全新的重工业时代。
·反观国内大模型产业,从表象上看是热闹非凡、模型林立,但是剥开外壳,从内里看是发展无序与内核空虚,不免让人担忧。大模型产业发展应该极力避免再走大炼钢铁的旧路,需要统一规划,合作协同,立法保障、有序发展、健康发展。
自2022年12月OpenAI发布ChatGPT以来,国内外人工智能产业界掀起了轩然大波,一场以生成式人工智能为核心的通用人工智能产业风暴席卷而来。国内相关研发机构与企业纷纷跟进,投入巨大资源发展类ChatGPT的各种大模型与产品。据不完全统计,在ChatGPT发布后的短短4个月时间里,已经有至少30个国内研发机构与企业在ChatGPT发布之后纷纷推出自己品牌的大模型与相关产品。一时间,整个产业圈热闹纷呈、争先恐后,“类ChatGPT”漫天飞舞,“国内首发”比比皆是,资本市场闻风而动、风起云涌。然而,越是表面热闹,越容易掩盖内里的空虚;越是噱头不断,越需要冷静的思考。热闹景象背后是一系列令人担心的问题,只有不断发现问题、总结问题、解决问题,才有可能保障这个产业健康有序的发展。
作为亲身经历者,我们正在见证着由通用人工智能所带来的前所未有的技术革命。通用人工智能是人类历史上第一次关于智能本身的革命。历次技术突破只是人类智能的产物,而唯独通用人工智能是‘智能’本身的革命。我们有可能在人类历史上首次见证一个全新智能物种的出现,它具备人类水平的智能,甚至有可能超越人类的智能。这样一种关乎智能本身的革命是一种元革命,是历次某个技术革命难以比拟的。我们见证了生成式语言模型,以ChatGPT为代表已经席卷全球,两个月之内,吸引了数亿的用户;我们见证了Midjourney以假乱真的文图生成;我们甚至还见证了谷歌最近发布的PaLM-E,第一个多模态的具身的大规模语言模型,它能够用语言模型操控机械臂并完成复杂的操控任务。机器已经从单纯的模拟人类大脑的智能逐步发展到与身体相结合的智能,这将引发机器智能持续的连锁的革命。如果机器智能仅限于实现人类的大脑,即便是超级大脑,其作用仅限于逻辑世界,起到辅助决策作用,但是一个武装了身体的大脑,就完全具备对物理世界进行肆意改造的可能。出于保障人类安全的考虑,必须足够重视通用人工智能,极力规范与控制其发展。
这一波通用人工智能产业浪潮始发于大规模生成式语言模型,也就是人们常说的大模型。最近几个月,国内人工智能各大厂商纷纷发布自己的大模型,可以说是热点纷呈。以往人类历史重大事件的发生一般会用年、月来作为度量单位,从来没有像今天这样,需要用天为单位记录某个变革事件。这一现象本身就已意味深远,人类社会可能已经经历了未来学家们曾预言过的奇点时刻,回过头来看可能是人类历史发展史上非常重大的历史事件。最近几个月,我们也看到了诸多的产业界巨头纷纷布局自己的大模型战略,可以说“不入局就出局”已经成为人工智能企业发展的基本态势。
观点:攻击者地址12亿枚aUSD尚未转移,Acala或通过公投进行回滚:8月14日消息,Cryptolingo DAO 创始人、推特用户 /img/20230515155416898728/0.jpg "/>
放眼世界,我们看到西方世界围绕着大模型已经初步形成相对完整的产业生态。根据http://theresanaiforthat.com统计,截至2023年5月5日,国际上涌现出了近4000家AI创新企业。自从2022年9月以来,新的AI企业的诞生数量随着时间呈指数增长。这些创新企业有相当数量是围绕大模型周边产品的生态企业。这些有如雨后春笋般涌现的生态企业,多围绕着大模型落地的最后一公里中的应用痛点问题进行市场定位,解决特定场景的大模型落地痛点问题,解决大模型在行业应用中的痛点问题。可以说大模型对于整个生态发展的引领与带动作用是十分巨大的。生态企业的发展进一步反哺大模型自身,周边与核心双向拉通、连锁反应,势必带动整个人工智能行业的发展。可以说ChatGPT的出现是人工智能产业发展的分水岭。ChatGPT之前,人工智能产业处于手工作坊阶段,需要经历漫长的原始积累与技术储备,不断消磨人们的耐心与观望。ChatGPT之后,人工智能产业进入了重工业时代,迎来了快速发展、规模化聚集的新阶段,躬身入局、时不我待或许是当前从业者心态的最真实写照。此刻,以全部的热情与经历投身于人工智能辉煌发展的新时代都是不过分的。
反观国内大模型产业,从表象上看是热闹非凡、模型林立,但是剥开外壳,从内里看是发展无序与内核空虚,不免让人担忧。一方面,几乎所有国内人工智能产业的重要企业与研发机构纷纷推出了自己的类ChatGPT大模型。这说明,大家都意识到了生成式大模型的重要意义,意识到了短板与落后,发奋图强,奋力追赶。另一方面却是大模型产业发展已经出现一些问题,包括同质化严重、数据生态不完善、算力掣肘、模型创新有限。当前的大模型产业发展很像上世纪50年代的“大炼钢铁”运动,轰轰烈烈的全民大炼钢铁运动造成了人力、物力、财力的极大浪费。不同的是当年的运动是自上而下,今天的运动是自下而上。大模型产业发展应该极力避免再走大炼钢铁的旧路,需要统一规划,合作协同,立法保障、有序发展、健康发展。全民大炼模型的后果一定是大模型成为一场代价高昂的华丽的烟花秀。
首先,技术路线同质化严重。比如说很多机构都是基于StanfordAlpaca的工艺过程去做基座模型微调,并利用ChatGPT等当前相对廉价的API生成数据来喂养自己的大模型。同质化的技术路线导致同质化的大模型。如果大家去问一问国内的大模型“你是谁”,很多回答就是“我是ChatGPT”。虽然跟随是战略发展的必经阶段,但是绝不能停留在这一阶段,要尽快形成自己的特色与核心,才有可能最终形成超越或者特色。
观点:若股市和比特币像黄金一样回落,市场或出现动荡:随着美国股市谨慎上涨,比特币(BTC)价格在过去48小时内上涨。最近比特币与美国股市的相关性进一步增强,显示出加密货币市场的强劲势头。自今年4月以来,比特币与标普500指数出现了显著的关联度。市场分析公司CryptoCompare研究人员表示,在过去48小时内,买家正在积极推动比特币上涨。他们说:“比特币的买卖比例在首次突破12k之前大幅上升,表明买家在支撑比特币价格。类似地,第二次反弹也看到比特币在价格前买入和卖出的比例上升,再次表明买家在积极推高价格。”比特币的价格继续随着股市上涨而上涨,但一些分析师对9月份的走势持谨慎态度。历史数据显示,9月份通常是比特币表现最差的月份。加密货币分析师Edward Morra表示,如果美国股市和比特币都像黄金一样回落,市场可能会出现动荡。(Cointelegraph)[2020/8/18]
其次,数据生态不完善。我国仍然要以优先发展中文大模型为主要目标。然而,中文大模型研发生态还存在很多问题。首先是中文数据规模与质量仍存在不足。有数据统计,在互联网公开语料中,中文数据大概只占百分之一点几。这极大地限制了中文大模型的效果。除了规模有限之外,中文数据的质量也存在问题。互联网开放环境的中文语料数据,其质量远不如深网或者企业内部的数据。然而中文数据中的这些问题本身也孕育着新的机遇。行业数据、企业数据通常较为优质,但大都是私域数据,不对外开放。如何充分利用这些私域数据激发中文大模型的潜在价值是发展中文大模型过程中值得深思的重要问题。我们已然欣喜地看到一些数据联盟组织正在积极推动中文高质量数据的汇聚与清洗。总体而言,完善的数据生态需要大家的共同努力。
第三,算力掣肘。英伟达高端GPU对中国供应受限,例如:新型H100显卡对我国禁运。我们的国产算力虽然也很争气,总体来言与国外算力仍有差距。这些差距表现在国产算力生态不完善、单核算力总体而言性能相对较弱、对16位浮点数运算等底层计算技术支持不完善等诸多方面。其中,尽快健全国产算力生态尤为重要。从硬件到软件、从厂商到用户,算力生态需要各种角色共同努力与积极营造,才能让国产算力变得更可用、更易用。
第四,模型创新有限。我们现有的模型多依赖国外开源社区的模型实现,在Transformers结构基础上进行微量创新,或是针对特定硬件和底层软件的Transformers模型结构优化。如果开源社区的模型实现对我们限制,或者存在底层调用链安全隐患,都会对国产大模型产业带来损耗。必须防患于未然,积极发展自主可控的中文大模型开源社区。
针对以上问题,我们应该如何应对呢?我们需要系统性地回应这个问题,需要从数据共享、算力协作、开源生态、人才培养、评测体系、成本控制、应用探索与技术研究等各方面推动大模型发展。
1.积极推动数据联盟的建设,促进优质数据的共享与传播。事实上我国在数据流通和交易方面,还是走在国际前列的。我们成立了很多数据交易中心、数据交易所。政策方面还有“数据二十条”来保障数据的规范化交易与开放。那么依托我国相对完善的数据交易体系,为大模型产业发展量身定制相应的数据联盟与交易机制,就是个值得优先发展的思路。同时在数据交易的过程中,应该做好顶层统一规划,规范数据格式。大模型发展对于统一规范的数据标准要求尤为迫切,比如统一的语料格式、统一的指令格式、统一的标注数据格式。数据的规范化可以极大地降低大模型的数据治理代价。
观点:S2F模型显示比特币可能在2021年年中达到7万美元:加密货币评级机构韦氏评级(Weiss Ratings)分析师Bruce Ng和Juan M. Villaverde表示,S2F模型现在显示,比特币价格可能在2021年年中达到7万美元。“虽然基于与Weiss加密货币周期模型不同的方法,但S2F模型在加密世界广受尊重。现在看来,在未来12个月左右的时间里,比特币将出现强劲反弹。”黄金目前的S2F为62,而比特币的S2F为56,这意味着比特币在避险投资方面可能会与黄金相媲美。
两位分析师表示,宏观经济因素也有利于BTC,美联储在过去13周里印刷2.9万亿美元的新纸币。当投资者对纸币失去信心时,有可能转向投资比特币。另外,机构资金大量流入比特币。对冲基金巨头Paul Tudor Jones投资2.1亿美元BTC。灰度比特币信托基金继续以比BTC铸造速度更快的速度购买。而风险资本家Andreessen Horowitz最近推出5.15亿美元的新基金,用于投资加密网络和业务。(The Daily Hodl)[2020/7/10]
2.大力推动算力联盟,促进优质算力共享与协作。对于大模型产业发展而言,当前算力呈现出分散与异构的显著问题。在实际大模型研发中,GPU往往分散在不同机房、不同数据中心,有着不同的网络架构,不同的权限归属,对大模型的分布式联合训练提出了较高要求。传统超算中心往往存在多卡互联带宽不足的问题,制约了算力效能的发挥。迫切需要将传统集群网络升级为使用了多卡链接新技术的NVLINK、IB等网卡。同时需要加快推进大模型在异构网络环境下的分布式训练等关键技术的研究。对于国产算力,应制定相关政策鼓励发展。国产算力总体而言可以走一条数量换质量、空间换时间的战略。单卡能力不足则通过多卡来提升,以构建更大规模的显卡集群。为显卡设计超一般规格的显存,以容纳更大模型,避免模型切分,来加速模型训练。大模型的算力发展也要考虑到我国算力网络建设的整体发展战略。
3.推动模型实现开源,完善国产大模型的开源生态。在图像生成领域,既有Midjourney这样的封闭的公司化运作的成功案例,也有开源社区自发维护和研究的StableDiffusion模型。且开源模型由于参与者众多,结果更可控、应用场景更丰富、模型演变更迅速。图文生成领域的发展对于大模型发展具有重要参考意义。唯有开源生态才能对抗以ChatGPT为代表的封闭生态。凝聚国内外一切有志于开源运动的力量形成开放的大模型技术社区,打造中文大模型统一底座,积极开展基于底座模型的各种应用实践,充分发挥我国数据资源丰富、应用场景丰富的优势,着力提升AGI的可控性、功能性,以应对来自OpenAI的挑战。
4.创新培养方式,培育大模型产业人才。人才匮乏是当前制约大模型产业发展的关键问题之一。有业内人士预计:“国内能够进行相关技术研发的人才应该不超过1000人,保守一点来说仅有两三百号人”。客观来讲,AGI的到来速度是始料不及的。即便放眼全球,学术界与工业界都没做好迎接准备。除了OpenAI和微软等少数赢家之外,大部分企业和研发机构都是仓促应对AGI的挑战。而人才培养最需要的恰是时间。短期之内是无法培养能够从事大模型产业的专业人才。当前“炼钢炉林立”唯一的正面作用在于培养一批有模型炼制经验的专业人才。在大模型人才培养方面,尤为要注重跨学科、跨专业的复合型人才培养。不仅要培养涉及大模型训练、调优、评测、应用等各个环节的专业技术人才,更要培养兼通行业知识的提示工程师,培养兼通人文社科背景的大模型评测与分析专家,培养兼通大模型技术与产品设计的产品经理。在大模型人才培养中要注重产学研联动的育人体系。育人与产业的边界日益模糊,做产品的过程也是培养人的过程,要在实战中育人,要上马能作战,下马能读书。人工智能产业发展的极高速度对于传统的育人与产业脱节的专业人才培养思路提出了全新挑战。
5.建立大模型的诊断与评测体系,保障大模型产业健康发展。这是保障大模型健康发展的关键举措,同时具有战略意义。掌握话语权的关键在于眼光不能停留在只做运动员,更要积极投身于裁判员的事业之中。大模型的发展需要系统性的诊断与评测,大模型的认知能力、解决问题能力、价值观、倾向、安全性等等需要进行全方位评测。同时要注重建立面向研发环节的诊断体系,需要建立大模型的效用指征体系,建立相应的度量机制,建立大模型的健康评价体系,识别大模型炼制工艺过程的关键因素,建立大模型的诊断与优化模型。从诊断与评测两个视角,建立与健全大模型的诊断与评价体系,建立大模型的评测基准,是大模型产业发展所亟需的,是形成差异化发展路线的关键。
6.研究绿色可持续的大模型炼制与应用技术,降低大模型落地成本。大模型的成本问题也是大模型技术形成产业应用闭环的关键问题。大模型成本巨大,是限制其应用的关键因素。大模型的成本首先是训练成本。虽然互联网开放环境中存在大量语料,但是高质量语料相对匮乏。因此,大模型所需要的大数据、大语料,仍需付诸巨大的人工成本进行清洗。第二类成本是算力。目前主流算力是英伟达的A100或A800显卡,千亿参数模型至少都需要千张A800显卡,一张A800约9万元人民币,再考虑配套设备成本,千亿参数的硬件成本至少是上亿人民币。训练过程中还存在一定的硬件故障,进一步加重此开销。第三项成本是能源。有报道称“大模型训练成本中60%是电费”;知名计算机专家吴军也曾说:“ChatGPT每训练一次,相当于3000辆特斯拉电动汽车每辆跑20万英里”。第四项成本是部署成本。相较于训练,部署时的显卡需求量可能更大,才可能应对极高的并发访问量。国内早期公开的类ChatGPT模型常因为算力有限遭遇巨大的瞬时访问量而系统崩塌。此外,还需要考虑大模型的维护成本。大模型的持续学习、可控编辑、安全防护、价值对齐等等仍需深入研究。绿色、可持续发展、低成本的大模型技术是大模型进一步落地过程中的关键问题。
7.积极探索大模型的应用模式,丰富大模型的应用场景。大模型的应用模式也仍然面临着若干问题。ChatGPT比较好地实现了机器与人类的开放式对话,也就是闲聊。然而实际应用场景多需机器的复杂决策能力,比如故障排查、疾病诊断、投资决策,对于错误有着较低的容忍程度,需要丰富的专业知识、复杂的决策逻辑,需要具备宏观态势的研判能力、综合任务的拆解能力、精细严密的规划能力、复杂约束的取舍能力、未知事物的预见能力、不确定场景的推断能力等。可以说,从开放闲聊到复杂决策仍有漫长的道路要走。大模型如何在千行百业复杂的商务决策中应用仍是有待探索的问题。我们不能只是盲目跟随ChatGPT,要对其能做什么不能做什么有清醒认识。要在领域的复杂决策场景中形成核心竞争力,要重新夺回战略竞争中的主动权。
8.持续研究大模型炼制与应用关键技术,完善大模型技术体系。大模型从炼制到应用仍存在很多技术问题需要解决。首先是大模型的数据治理问题,这是大模型炼制过程中的关键问题。训练数据的有效清洗、偏见消除、隐私保护、数据配比、提示增强、领域适配等仍是大模型炼制的关键技术问题。其次是大模型的可控编辑问题,这是大模型应用的关键问题。如何实现大模型事实、知识与信念的可控编辑?此外,还包括大模型的高并发服务与低成本部署、大模型的推理优化,以及生成式大模型幻象问题。此外,一个长远的研究目标是持续提升大模型的类人认知能力,比如提升大模型的长文本理解以及全局约束理解能力,提升大模型的高级认知能力,比如自省、自识、规划、记忆等。另一个长远研究目标在于大模型之间的有效协同。
最后我想围绕大模型的产业发展,提出一些开放性问题供大家思考。
问题一:我们能否定义一条具备中国特色的大模型产业发展道路?大模型热潮源自美国,我们除了要加速完成技术追赶之外,能否提出一条具有中国特色的大模型发展道路,以形成差异化的发展路线和竞争格局?特别地,对于上海的企业而言,我们能否提出一条具有上海特色的大模型发展之路?在通用人工智能时代,往往只有第一没有第二。所以利用中国特色,比如通过举国体制统筹资源共享,是形成竞争优势的关键所在。
问题二:传统的“先研发再产品”软件系统研发模式是否能胜任大模型驱动的智能系统软件?基于大模型的软件系统目前呈现的态势是:“先产品再研发”,或“边产品边研发”。从研发到应用的节奏显著加快,甚至已经没有了传统意义上的研发环节了,“研发就是产品,产品就是研发”。因此,大模型的带动下,会不会形成一种全新的产品化模式?我们如何做出变革以适应“产研一体化”的全新研发模式?这是未来产品化过程需要深思的问题。
问题三:如何统筹规划大模型产业发展布局?当前国内的大模型研发处于各自为政的阶段,总体处于跟随阶段,同质化产品多、特色创新不鲜明。而随着大模型规模的持续增大,单一团队和机构往往缺少足够的数据资源与算力来完成大模型的炼制与优化。那么,我们如何破除当前大模型发展过程中小炉子林立的问题?如何有效地促进数据联盟、算力联盟甚至人才联盟?政府、市场、企业、科研院所、高校在整个规划布局中各自发挥怎样的功能与作用?
问题四:大模型会对当前的消费者市场形成怎样的影响?传统ToC产品都是功能性的、面向专用领域及专用任务的。而当前的AI正在向通用人工智能方向突飞猛进,最近一些研究工作也让大模型具备了全网信息检索与应用接口调用的能力。大模型发展到今天就好比是一个全科医生,什么都知道一些,但是一旦到了专业问题可能还是需要咨询某一个专科医生。换言之,大模型的入口功能显著。入口的本质是用户接入、交互与分流。这恰恰就是ChatGPT类产品最擅长的能力。那么,当前的很多互联网专用功能性平台是否会被这个全新的统一入口所取代而只剩下一个基于ChatGPT的统一门户?每一次互联网入口的变换都是互联网行业的一次变革,ChatGPT类的通用聊天大模型是否会成为各类互联网生活服务的统一入口?大模型时代的未来ToC产品的基本形态是否会发生变革?
问题五:大模型会对当前的企业端市场形成怎样的影响?企业端市场也就是我们常说的ToB市场也将会因为ChatGPT的到来而迎来一场全新变革。如果与传统的汽车制造业类比,大模型对于ToB市场的首要意义在智能引擎升级。ToB产品是建立在智能引擎基础之上的,传统数据驱动、知识驱动或者二者联合驱动的智能引擎,将会被全新的大模型引擎所重塑。然而正如前文所述,大模型在领域复杂决策应用场景上仍然有明显的短板与不足,尚达不到领域专家的能力。因此,我认为未来仍是以大模型为代表的数据驱动与领域知识图谱为代表的知识驱动相结合的双引擎驱动模式。由大模型实现领域专家的直觉决策,由知识图谱实现领域专家的逻辑决策,唯有两者结合才能复现领域专家解决问题的能力。如果与传统的操作系统类比,大模型可以作为ToB产品的控制器。作为具有一定的领域通识能力的大模型,有能力胜任企业级智能系统的控制器,协调传统的IT系统。然而在上述远景产品研发中,我们仍然面临许多具有挑战性的问题。比如,如何协同领域知识与大模型?如何实现领域专家的直觉推理?如何实现领域知识与逻辑增强的大模型?如何实现领域大模型的安全与可控?
问题六:ChatGPT为何没有诞生在中国?如何避免错失下一个ChatGPT?我相信这两个问题会触发大家太多的思考与感叹。我们鼓励创新,却极少能够宽容失败;我们尊重人才,却又不断建立条条框框;我们在太多无意义的事情上内卷与消耗,却极少愿意停下脚步花上片刻欣赏路边的芬芳;我们每个人都似陀螺一样不停旋转,每一步都是最优的理性决策,却错失了可贵的原始创新。久而久之,我们似乎习惯了追赶的惊心动魄,失去了引领的自信与大度。我们需要彻底反思我们的科研文化、科研生态,要避免在盲目追赶中变得麻木与沉沦,要更多地以闲暇与从容的姿态去思考去批判。
由ChatGPT所引发的通用人工智能产业变革,相信才刚刚开始。我们需要以更深切的思考、更扎实的实践,牢牢抓住大模型以及其他通用认知智能技术给我国数字化转型与高质量发展所带来的全新机遇。同时,我们也要正视发展过程中出现的问题,积极规范与引导大模型产业的健康发展。大模型绝不是宣传文案中的噱头,也绝不能成为一场华丽的烟花秀,而要成为实实在在的能够推动社会发展与进步的先进生产力。
出品:DODOResearch作者:Flamie 背景 随着宏观经济环境的变化,DeFi产品正在适应并改变。在DeFi1.0中,可持续的稳定币收益是一个支柱,但现在低风险工具的收益率已经低于传统金融市场.
1900/1/1 0:00:00作者:科技新知 图片来源:由无界AI工具生成ChatGPT的横空出世,算是接管了元宇宙的“疯狂游戏”。由后者衍生出的数字人产业,虽然商业路径屡受质疑,但如今借着AI东风,再次被炒得火热.
1900/1/1 0:00:00金色财经报道,洲际交易所旗下的Bakkt在2月份停止了其面向消费者的应用程序,因为它不再是零售业。监管指导和行业发展导致洲际交易所的加密业务Bakkt大规模下架了一些数字资产,包括一些著名的去中心化金融(DeFi)代币.
1900/1/1 0:00:00自2020年10月至2023年3月,Web3.0领域中在遭受攻击后仍能收回或部分收回损失资金的事件共有25起。在这25起事件中,被盗资金总计约13.5亿美元,其中的9.92亿美元被返还.
1900/1/1 0:00:00来源:量子位 新插件又双叒叕来了!继两个月前ChatGPT爆出插件功能后,这场插件狂欢真就是越来越热闹.
1900/1/1 0:00:00Coinbase首席执行官BrianArmstrong赞扬了阿拉伯联合酋长国对Crypto监管的前瞻性方针.
1900/1/1 0:00:00