AI 成谎言制造机，资本涌向打假科技

作者|Lexie

编辑|Lu

来源丨硅兔赛跑

图片来源：由无界AI工具生成

过去几个月掀起AI小高潮，先是OpenAI的大模型GPT-4公布，多家测评表示比ChatGPT准确许多，学习速度也更快；随后不久ChatGPT宣布将实现对插件的支持，表示它可以通过第三方服务为用户提供更强大的功能。

这些消息让全网兴奋不已，将AI的聪慧捧上神坛之时，AI却也在悄悄展露自己的另外一个黑暗面，那就是它撒谎不打草稿的能力。

生成式AI：谎言制造机

我们都知道，AI的强大之处在于能够快速收集来自各种源头的信息并根据用户的特殊指令“见机行事”，这就说明即使是非常荒谬和片面的信息也可能被借AI之口说出，谣言就这样因其表述的合理性和完整度被大众接受和传播。

新闻评级网站Newsguard最近进行了一项尝试，他们让ChatGPT以反新冠疫苗者的口吻进行对话，结果AI生成了一段看似非常合理的言论，“有理有据”的讲述疫苗制药公司如何不择手段，甚至对儿童健康产生极大负面影响他们也不在乎。

这样的技术落到造谣者手中，就会有许多无知大众上当受。

比尔·盖茨：AI 将颠覆教育，但短期内“失败将远多于成功”:金色财经报道，比尔·盖茨在 ASU GSV 峰会上与全球教育科技“独角兽”公司 DreamBox CEO Jessie Woolley - Wilson 就教育科技的话题展开对谈。

盖茨认为，大量资金涌入教育科技行业将推动该领域的变革，帮助实现教育公平，但投资者应做好失败的准备：AI 领域的不断突破无疑将颠覆教育领域，教育公平在不远处，但这并不意味着投资者应盲目进入。目前来看，许多关键进展都发生在平台层面，非常依赖谷歌、微软和 OpenAI 的突破。比尔·盖茨相信，AI 革命正颠覆教育行业，但现在入局教育科技领域成功的机会仅有千分之二。[2023/4/24 14:22:37]

ChatGPTantivaccine

不仅是文字，AI在图片和视频上造假的功力也了得。

川普被捕的一系列假照片在网上被疯狂转载，这些用AI工具MidJourney创造出的图片十分以假乱真，即使某些细节并不合理-比如图中的川普有三条腿，还是不妨碍网友们大肆转发并信以为真。

Trumparrestedpic

而视频因其复杂性常常给人难以伪造的假象，殊不知只要在图片的基础上稍加技能视频造假也并没那么难。

Deepfake技术的出现更是让这件事变得十分简单，像是马斯克为加密货币交易平台打广告、拜登和奥巴马打游戏、假阿汤哥打高尔夫球和变魔术、还有无数女明星被换脸进片都是deepfake的产物，除了鉴伪专家，普通人实在难以分辨真假。

MakerDAO 关闭其 AAVE-DAI 直接存款模块:金色财经报道，在 6月15日治理投票通过后，去中心化、抵押稳定币DAI的构建者MakerDAO已于 6 月17日21:04UTC关闭DAI 直接存款模块（D3M）。

D3M 是与 Aave 团队合作创建的，并于 2021 年 4 月推出。据 MakerDAO 智能合约团队的Sam 称，该模块允许 Maker 协议为 Aave 上的 DAI 市场实施最大可变借款利率。

Maker协议现在已将其最大借贷利率暂时设置为0。借款利率为0时，Aave D3M模块关闭，不会将新的DAI铸造到Aave的借贷市场。（Coindesk）[2022/6/19 4:38:20]

Obamaplayingvideogame

deepfaketomcruise

AI作出滑稽的梗图或许可以博网友一笑，但虚假信息在某些场景下的负面影响却是致命的。

2020年“犯罪科学”的一项报告显示，在未来15年内AI可能创造出的安全威胁中，深度伪造被列为最严重的一项，而哈里斯民调机构的调查也显示，美国有67%的成年人对生成式人工智能技术的安全性倍感担忧，只有约29%的被调查者表示从未用过这项技术也并不打算使用。

公告 | 雪碧交易平台2月25日开启Deep AI Network的认购:据官方消息，Deep AI Network（简称DAN）将于雪碧交易平台开启两轮认购，第一场2月25日17时-18时，1DAN=0.12USDT；第二场2月26日17时-18时，1DAN=0.24USDT，用户认购前需实名且持有7000个XB。平台将于2月27日14:00开放DAN/USDT交易。

深度AI网络（Deep AI Network），是一个实践了“人工智能+区块链”的区块链产品，能够在区块链上实现智能协作、开源的底层系统，打造了一个平台，提供了相应的编程语言，使开发人员能够利用人工智能算力和区块链技术来建立和发布分布式应用。

雪碧交易平台成立于2019年，创始团队来自火币，已获得BiKi产业基金战略投资，注册用户约10万，是一家“社区联邦制”的数字资产交易平台。[2020/2/24]

打假AI：没那么简单

目前许多AI技术的开发者都相信这一问题需要“以攻”，科技创造出的麻烦要科技去破局，在这一点上，科技大厂们已经在行动了：

●Google早在2019年就发布了一个大型开源数据库，招募演员录制了视频后利用网上现有的deepfake技术进行伪造，最终生成的视频数据可以帮助打假技术的开发者更好学习deepfake的算法和逻辑。今年Google还在欧洲地区开始了用付费广告进行对反信谣和鉴别虚假信息的大型宣传。

Googledeepfakedatabase

●微软在去年推出了一个叫做“VideoAunthenticator”的工具，它能够对画面中渲染边界和灰度等级进行逐帧的实时分析进而生成可靠指数，以此来帮助用户鉴别内容的真实性。

动态 | 比特币钱包 Samourai 宣布不支持指纹解锁:比特币钱包 Samourai 官方发布推文回复用户质询表示，Samourai 钱包不支持指纹解锁，也不鼓励用户使用 Google 进行指纹扫描，并提醒用户，不要将自己的生物识别数据连接到比特币钱包甚至任何设备上。[2019/9/28]

MicrosoftVideoAunthenticator

●Meta此前也推出过和Google类似的开源数据库，还和微软及MIT、牛津、UC伯克利等高校联合发起了提供1000万美元奖金激励的挑战赛，鼓励更多检测虚假信息和深度伪造技术的创新。

●Twitter会对经常发布deepfake和虚假信息的账号进行封杀，还会将比较可疑的内容打上标签，并且在用户转发这类内容时还会进行“确定要转发吗？”的提问。

Twittermanipulatedmedia

●TikTok最新推出的社群规范规定使用真实场景进行合成的内容必须被明确指出，这就说明所有以生成合成式AI创造出的内容必须在标题或者tag中使用“合成”“虚假”等词汇。

虽然科技巨头们在技术和预防上都在努力，但虚假和伪造信息似乎并没有减少。

声音 | SpankChain CEO：Compound 上出借 DAI 存在智能合约风险、中心化单点故障和挤提风险:SpankChain CEO Ameen Soleimani 发布博文列举了在 Compound 出借 DAI 的风险，他在文章中称，自己管理公司近 50 万 DAI，根据 DAI 10％的利息，大约每个月能产生 4000 美元的收入，如果将这些 DAI 放入 Compound 中是有机会成本的。此外，在 Compound 放贷还有很大的风险，包括智能合约的安全风险、中心化单点故障（他解释，Compound 是一个托管系统，如果管理私钥泄露，所有租借池的资产都可能被盗走）和挤提风险（资金利用率高达 98.62% 的 Compound 没有足够的资产储备保证出借人随时取回资产）。[2019/9/5]

打击虚假和伪造信息难度之大有很多原因，比如首先需要对什么是虚假信息进行一个准确的定义，在这点上许多平台并做不到，因为虚假信息并不是在每个场景下都可以被简单甄别，而当虚假信息被用多种语言传播到世界各地，难度就更大了。

同时很多时候信息本身并不是谎言也不是被伪造出的内容，而发布和传播者只是巧妙地用了随意选取的方式来误导网民，这类内容尤其难跟虚假信息进行分别。

再有，对社交媒体等平台来说，击打虚假信息从来都不是他们商业目标的重中之重，当一件事只是为了符合规范却并不能带来利润，显然微薄的动力致使打假的脚步走的异常缓慢。

正因如此，许多人将眼光和希望放在了一批正在将精力全部放在开发鉴别虚假信息技术的初创公司身上。

资本涌向打假初创公司

投资者的资本也伴随着大众迫切的希望涌向了这些初创公司，在过去几年间，数亿美元被投资进了这一赛道。

DisinformationAndMisinformationMitigators

孵化于硅谷加速器NexCubed的Blackbird已经开发出了一套成熟的鉴伪技术，因在击破新冠谣言方面表现出色而开始被知晓，它的专利算法技术可以通过即时对上亿个数据点的分析搞清楚虚假信息的源头和传播者。

这一技术使用五项「风险信号」来对虚假信息进行甄别，包括“叙事口吻”-对信息和对话背景进行分析；“社群网络”-对用户及分享内容之间关系进行分析；“族群”-对有类似兴趣的用户是否聚集加剧信息分享的幅度进行分析；“操纵”-对信息的合理使用进行分析；以及“”-分析传统意义上比较明确的真与假。

BlackbirdCONSTELLATIONDASHBOARD

Blackbird还在今年推出了一个叫做RAV3NCopilot的AI助手，通过使用生成式AI来制作叙事性智能和风险报告，为虚假信息安全隐患提供更多的背景分析，以此帮助安全部门进行更加高效和自动化的监控和分析。

Blackbird目前融资总额为1000万美元，服务领域涉及品牌、金融、企业及公共部门等等，客户包括美国国防部及多个Fortune500公司。

背景分析在鉴别虚假信息这件事上十分重要，因为不同场景的信息使用可能会导致真或伪的天壤之别，因其人工智能和自然语言处理防伪技术而知名的旧金山公司Primer最近就对背景智能技术公司Yonder进行了收购。

Primer的神经网络技术可以快速对大量文本进行扫描，根据词语的频率和重点提取主题，快速识别可疑信息，这样以来可以对全球事件进行即时分析，识别用虚假信息进行的大型宣传，对网络安全攻击事件进行反击等等。它的NLP模型结合上Yonder的背景叙事智能分析能力，让用户甚至能够预防性的监控即将出现的虚假信息，快速识别谣言背后的造谣者，分析潜在风险等级，以及对受到虚假信息伤害的品牌和行动用系统提供的建议减小损伤程度。

Primer如今已经完成了1.68亿美元融资，最大投资包括来自LuxCapital的4000万美元B轮和来自Addition的1.1亿美元C轮。

在纽约和特拉维夫都有团队的ActiveFence也是获得了这一赛道最多融资的公司之一，融资总额达到了1亿美元，包括来自GroveVentures和NorwestVenturePartners的A轮，以及CRV和HighlandEurope的B轮。

ActiveFence的技术使用NLP对全网正在进行的对话进行搜索，即使是网络最深处的角落也可以触及，然后通过对“坏种子”式信息的预判进行风险分析，这就意味着它可以预估一段看似无害的对话是否会被造谣者恶意使用，导致更加深远的恶性影响，这种前瞻性对于虚假信息的预防来说格外关键，ActiveFence的主要客户包括社交媒体、音频及视频流媒体、文件分享平台和游戏平台等，覆盖用户总数达到了10亿+。

DeepMedia可以说是一家提供“双管齐下”业务的公司，最初的主营生意是开发出了可以通过翻译、语音合成和配音等技术让用户看起来能说多种语言的工具DubSync，而在这项服务成功被接受后目前研究起了如何监测合成音频和视频的技术，它对其监测工具的训练方式就是通过用自家的合成工具不断生成deepfake，然后考验监测系统是否能够察觉。

创始人Gupta表示现有的像是DeeperForensics和FaceForensics等大型数据库在合成时往往带有强烈的偏见，因此训练出的技术在监测上也有盲点，而DeepMedia的竞争优势在于它所使用的deepfake数据库质量更高，对于网络上现有的deepfake内容的代表性也更强。

这一AI监测工具在预先处理和正式分析方面都十分强大，比如它要想验证一个视频中的阿汤哥是否是真的，首先模型需要对视频中人物的脸部特征进行提取并分析，然后从背景音中提取出人物的真声，接下来这些信息会在一系列的分类器中被检验，最后整体的内容还要被卷积神经网络刷一遍看看生成deepfake的算法是否被使用。

DeepMediadetection

DeepMedia还开始了使用基于视觉的图像分类模型，Google就是用这种模型来进行搜索结果提取的，这样的模型比传统卷积神经网络训练速度要快上10倍。DeepMedia的这一监测业务已经和美国空军下属的实验室达成了合作，目前准确率达到了95%，会在99%的时候在市面上公开发布。

▼

大厂也好，初创公司也好，他们为打假科技研发所作出的努力至关重要。

在未来的5到10年内，AI技术的发展将更快，这也就意味着AI在“撒谎”这件事上会更加聪明，仅靠网友们的人工鉴别肯定是不够的。

许多deepfake赛道的创始人呼吁各国政府的参与也至关重要，比如设立跨国界的对于虚假信息界定和干预的规范条例，比如拨款用于这一类危机的教育和研究等等。

如果AI有善和恶之分的话，那么未来几年在虚假信息这方面可以说是AI自身善与恶的一场赛跑，虽然科技不是唯一的答案，但希望我们众志成城的打假行动能够为我们争取一些时间。

参考来源：

AIiseatingitself:Bing’sAIquotesCOVIDdisinfosourcedfromChatGPT(Techcrunch)

MeettheAI-poweredstartupcatchingfakenews（Wired)

It’sNoLie:StartupsFightingDisinformationAreRakingInCash（CrunchbaseNews)

MeetthecompanyworkingwiththeAirForcetodetectdeepfakes

标签：DEEPDAIOMPFORdeeponionTRENDAICOMP币Yield Token for BXTB

火必APP热门资讯