天极大咖秀

登录 | 申请注册

生成式AI进入“幻灭的低谷”期,警惕项目失败的四大原因

DI数智观察 2023-10-07 阅读: 6,111 次

生成式AI被炒作得神乎其神,而且被认为其应用很容易被获取。事实却远非如此。根据Gartner的报告,生成式AI马上要进入的“幻灭的低谷”期。随着生成式AI的进一步发展,过高的期望值和很多的未知因素,使得越来越多的生成式AI失败案例浮出水面。

能量越大破坏越大

项目失败

正如普华永道合伙人兼人工智能市场进入战略负责人Bret Greenstein所言,生成式AI带来的影响远超传统的人工智能或机器学习,因而由此带来灾难的机会也大幅增加。

今年6月新西兰连锁超市Pak'nSave发布的Savey Meal-Bot就是一个案例。Savey Meal-Bot是一个人工智能工具,允许用户上传原材料清单,然后机器人会据此给出一个可以尝试的食谱。它被宣传为购物者省钱的一种方式,因为新西兰人每年扔掉大约1500新西兰元的食物。

Pak'nSave提示用户须年满18 岁才能使用该工具,只有食品原材料信息才能输入聊天机器人。但是没有人来审查食谱,很快地Savey Meal-Bot就开始捣乱了。

到了8月,该公司因此出现的问题很快在全球范围内传播开来。比如,Meal-Bot建议一位用户将“漂白剂米饭惊喜”作为“令人惊讶的烹饪冒险”;“芳香水混合物”更是将致命氯气的配方,将其描述为“解渴和提神的完美非酒精饮料”;“神秘炖肉”则包括500克切碎的人肉,Meal-bot将其描述为“一道美味丰盛而舒适的菜肴,其神奇的味道会让您大吃一惊”。

所幸的是,到目前为止还没有消费者因食用这些食谱而中毒,该工具也已经做了更新,用户只能从有限的一组可食用的原材料中选择。但Meal-Bot仍然制造出令人不快的组合。

另一场备受瞩目的灾难发生在Levidow, Levidow&Oberman律师事务所。当时这家律师事务所的两名律师提交的法律文书中引用了虚假案例。这是他们使用ChatGPT撰写辩词的结果。

一名法官在5月的一项裁决中表示,在法院质疑这些虚假案例是否存在之后,该律师事务所的律师仍旧继续支持这些虚假意见,对该律师事务所处以了5000美元的罚款。

项目失败的四大原因

美国CIO.com网站结合普华永道等机构助力许多公司启动人工智能项目的实践,总结了生成式AI项目失败的四大原因。

原因一:缺乏治理

很多生成式AI项目在治理或监督不足的情况下推出的。Pak'nSave的Savey Meal-Bot项目就是属于这种情况。这是一个公开的案例,而更多公司是在内部犯类似错误。

Greenstein举例说,他一直在与一家中型金融机构合作,该金融机构最近在五个月前应用商用人工智能工具的私有云实例实施了生成式AI。接下来,这家金融机构开放了API,让其业务用户构建自己的应用。

这些用户最先构建的是人力资源聊天机器人,它可以提供福利建议而无须他们承担巨大的责任。例如,如果人力资源工具推荐了错误的选项,员工可能错过一整年的福利窗口;这让人很沮丧,但他们认为因为它是权威的,所以是准确的。

Greenstein不建议公司开放API来让人随意构建想要的应用,而应该在监管下采用一种深思熟虑的、受控的方法来构建生成式AI,评估准确性,管理偏见和处理幻觉。他补充说,应该有个人在整个流程中确保生成式AI推荐的东西是正确的。

这家公司的聊天机器人运行了一个月后获取了不好的反馈。不过幸运的是,此时还没对员工带来严重的影响,但这动摇了领导层对生成时AI的信心。值得一提的是,如果公司过度纠正并收紧了生成式AI战略,可能会错失良机,而让竞争对手快速超越。

事实上,人工智能基础设施联盟(AIIA)7月发布的一项对1000多名大型企业高管的调查显示,54%的受访者表示他们因未能管理人工智能或机器学习应用而蒙受损失,其中63%的受访者表示他们的损失超过了5000万美元。

原因二:成本失控

根据AIIA的调查,成本是大型企业采用生成式AI的第二大障碍。

最受欢迎的生成式AI聊天机器人对公众是免费的。而且人们很容易找到又便宜又好用,且可以带来商业效益的应用。如此使得人们普遍对生成式AI的定价产生误解。企业在严格管控的环境中建设试点项目后,很容易低估广泛部署所产生的项目成本。

在项目中引入外部供应商时也是如此,SANS研究所首席课程总监兼教职员工负责人Rob Lee认为,因为当前缺乏大规模部署生成式AI的经验,因此很难准确地预测相关项目成本。

例如,如果人工智能是通过云部署的,那么每个API的调用都要加起来,而且使用量将很难预测。Rob Lee 认为,部署生成式AI以后,不能再基于旧系统来评估用户行为,因为没有人知道生成式AI会导致用户行为将产生怎样的变化。

过渡成本也是必须考虑的部分,这就像购买新房子后要出售旧房屋一样;如果旧房屋没有按预期迅速出售,就可能不得不同时支付两所房屋的费用。IT领域也是如此。生成式AI由于技术是太新,没有人能准确地预测过渡期需要多长时间,企业能否负担得起期间的成本。

接下来,企业还要考虑为数据集的存储,以及对存储的调用付费。对于某些应用,企业还要在全球范围内多部署存储和备份。

原因三:不切实际的期望

当前,围绕生成式AI的炒作如此火热,使得一些商业领袖可以开始将其视为灵丹妙药。尽管现在市场上理性的声音不断,但是对于那些充满期待的企业领袖来说已经无济于事了。企业对于生成式AI的过高期望已经渗入到商业决策中。这其中有几条非常值得注意:

其一,生成式AI的实施并不像想象的那么简单。

比如说,今年夏天,一家位于美国西部的全球电子产品制造商和分销商希望构建一个内容生成系统,专门用于为客户创建价格文档。这家公司拥有8000 多名面向客户的销售主管,管理着数万个客户;对产品和服务进行定价是为新项目制作工作说明书的持续需求。

事实上,内容生成是生成式AI 的简单用例。该公司认为,人工智能可以查看历史数据,找到过去的相关示例,然后将其应用于满足新的客户请求。

美国亚利桑那州解决方案集成商Insight的产品创新CTO Amol Ajgaonkar认为,生成式AI确实会弄清楚人们的期望——如果给它历史定价,它会进行学习,并给出类似东西的定价。这需要一个过程。

试图向该公司解释生成式AI 的实际工作方式是非常艰难。这是因为该公司的领导层看到的报道都在吹嘘它有多么容易。但事实并非如此。这种想法会导致公司对生成式AI感到失望和项目失败。

其二,不该让生成式AI做其不擅长的事情。

Insight的杰出工程师Carm Taglienti指出,人工智能项目的失败99%与期望值有关——这不是技术的问题,而是对技术的期望值太高。

一家总部位于美国的大型芯片制造商就因为不切实际的期望几乎让AI项目全军覆没。该芯片制造商希望使用人工智能来解决其供应链管理问题,不仅希望人工智能能做它能力范围之外的事情,还想一次就成功。

要认识到生成式AI并非万能,而是让专业的技术做专业的事情,然后将各项技术形成的解决方案组合起来,形成一个完整的解决方案。比如说,应该应用高级分析和机器学习模型来预测未来;此外,尝试使用生成式AI进行简单的数学运算不仅矫枉过正,而且非常不准确,可以通过插件来进行计算,而不依赖生成式AI来计算任何东西。

其三,编写提示糊弄不得。很多公司可能不能理解,编写一代人工智能提示并不像向成年人发出指令。那么简单,而是像给十几岁的孩子提示那样。

Ajgaonkar指出,编写提示需要不断重复,不过也可以采用一些方法来提高人工智能的响应质量,如思维树推理和类似的提示方法,但这些方法需要多个提示来优化响应。但他也提醒,如果对于每一个请求都使用思维树方法并要求解释,有时宁愿以不同的变体运行一千次相同的提示来获取确切结果。

原因四:数据问题

长期以来,缺乏可用数据一直是AI和机器学习项目所面临的问题。AIIA的调查结果显示,数据问题是84%部署人工智能的公司所面临的重大挑战。

举例来说,普华永道的Greenstein最近与一家消费者公司合作,该公司希望启动一个自动化后台处理的项目。他们建立了人工智能服务和云,人才队伍也建立好了。但他们没有预料到访问数据有多难。获取每一个数据源需要公司API许可证,需要通过采购流程。这可能要花上几个月的时间。

同样在这家公司,另一个系统的访问权限控制在组织中处于非常高的级别;还有一个第三方系统是是由用户控制的。生成式AI需要协调所有这些,这是一件急不得的事儿。

不过Greenstein指出,从长远来看,公司将获得所需的所有数据,但需要耗费数月时间。在这种情况下,该公司转向了其他用例,但公司领导层失去了对该项目的热情。

市场调查机构Gartner在8月发布报告称,将生成式AI的炒作周期划为创新触发器、膨胀预期峰值、幻灭的低谷、启蒙的斜坡和生产力的高原五个阶段,并认为生成式AI目前处于第二阶段,即膨胀预期峰值。由于消费者和媒体对其抱有太高期望,生成式AI随后会迅速跌入低谷。我们也理由相信,随着一些先行者的大胆探索实践,越来越多经验将会积累出来,为后续生成式AI真正大范围造福社会做好准备。

___________________________

更多精彩内容,请关注微信公众号:产业数字化

DI数智观察
理性观察数智发展 探寻产业升级密码

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)