推广 热搜: 优化  百度  广告  服务  排名  生活服务  设备    账号  项目 

ChatGPT搜索风暴

   日期:2025-01-01     作者:a6nl2    caijiyuan  
核心提示:—来源:OneFlow搜索引擎的市场格局已经有二十年没有什么大的变化,如今,Google和微软两大巨鳄的交锋再度上演。ChatGPT风靡之时

来源:OneFlow

搜索引擎的市场格局已经有二十年没有什么大的变化,如今,Google和微软两大巨鳄的交锋再度上演。ChatGPT风靡之时,搜索成为大型语言模型(LLM)应用之争的最大战场。

在LLM技术进程方面,Google的相关大模型研发实际上与OpenAI的ChatGPT差不多齐头并进。但刚刚仓促推出的Bard显得很被动,Google官方的解释是,他们需要考虑新技术对社会的影响,不想推出一个漏洞百出的搜索系统。


不过,作为商业公司,任何行为的背后都要考虑经济成本。要知道,搜索中广告市场份额的1个百分点的变化,都可能带来至少数亿美元营收上的幅度波动。Google要将应用效果还不是很好的LLM作为基础技术,引入到全球市场占比92%的搜索引擎业务中,如果没有外部对手发起的强大挑战,很难进行大胆革新。


另一方面,自我革命是一件严重违背人性的事,更何况大厂还有所谓的“大企业病”,畏首畏尾在所难免。


这恰好是微软Bing的可之机,全球市场份额目前占比不到3%,历史包袱很小,New Bing要推出的消息让Google急不可耐。


ChatGPT的用户已经到1亿了,可想而知,如果Google搜索这次不跟LLM,还是按照自己的节奏去逐步更迭,其搜索业务的老底存在被倾覆的巨大风险,要是Google跟了LLM,要承受用户体验不佳的风险,还必须得在已有搜索成本上大出血——大约还要支出300亿美元的成本。


当然,Google与微软双方高层比任何人都清楚这一点,只是前者更多是焦虑不安,后者则是兴奋不已。


综合考虑风险后,Google只能硬着头皮迎战,于是就有了Bard。Bard的意思是“流浪诗人”,根据百度的结果,这类诗人通常行事半调子而不拘小节,样样通而样样松,还别说,这个作风倒是挺符合现在LLM模型目前的能力特质。相较之下,微软New Bing现在像是个牛气哄哄的“拼命三郎”,就想干一票大的,毕竟在某种程度上,Bing已经没什么可失去的了,而且这次很可能还要触底反弹。

那么,ChatGPT究竟会如何影响现在搜索架构以及相关业务成本?此前,OneFlow发布了《ChatGPT背后的经济账》,文章从经济学视角推导了训练大型语言模型的成本。本文则从LLM搜索架构和成本分析出发,探讨了微软Bing和OpenAI利用大型语言模型 (LLM) 对搜索业务的潜在颠覆性,并分析了LLM在搜索中的演进和发展情况。 

(以下内容经授权后由OneFlow编译,译文转载请联系OneFow获得授权。原文地址: https://www.semianalysis.com/p/the-inference-cost-of-search-disruption


作者|Dylan Patel、Afzal Ahmad
OneFlow编译
翻译|杨婷、徐佳渝、贾川

OpenAI推出的ChatGPT风靡全球,仅在一月份就迅速积累了超1亿活跃用户 ,成为史上用户增长最快的应用程序。在此之前,Instagram花了30个月才跨过1亿用户门槛,TikTok用了9个月。每个人最关心的问题是大型语言模型(LLM)对搜索的破坏性有多大。微软此前宣布了一条震惊世界的消息:OpenAI的技术将整合到Bing搜索引擎中。

New Bing会让谷歌坐立不安,我想让大众知道我们正是让谷歌按捺不住的助推器。——Satya Nadella,微软CEO

谷歌近来的举动让大众觉得他们正“焦躁不安”。虽然我们相信谷歌拥有世界上最好的模型和最先进的AI专业知识,但长期以来,他们却没能将自身的领先优势变现。而来自微软和OpenAI的竞争压力正在迅速改变这一情形。

给搜索领域带来颠覆和创新需要投入资金,而训练LLM的成本很高。更重要的是,不管以何种合理的规模部署模型,其推理成本都远超训练成本。

实际上,每周推理ChatGPT的成本都超过了其训练成本。目前ChatGPT每天的推理成本为700,000美元。如果直接将当前的ChatGPT集成到谷歌的每次搜索当中,那么谷歌的搜索成本将大幅上升,达到360亿美元。谷歌服务业务部门的年净收入将从2022年的555亿美元下降至195亿美元。若将“类ChatGPT”的LLM部署到搜索中,则意味着谷歌要将300亿美元的利润转移到计算成本上。

当然,这种情况永远不会发生,在软件/硬件方面改进之前,这只会是一种有趣的假设。


首先来看一下搜索市场的情况。据调查,谷歌每秒运行的搜索查询约为32万次,而谷歌的搜索业务部门在2022年的收入为1624.5亿美元,每次查询的平均收入为1.61美分。谷歌必须为计算和网络搜索、广告、网络爬行、模型开发、员工等支付大量开销。在谷歌的成本结构中,一个值得注意的项目是:为了成为Apple产品的默认搜索引擎,他们支付了约200亿美元。

谷歌服务业务部门的营运利润率(operating margin)为34.15%。如果我们为每次查询分配COGS/运营费用,那么每次搜索查询的成本为1.06美分,产生的收入为1.61美分。这意味着,基于LLM的单次搜索查询费用必须低于0.5美分,否则搜索业务对谷歌来说将毫无利润可言。
New Bing将融合一款新的下一代OpenAI大型语言模型。该模型针对搜索业务进行了定制,汲取了ChatGPT和GPT-3.5的重要经验和成果,速度更快、更准确且功能更强大。——微软

由于有部分未知变量,所以估算ChatGPT的成本是一个棘手问题。我们建立了一个成本模型,模型显示ChatGPT在计算硬件方面的每日运营成本为694,444美元。为维持ChatGPT的运行,OpenAI需要约3,617台HGX A100服务器(28,936个GPU),预估每次查询的成本为0.36美分。

我们的成本模型是在每次推理的基础上从头开始构建的,但它与Sam Altman推文和他最近所做采访所做的介绍一致。

我们假设OpenAI使用了GPT-3密集模型架构,这个架构的参数大小为1750亿、隐藏维度为1.6万、序列长度为4000、每个响应的平均token数为2000、每个用户响应15次、有1300万日活跃用户、浮点运算(FLOPS)利用率比FasterTransformer高2倍且延迟小于2000毫秒,int8量化,纯闲置时间占用50%的硬件利用率,并且每个GPU每小时成本为1美元。如有不同意见,欢迎指出。虽然我们相信我们处于正确的区间内,但很乐意使其更加精准。

如果ChatGPT被整合到谷歌现有的搜索业务中,那么其影响将是毁灭性的。谷歌的营收将减少360亿美元。以下是LLM的360亿美元推理成本。

本文地址:http://sjzytwl.xhstdz.com/xwnews/922.html    物流园资讯网 http://sjzytwl.xhstdz.com/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类生活信息

文章列表
相关文章
最新动态
推荐图文
生活信息
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号