东谈主工智能初创公司Cerebras本日晓喻推出Cerebras Inference红色av社区，据称是天下上最快的东谈主工智能推明白决决议。该公司默示:“Cerebras　Inference为Llama 3.18B每秒提供1800个token，为Llama 3.170B每秒提供450个token，比基于英伟达(NVDA.US)GPU的超大界限云快20倍。”

Cerebras Inference由第三代晶圆级引擎(WaferScaleEngine)提供能源，同期由于排斥了内存带宽退却，速率更快。Cerebras称其GPU搞定决议的推理资本是微软Azure云野心平台的三分之一，而使用的功率是微软Azure云野心平台的六分之一。

该公司默示:“Cerebras通过制造天下上最大的芯片，并将统共这个词模子存储在芯片上，搞定了内存带宽瓶颈。”“凭借咱们私有的晶圆级假想，咱们简略在单个芯片上集成44GB的SRAM，从而排斥了对外部存储器和洞开外部存储器和野神思的慢速通谈的需求。”

提供东谈主工智能模子落寞分析的东谈主工智能分析公司(Artificial Analysis)相接独创东谈主兼首席实施官MicahHill-Smith默示:“Cerebras在东谈主工智能推理基准方面处于当先地位。Cerebras为Meta的Llama3.18B和70BAI模子提供的速率比基于GPU的搞定决议快一个数目级。咱们在Llama3.18B上测量的速率超过每秒1800个输出token红色av社区，在Llama3.170B上测量的速率超过每秒446个输出token，这是这些基准测试中的新记载。”

他称，“凭借推至性能前沿的速率和具有竞争力的价钱，Cerebras Inference对具有及时或大容量需求的东谈主工智能诓骗形式的开辟东谈主员特地有蛊卦力。”

值得一提的是，这可能会在统共这个词东谈主工智能生态系统中产生四百四病。跟着推理变得更快、更高效，开辟东谈主员将简略冲破东谈主工智能的极限。一经因硬件限制而受阻的诓骗形式现时可能会雀跃发展，并激励出此前被判定为不行能的改进。不外， J. Gold Associates 分析师杰克·戈尔德 (Jack Gold) 也建议，“但在咱们获取更具体的履行基准和大界限运营之前，现时预计它到底有多优厚还为时过早。”

本月早些期间，Cerebras提交了初次公开募股(IPO)央求，展望将于本年下半年上市。该公司最近还任命了两名新的董事会成员:曾在IBM(IBM.US)、英特尔(INTC.US)和西班牙电信(TEF.US)担任高管的格伦达•多查克;以及VMware和Proofpoint前首席财务官保罗·奥维尔(Paul Auvil)。

这家初创公司还进取市迈出了紧要的一步，本月早些期间遴聘鲍勃•科明(Bob Komin)担任首席财务官。Komin曾在Sunrun担任首席财务官，交流了该公司的IPO进程。他还曾在被雅虎收购的Flurry和被微软(MSFT，US)收购的TellmeNetworks担任CFO。

狠撸

Cerebras首席实施官兼相接独创东谈主AndrewFeldman说，“鲍勃在他的工作生存中一直是一个枢纽的运营交流者，在几家公司担任创业高管，这些公司发明了要紧的期间和营业模式改进，并飞快成长为行业交流者。他在成弥远和上市公司的财务交流方面的丰富警戒对Cerebras来说口角常贵重的。”

海量资讯、精确解读，尽在新浪财经APP

职守裁剪：于健 SF069红色av社区