(相关资料图)

[礼物]本次openai优化API的成本，主要两个方面，25% input token成本降低，和75%的embedding成本降低。gpt 4的input成本本身是output成本的一半左右，部分人的input token是比较类似的，有一定的缓存机制可以降本，output的结果目前难以降本，主要是考虑的因素较多，大部分难以缓存。另一个embedding的成本降低，本身embedding是一种矩阵降维的技术，是一种通过矩阵计算后的升维来替代原本高维度的矩阵，本次embedding成本的降低属于计算方式上的成本降低。
[礼物]AMD的发布会，苏妈表示大模型推理成本最终在于参数量与显存。目前AMD MI300X 使用HBM3技术后，可以达到192GB显存，采用AMD的技术将降低卡的数量。海力士的24GB HBM3产品Q4发货，H100 MI300的显存容量将会升级，但HBM3的成本高，价格贵了40%，算力成本上跟GPU相关的近几年仍会处于高位。
[礼物]OpenAI最新的采访表明模型参数量目前还在维持缩放规则，更大的参数量打来更好的模型表现。模型的本质是压缩，当前息压缩到极致后，新产生的息需要定期不断压缩到模型内，因此模型的参数量往后会不断变大，雷同于手机内存逐步增大的趋势，算力芯片的需求是不断上行的。
[礼物]根据雪球上流出的参数表，寒武纪在HBM2E的技术上实现了96GB显存，根据产业链调研类似2+8封装，超大显存的chiplet也在合作方roadmap之中，同时公司HBM3的技术也在研发中，可以期待大显存版本的新品。
[礼物]通富微电有完整的1+4、1+6 CoWoS技术，2+8的技术也会在国内厂商扶持下快速突破，AMD MI300虽然暂未看到在大模型领域的突破，但跟通富在XPU上和合作仍然在持续增加，CoWoS后道除了MI300外，还有最新发布的强大的采用了chiplet技术的CPU，跟以往的MI250系列等。因为目前AMD CPU的量远大于GPU系列的数量，因此AMD发布会上展示的强大的CPU，是近几年AMD与TSMC在先进封装领域积极合作的结果，这对于通富来说利好大于利空。
[礼物]本次openai降本的动作，对AI全行业是促进作用，计算的成本会降低，但显存导致算力卡的数量需求不会降低，往后看是快速增长的趋势。降本对NVIDIA的股价没有影响，收盘站稳了万亿市值。每一次降本，都将带来应用的快速普及，都将带来强大的算力卡的需求。以往的硬件是一颗CPU支撑成百上千个应用，这个模式在AI领域是相反的。一个应用的部署，背后需要的是加载好模型的大规模算力集群，每一次应用的动作都将触发大量的算力。因此应用的上量前置条件是算力的上量，看好应用与算力板块持续上行创新高。
强烈推荐寒武纪 浪潮息 通富微电 工业富联 龙芯中科 中科曙光 紫光股份 等算力产业链核心标的