一个月就能做个手机APP…■,自平台上线以来•=,•◁△◁○◇“A加速卡的开发者不能够快速把他的工作迁移到B开发者的卡上○●★■,无论是实验性试错▪-•,互联网时代几个人凑一凑☆▽●,背后的逻辑是支撑算法所需要的算力遇到了瓶颈▼▪…,并享受无问芯穹提供的大模型开发工具链服务=▷○••。千卡异构混合训练集群算力利用率最高97•●.6%□-▲-▼•。□▲▽-△□”夏立雪表示☆◁…◆▽,也没有办法很好将多种异构算力构成整体的大系统快速完成大模型的训练或推理•■。
成立于2023年的无问芯穹入驻在上海徐汇区的模速空间•▽▪•,9月2日宣布完成近5亿元A轮融资▽☆=▼,在成立一年半内◁•…□,无问芯穹累计已完成近10亿元融资△○。上海等地的一线国资•△★△、市场化头部机构以及券商直投等入股无问芯穹▲○★▲▷•,多方协同拟化解大模型算力瓶颈△○…◁。
算力与单芯片算力◁◁=○、单芯片算力在场景中的效率以及芯片数量相关◆▲。其中…□▪▷▪,单芯片算力性能取决于芯片企业的开发■◁▽★,单芯片算力在场景中发挥出的效率涉及软硬协同★▽★•□,最终的目标是将所有多元异构的芯片整合成大系统▽▷•★…▼。因此◆☆…●■○,大模型的实际可用算力不仅取决于芯片的理论算力-★▼,还可通过优化系数放大算力利用效率◇▪○●-■,通过集群规模放大整体算力规模=▼■。
…▪…☆◁“任何一家芯片被成规模地使用☆■••-,都是一件难事◇•●。在产业竞争能容忍的时限内▼☆◇=,预训练一个仅7B规模的模型就需要千卡级别的算力□●,这一过程的调优工作极为复杂▷○;不同机器之间存在通信效率差异●☆,进一步增加了优化难度◆◁;另外•=□•,如何在不改变任务计算周期情况下与模型结合并深度优化等…这些都是挑战▽■▽◁☆。☆△◆=”他表示•☆□-▼,无问芯穹的初衷是把算力服务变成水电煤气一样•-★◇▪◇,开发者随时打开水龙头或阀门随时就能使用▼●■,想用多少无问芯穹就能找到多少◁○…,让算力使用更加灵活=●、稳定▲★★△•、简单▼▷☆▼◆◁,降低模型落地门槛…◁=•○。□△“云服务公司的典型模式是大客户带着小客户跑◁▪•★◆★,大客户为云服务公司提供经验●-,云服务公司将这些经验复制给小客户▼△▪。我们也会和大合作方做深度技术交流▷○■◇…,但我们真正服务的还是那些专注于做模型应用的公司-•○○…,这些公司不再需要构建一个百人团队来维护算力集群★▪•▼。●●◆○”
▲▽◇□-“所有大模型应用都讲求落地▼□,落地就要考虑性价比◆▽☆□◁、成本■△○-、应用性◇△★…■▽,很多大模型落地就卡在了成本和应用性上◇▪,很多人有很好的想法■●=△,甚至可能懂一些人工智能模型=◆○…=…,但仅仅给他一台英伟达的裸机●•□,他们并不会用○▪■•。另外△▷▲,即便有研发能力▪■◁★,大模型动辄上亿的投入○▪,也需要考虑成本影响•▪◆▷。◁◆▷◆•●”夏立雪表示◇△,当前裸金属算力超量▪●…■,这些算力只有机器和网络存储值…•,无法开箱即用=□▽,也只有少量超大规模的公司具备裸金属算力的自建能力•★▲•○■。
当前国内算力仍然不足★◁,国产芯片没有被完全用起来▷◇…□-,夏立雪认为●☆,正是由于中间软件层的缺失★•-…▷,导致国内芯片公司无法直接接触到客户△△●□■,产品落后国外2-3代□☆○。▷▷●“我们希望通过我们的平台◆★▷…•,把所有芯片集成起来-○-,芯片商给我们供应好用的算力▲•-•□,我们帮他们卖出去•◁。开发者使用时不需要辨别用的是什么卡▷◆▽△•,就像打开水龙头时□▷▷▪,不需要知道这是哪个水库的水▽◁▲▲••,但一样可以使用它…▲●●▼,带动建立国产芯片生态◆=□●▪。◁☆◇◆”由于能把低成本国产芯片用起来○•,这也为客户带来了高性价比的算力-▷◇◆▪▽。
夏立雪说△▷=◆△,成本太高了•○▷☆○。就会出现更多的新可能性▽--…。现在都卡在了算力成本上▪◆☆▷◁,●▲=○”他表示●◇…,造成算力资源浪费★△•▲▽。无问芯穹可将训练总时长压缩30%□★◇。以亿为规模的算力成本太高▷…••△▪,但现在需要花几千万维护半年的算力资源▷…,中国的模型与芯片更加△-=□“百花齐放▪◇○△▷”■□□△★。
=•△▽◆▲“GPT-4之后算法能力的发展进入了一个相对放缓甚至有人说是停滞的阶段▷■◆…▪,•◁▪“算力成本每降低90%▪★●,烧不起钱□▲-▽。•☆“我们比其他基准方案平均高出约30%▪▷◁▽•。
算力是AI发展的前哨和基石▽◆•,大模型训练和推理需要强大计算资源支撑▲▪=▽。在大模型尺度定律(Scaling Law)的作用下…▼,全球范围内掀起算力竞赛▲■■,算力成本高昂■==•☆△。
无问芯穹本轮融资联合领投方为社保基金中关村自主创新专项基金(君联资本担任管理人)○•△◁▼、启明创投和洪泰基金▷▪•▽▷,跟投方包括联想创投▽◆○•◁、小米…★▽△☆、软通高科等战略投资方▲◇,国开科创◇•●★○▪、上海人工智能产业投资基金(临港科创投担任管理人)•▷☆▽▼、徐汇科创投等国资基金○☆=…•,以及顺为资本◆•☆○…◁、达晨财智=■☆▷▪★、德同资本●…◆★●◁、尚势资本☆▲★•▼、森若玉坤▷★••、申万宏源△★☆▪、正景资本等财务机构◇▷•▽▼■。募集的资金将用于加强技术人才吸纳与技术研发▷▲-,推动产品商业化发展◇△○•▷□,激活异构集群算力资源等•◆▲-●,做AI模型算力的•☆•“超级放大器▷●○▲☆•”▲■◇○•▷。
▷▷▼★“大模型未来一定能把各行各业的智能型任务都解决=▷,只是需要更快速的迭代△▼、更低的试错成本••◁、更多的用户反馈…=◇-▲,在这些事情背后-▽,算力效率很重要◇•。■☆”夏立雪表示=▲,接下来无问芯穹将继续扩大算力规模--,降低算力成本▼▽•▷□★,助推大模型技术演进和应用落地▪△●▼▪□,让大模型产业更快速爆发◆■▪▪○□。
还是开发更强大的通用大模型•◇…-▼•,这意味着在相同的多元芯片的机房条件下/集群条件下▪▼△○…,也是当前大模型行业面临-◁=☆▪“算力荒□○”的一个重要原因▲●◆。无问芯穹Infini-AI大模型开发与服务云平台已集成大模型异构千卡混训能力▼◆•▪▼,○•★▷●•”今年7月▽◁--,需要研发和构建支撑模型能力迈向下一代的算力系统-□。▪◆“生态竖井◁○◇●”成为构建AI Native(AI原生)基础设施的难点•◁▼▷□,目前没有人能够实现更大规模地增加单个模型计算量的大系统□-▷,模型公司决定每一个token解决多少问题==••,
=◁▲•□…“能源公司确定每一度电的价格•▲,●◇▪★▷◁”上海无问芯穹智能科技有限公司联合创始人兼CEO夏立雪对澎湃科技表示•-○……,☆△□◇○★”夏立雪表示◇▪●•★◁,小公司有很多好想法•▼•△=,支持六种异构芯片的大模型混合训练◆◁▷。具备万卡扩展性★•▽•■■,无问芯穹推出千卡规模异构芯片混训平台=-▲,大量异构芯片也形成了▷△=●●“生态竖井○▲▷★▼▼”…△=▪。全行业拼起来才是降低算力成本的完整链条□△★▼。已有Kimi•☆、Liblib AI•□□■…●、猎聘■=▽◁、生数科技●◇□△▪、智谱AI等多个大模型行业头部客户在Infini-AI异构云平台上稳定使用异构算力○◇▽◁。
◆•◇“在产业界有了各自的积累-▷,我们组合起来■•▼◁△◆。我们的商业模式也不是纯粹卖软件服务☆▼,而是把技术迭加在了我们现在所管理的各种集群上□◇。…◆◆■☆”夏立雪表示▼…•,通用大模型的算力需求更稳定=▼,文生图和文生视频模型对算力动态性要求高=☆★,对于大模型研发公司和大模型应用开发公司来说◁…▲▽•,无问芯穹就像淘宝一样◁★◇□◆,利用平台接口让大家轻松地把算力快速用起来pg麻将胡了==,满足个性化的算力需求○…=★•□。
无问芯穹优化每一度电提供多少个token的能力▽▽。不同硬件生态系统封闭且互不兼容◁▼▼◆,与国际上模型层与芯片层●▲……“相对集中□•△▲△”的格局相比◇•○,为算力使用方带来技术挑战…☆□●-。
无问芯穹由清华大学电子工程系教授◇-…•☆、系主任汪玉发起○-,他带领的NICS-EFC实验室早在2008年便投入到面向智能场景的软硬件联合优化技术路线◁◇□,提出▼▽▲=☆△“算法创新-编译映射-硬件架构☆▪▼□▲”联合优化的设计范式△▼◇★★。夏立雪是汪玉的博士生◇◁,毕业后的五年里在阿里云从事云计算技术及产品开发•●。另一位联合创始人☆▪、CTO颜深根是中科院博士★◆★◇▼、北卡州立大学访问学者★▪,曾任商汤科技数据与计算平台部执行研究总监□△•▲,负责商汤万卡集群搭建▪-○▽■,现任清华大学电子工程系副研究员▷★■▽;联合创始人○◇▽△△、首席科学家戴国浩□★-,同样毕业于清华大学电子工程系NICS-EFC实验室◆★▷□,现任上海交通大学长聘教轨副教授△▼■○…、清源研究院人工智能设计自动化创新实验室负责人◆◁。十几年的学术积累逐步迈向产业界○◁●○,他们希望在大模型时代为人工智能提供设施•□△■◁,联合优化软硬件•☆☆○•-,打通算力供需▲△,把多元异构算力用起来■▲○▷…,让全国各地的异构算力发挥潜能△-○••▲。