热搜: 佳士科技  irobot  开云电竞官网下载app   机器人  机器人产业联盟  ABB  机械手  发那科  码垛机器人  机器人展览 

中兴通讯“星云研发大模型”亮相:AI 编程助手、1000 亿 token

   日期:2023-10-13     来源:IT之家     评论:0    
标签: AI 科技 创新
   2023年10月11日-13日,在中国移动全球合作伙伴大会举办期间,中兴通讯“星云研发大模型”亮相,旨在辅助开发人员进行需求分析、产品设计、编程、测试、版本部署等。
微信图片_20231013084928
  据介绍,“星云研发大模型”支持白名单机制有效控制使用范围,以及代码特征值识别有效识别敏感代码片段、敏感词识别机制可实时监测并拦截敏感内容,还有后台审计机制可完整回溯安全事件等。
 
  中兴通讯表示,2023年4月,“星云研发大模型”使用启动,截至目前,日活人数达1.2万人,代码采纳率达40%~45%,编码提效30%,整体研发提效10%。
 
  IT之家从官方公告获悉,中兴通讯将领域数据、Know-How知识积累、数十万篇通信领域技术文档和1000亿token的无线/核心网/云代码语料等注入大模型,进行增量预训练,使用并行训练框架。
 
  中兴通讯号称:“自研部署方案使用动态batch策略、PagedAttention技术,结合无损模型量化,吞吐量大幅提升,单GPU(A800)达到1500tokens/s,仅使用4张GPU卡(A800)可满足超千人使用需求。对比业界常规的部署方案,单GPU吞吐量分别提升10+倍和20+倍;结合int4量化技术,在模型精度不下降情况下,模型大小和显存使用量均下降一半。”
 
 
声明:凡开云电子链接 来源注明为其他媒体来源的信息,均为转载自其他媒体,并不代表本网站赞同其观点,也不代表本网站对其真实性负责。您若对该文章内容有任何疑问或质疑,请立即与开云客户(www.www.wykobounce.com)联系,本网站将迅速给您回应并做处理。
电话:021-39553798-8007
更多>相关开云电子链接
0相关评论

推荐图文
推荐开云电子链接
点击排行