DeepSeek发布梁文锋署名新论文 V4有望支持全新记忆架构

内容摘要快科技1月13日消息,今日,DeepSeek发布新论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》(基于

快科技1月13日消息,今日,DeepSeek发布新论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》(基于可扩展查找的条件记忆:大型语言模型稀疏性的新维度)。

该论文为北京大学与DeepSeek共同完成,合著作者署名中出现梁文锋。

DeepSeek发布梁文锋署名新论文 V4有望支持全新记忆架构

论文提出条件记忆(conditional memory),通过引入可扩展的查找记忆结构,在等参数、等算力条件下显著提升模型在知识调用、推理、代码、数学等任务上的表现。

此外,DeepSeek还开源相关记忆模块Engram。

该模块提出了 查 算分离 的全新架构思路,业内认为,Engram有望成为DeepSeek下一代模型V4的核心技术基础。

据媒体报道,知情人士透露,DeepSeek计划于2月中旬农历新年前后推出V4模型,不过具体时间仍可能调整。

DeepSeek发布梁文锋署名新论文 V4有望支持全新记忆架构

DeepSeek发布梁文锋署名新论文 V4有望支持全新记忆架构  
DeepSeek发布梁文锋署名新论文 V4有望支持全新记忆架构  
DeepSeek发布梁文锋署名新论文 V4有望支持全新记忆架构  
DeepSeek发布梁文锋署名新论文 V4有望支持全新记忆架构
 
举报 收藏 打赏
24小时热闻
今日推荐
浙ICP备19001410号-1