月之暗面近期宣布,支持200万汉字超长无损上下文的Kimi智能助手正在内测。随后,阿里、360集团、百度等公司紧急“出手”,纷纷入局长文本大模型赛道,推动人工智能领域投资热情进一步升温。
机构人士表示,相比海外大模型,国产模型在中文长文本理解方面具备比较优势,基础模型能力提升有望推动下游应用快速发展。AI模型、语料库、算力租赁及运维等领域将持续受益。
取得技术突破
近期,AI大模型产品Kimi智能助手因能稳定分析处理200万汉字长文“一炮走红”。Kimi智能助手是初创公司月之暗面于2023年10月发布的产品。该公司创立于2023年3月,由清华大学交叉信息学院杨植麟教授领衔。今年3月18日,月之暗面宣布,Kimi智能助手再次取得技术突破,支持200万汉字上下文的Kimi智能助手已经启动“内测”。
随之而来,360集团、阿里、百度等头部厂商纷纷宣布升级AI大模型技术。3月22日,阿里通义千问宣布,向所有人免费开放1000万字的长文档处理功能。3月23日,360智脑宣布正式内测500万字长文本处理功能。该功能即将入驻360AI浏览器。同时,360AI浏览器APP即将上线。另外,百度文心一言4月份将进行版本升级,届时将开放长文本处理能力,文字范围在200万-500万字。
“大模型升级文本长度,是市场需求的直接反映。”人工智能领域天使投资人郭涛向中国证券报记者表示,“长文本处理需求持续增加,如学术论文、法律文件、新闻报道等。而长文本处理能力的提升,能够更好地模拟复杂的人类语言交流,包括理解长篇文献、撰写长篇文章等。”
赛智产业研究院院长赵刚告诉记者,提升长文本处理能力,可以解决当前大语言模型应用中的痛点,使得大模型商业化应用更加成熟,更容易被用户接受。在新的用户需求牵引下,未来长文本处理能力可能成为大模型的标配。率先布局长文本训练和推理的大模型企业,在未来的竞争中将占据有利地位。
拓展应用领域
“从文本处理稳定性方面看,Ki-mi比ChatGPT更胜一筹。使用ChatGPT分析长文本时,很容易遇到报错的情况,而Kimi比较少见。”一位经常使用AI大模型工具处理文本的留学生告诉中国证券报记者。
200万到1000万汉字,国产大模型中文文本处理能力飞速提升。据了解,目前海外主流AI大模型GPT-4 Turbo-128k公布的文本范围约为10万汉字,而Claude 3200k约为16万汉字。
赵刚认为,从实际应用出发,国内大模型厂商闯出一条创新升级的新路线,很大程度上缩小了与海外Open AI等大模型企业的差距。
郭涛表示,长文本处理能力是衡量模型泛化能力的一项重要指标,其能够更好地反映模型在处理未知或复杂数据时的表现,反映出国产大模型企业在自然语言处理(NLP)领域的技术创新能力。
文本长度的突破会带来哪些应用前景?赵刚认为,长文本处理能力主要应用于知识密集的业务场景,比如生产活动中的编制计划、设计方案、广告创意等;管理活动中的文案撰写、合同编制等;文化教育中的论文撰写、小说撰写、剧本编写等应用场景。
文本处理功能扩容带来的应用创新已经崭露头角。近日,华东师范大学王峰教授团队发布国内第一部人机融合式长篇小说《天命使徒》,采用国内大语言模型+提示词工程+人工后期润色,整部小说超过100万字。据介绍,该团队将打造一个可供公众使用的长篇小说创作平台,将好的创意与平台的自动写作服务结合起来,让人人皆可写作长篇小说。团队的下一个目标是将同等体量小说创作由一个半月缩短为两至三周。
值得注意的是,业内人士认为,文本长度只是反映大模型能力的一个侧面,并非评判模型训练能力的唯一标准。郭涛表示,模型的训练能力还包括对不同类型数据的处理能力、模型的稳定性、可扩展性等多个维度。
“在多模态、参数规模、通用性等方面,我们与Open AI等海外企业还有一定距离。”赵刚坦言。
相关产业链受益
长文本处理能力对数据和算力提出了更高要求。郭涛告诉记者,首先,训练能够处理长文本的模型,需要大量的高质量长文本数据。这些数据需要具备多样性和代表性,确保大模型能够学习到广泛的语言模式和知识。其次,长文本处理通常需要更复杂的模型结构,会直接增加模型训练的计算成本。更大的模型意味着更多的参数需要调整,需要更多算力以加速训练过程。
大模型升级对AI算力、数据赛道的催化作用已经体现在二级市场。Wind数据显示,近20日内,AI算力指数上涨11.56%,数据要素概念指数上涨11.94%,IDC(算力租赁)概念指数上涨13.41%。
算力方面,科大讯飞3月23日在投资者互动平台上表示,科大讯飞算力能够满足未来一段时间AI算法模型训练和推理的需求。景嘉微3月22日表示,公司景宏系列高性能智算模块及整机产品可面向AI训练、AI推理和科学计算等应用领域。
数据方面,海天瑞声3月22日在投资者互动平台上表示,公司致力于为AI产业链各类机构提供算法模型开发训练所需的专业数据集。例如,常规的结构化数据分割、信息提取整合、文本摘要等。同时,公司可提供大模型强化学习相关数据处理服务。例如,对prompt的改写、分类以及其回复内容续写改写等。不过,公司过往并未向月之暗面提供过相关训练数据。
华西证券认为,相比海外大模型,国产模型在中文长文本理解方面具备比较优势,能够有效提升使用者工作效率。基础模型能力的提升有望推进下游应用快速发展。AI模型、语料库、算力租赁及运维等板块将继续受益。
民生证券表示,国产大模型再度迎来竞争升级,以Kimi为代表的国内大模型用户数量激增,AI算力需求或是今年最确定的投资主线之一。
相关稿件