200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE

添加书签

专注AIGC领域的专业社区,关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型(LLM)的发展和应用落地,聚焦LLM的市场研究和AIGC开发者生态,欢迎关注!

最近,谷歌发布的Gemini 1.5最大亮点之一是支持100万tokens上下文,超过GPT-4、llma-2等开、闭源大模型。

俗话说“道高一尺,魔高一丈”,既然现在开始疯狂卷上下文,微软研究院便推出了LongRoPE框架,成功扩展至200万,超过了谷歌的输入上限。

微软研究人员在LLaMA 2、Mistral主流开源大模型对LongRoPE进行了评估。结果显示,使用LongRoPE后,各大模型保持了原始架构和性能,并对位置嵌入进行少量修改,就可以使用大部分现有的优化。

目前,微软已经宣布开源了该框架,但代码处于审核阶段,所以github页面显示错误。通过后,即可查看代码。

开源地址:https://github.com/microsoft/LongRoPE

论文地址:https://arxiv.org/abs/2402.13753

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图

由于微调成本高、长文本稀缺以及新标记位置引入的灾难性值等原因,致使多数大模型的上下文窗口停留在128k 左右。

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图1

而LongRoPE通过利用位置嵌入中的两个非均匀性, 渐进式扩展策略等,突破了技术瓶颈。在保留大模型性能的前提下,极限扩展了上下文输入。

多维非均匀位置插值搜索

LongRoPE的核心模块之一,通过充分利用位置嵌入中存在的两种非均匀性,不同的RoPE维度和标记位置。

该模块会通过一个进化搜索算法来识别每个RoPE维度的最佳缩放因子。搜索空间包括每个RoPE维度的缩放因子以及位置阈值

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图2

在控制每个维度的旋转角度的缩放比例,模型会设置一个较大的搜索范围,同时控制最初不进行位置插值的标记数量。

搜索算法主要由两个优化技术组成:1)优化的初代种群生成和单调非递减约束。前者可以利用已有的位置插值方法(比如PI、NTK等)来初始化种群;

2)后者要求生成的RoPE缩放因子在维度上保持单调非递减,这样可以大幅减少搜索代价。

这种搜索方式的好处是,可以最大限度地保留原始RoPE中的关键维度信息,从而减小位置插值带来的信息损失,为后续的微调提供更好的初始化条件。此外,在无需微调的情况下,可扩展8倍上下文窗口。

渐进式扩展训练

LongRoPE使用了一种更高效的渐进式训练策略将上下文扩展至200万,而无需直接在极长文本上进行精调。

首先使用上述搜索算法将预训练大模型扩展到25.6万,然后进行精调;接着,在精调后的模型上再次执行位置插值,最终获得200万上下文窗口,无需再进行额外精调。

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图3

这种渐进式训练策略极大减少了,AI算力资源和直接在长文本上精调的需求。此外,由于第一阶段的模型已经进行过位置插值和精调,第二阶段的RoPE搜索会更加高效

短文本性能恢复

当大模型的上下文窗口扩展到极大值后,短文本上的性能会有所下降。为了缓解这一难题,LongRoPE使用同样的搜索算法对已经扩展的模型调整RoPE缩放因子,专门针对更短的上下文长度,例如,4000、8000进行了优化。

在推理时,如果序列长度小于8000,模型会更新为这些更短长度的RoPE因子,可以有效恢复短文本上的性能。

LongRoPE实验数据

为了测试LongRoPE性能,研究人员选择了多个长序列公开数据集进行评测,包括:Proof-pile、PG19、Books3等,覆盖从4000—200万上下文的测试范围。

基准测试集方面,使用了FFOM模型测试集,包括:ARC-Challenge、HellaSwag、MMLU等主流多任务数据集。测试任务包括困惑度评测、关键信息提取等多个子任务。

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图4

实验结果显示,通过LongRoPE扩展的LLaMA 2、Mistral开源模型的上下文,在4000——200万范围内具有较低的困惑度,实现了超过90%的密钥检索准确率

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图5

在4000上下文窗口内的标准基准测试中准确性很高,也就是说LongRoPE的短文本性能也非常棒。

本文素材来源LongRoPE论文,如有侵权请联系删除

END

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图6

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图7

200万上下文,超谷歌 Gemini 1.5!微软开源LongRoPE插图8

本篇文章来源于微信公众号: AIGC开放社区