咨询 关于 微调时的上下文长度 #2
Description
你好，我看你们开源了基于Qwen2-7B的模型，
我观察到你们拼接了训练样本，请问拼接前后的样本长度是怎么样控制的呢。你们的截断长度(context length）有多长呢。千问2应该是32678长度进行的训练
{{ message }}
你好，我看你们开源了基于Qwen2-7B的模型，
我观察到你们拼接了训练样本，请问拼接前后的样本长度是怎么样控制的呢。你们的截断长度(context length）有多长呢。千问2应该是32678长度进行的训练