hello， 看论文和代码描述， 序列并行使用的是DeepSpeed-Ulysses， 并行度设置为world size, 但DeepSpeed-Ulysses并行需要num_attn_heads能够整除并行度， 如果是单机8卡， 而qwen2.5的num_attn_heads是28， 这个也能跑起来？
hello， 看论文和代码描述， 序列并行使用的是DeepSpeed-Ulysses， 并行度设置为world size, 但DeepSpeed-Ulysses并行需要num_attn_heads能够整除并行度， 如果是单机8卡， 而qwen2.5的num_attn_heads是28， 这个也能跑起来？