ColWiseParallel¶

class paddle.distributed. ColWiseParallel ( gather_output=False ) ¶

按列切分策略是模型并行中的一个并行策略。本策略会尝试对标识 Layer 的 weight （如有）在第二维切分， 对标识 Layer 的 bias （如有）在第一维度切分。本策略是针对 paddle.nn.Linear 与 paddle.nn.Embedding 设计， 如果标识的 Layer 不属于这两个类，本策略会尝试切分 Layer 中的 weight 与 bias （如有）。