训练数据预处理集群与模型计算节点的协同部署，核心不是把两类机器尽量放在一起，而是让预处理产出速度跟上训练读取速度，同时避免数据传输和预处理抢占模型所需资源。以 ImageNet 图像训练为例，读取压缩图片后还要解码、裁剪和增强；如果这些工作供给不足，计算节点会等待数据，若处理过量，CPU、内存和网络又可能成为额外成本。
先算清数据流，再比较四种部署方式
估算训练侧需求时，可用“每步样本数 × 单样本处理后字节数 ÷ 每步耗时”计算平均数据速率，再为随机读取、突发和重试留出余量。处理后数据通常比压缩源文件更大，具体膨胀比例取决于格式、分辨率和转换步骤。以下方案应以实测的 I/O 吞吐、预处理耗时和训练等待时间判断，而不是只看机器数量。
1. 预处理与训练放在同一台节点
数据从本机磁盘或内存交给训练进程，网络传输少，部署也简单，适合转换轻、数据可本地缓存、训练节点有闲置通用算力的情况。缺点是解码、分词或增强可能与训练争用 CPU、内存带宽和磁盘；负载高时，模型计算效率反而下降。可先设置处理线程上限，观察训练进程等待数据的比例，再逐步提高并发。
2. 独立预处理节点与训练节点同机房部署
预处理使用独立主机，训练侧不必承担主要转换负载；同机房、同交换网络通常也便于控制传输时延。代价是中间数据要经过网络，且需评估交换网络、网卡和存储出口能否承受并发。适合处理任务持续、训练规模较大，或预处理负载明显影响计算节点的场景。关键是让产出速率达到训练消费速率，并用队列长度识别供给不足或生产过剩。
3. 预处理集群与训练集群分区部署，共享远端存储
两类集群可以分别扩缩容，管理边界清晰，适合多个训练任务复用同一批清洗或转换结果。但读取和写回都依赖共享存储及网络，热点文件、随机访问和重复搬运会增加 I/O 压力。应优先把重复计算结果持久化，按训练任务分片读取，并检查共享存储的并发能力；若网络流量主要来自重复读取，增加预处理节点未必能解决瓶颈。
4. 在数据来源附近预处理，再向训练侧分批输送
当原始数据集中存放在远端时，可在数据附近完成筛选、解码或格式转换，再将训练所需结果分批送入训练侧缓存。这能减少不必要的原始数据传输，但要求处理结果可复用，并能管理版本、失败重试和数据校验。若每轮训练都使用不同增强，宜区分可预先完成的确定性转换与训练时随机增强，避免提前处理造成存储浪费或改变训练流程。
用测量结果选型：一套可执行步骤
- 记录一个完整训练窗口内的数据读取量、处理耗时、训练等待时间，以及网络和存储吞吐；不同数据集和批次大小会改变结果。
- 先测单节点可持续处理能力，再按训练节点数估算总需求。举例说，若假设 8 个训练节点各需每秒处理 100 张图像，则预处理侧目标约为每秒 800 张；这只是按假设计算的容量，不是通用基准。
- 分别试运行同机和独立节点方案，固定模型、数据和批次设置，比较训练等待是否减少，以及新增网络流量、机器占用和缓存命中率。
- 选择满足吞吐且总成本可接受的方案。若训练仍频繁等数据，检查数据管道或存储瓶颈；若处理端长期空闲，则减少并发或复用预处理结果。
因此，训练数据预处理集群与模型计算节点的协同部署应以瓶颈位置决定：轻处理、网络紧张时优先靠近计算；处理负载重、节点资源紧张时考虑独立部署；远端数据则先评估数据局部性和重复传输成本。扩容前先验证完整数据链路，往往比单独增加某一类机器更有效。
常见问题
预处理节点越多，训练就越快吗？
不一定。只有预处理确实是瓶颈，且存储和网络能承接新增输出时，增加节点才可能改善训练供给。
什么时候适合在训练节点本地处理？
转换较轻、训练节点有余量、数据可本地缓存且网络传输成本较高时，可以先测试同机处理；需监控资源竞争。
如何判断该扩容预处理还是网络？
同时查看处理队列、节点利用情况与网络吞吐。处理队列持续积压而网络有余量，偏向扩处理能力；网络接近可用上限时，应先优化数据位置、缓存或传输方式。
