共 2 篇文章
WebDataset 通过流式处理和顺序读取替代随机访问，解决大规模深度学习训练中的数据 I/O 瓶颈。
WebDataset 是基于 TAR 归档格式的深度学习数据加载库，核心思想是将大量小文件打包成 …
webdataset 用于高效处理大规模数据集，通过 .tar 文件流式加载，适配分布式训练场景。
张芷铭的个人博客