c#-将(多个)文件复制到多个位置

我想使用C#(.NET 4.5)将一组文件复制到多个位置(例如,将文件夹的内容复制到连接到计算机的2个USB驱动器上).
有没有比仅使用foreach循环和File.Copy更有效的方法？

努力寻求(可能的)解决方案.

我的第一个想法是某种多线程方法.经过一番阅读和研究之后,我发现就IO而言(按照Why is Parallel.ForEach much faster then AsParallel().ForAll() even though MSDN suggests otherwise?),盲目地建立某种并行和/或异步过程并不是一个好主意.

瓶颈是磁盘,特别是如果它是传统驱动器,因为它只能同步读取/写入.那让我开始思考,如果我读一次然后在多个位置输出,该怎么办？毕竟,在我的USB驱动器方案中,我要处理多个(输出)磁盘.

我在弄清楚如何做到这一点上遇到了麻烦.我看到的一个想法(Copy same file from multiple threads to multiple destinations)是将每个文件的所有字节读取到内存中,然后遍历目标位置并将字节写到每个位置,然后再移动到下一个文件.如果文件可能很大,这似乎是个坏主意.我要复制的某些文件是视频,可能是1 GB(或更多).我无法想象将1 GB的文件加载到内存中只是将其复制到另一个磁盘上是个好主意吗？

因此,为更大的文件提供了灵活性,以下是我最近的(基于How to copy one file to many locations simultaneously).这段代码的问题是我仍然没有发生一次读取和多次写入的情况.当前是多读和多写.有没有办法进一步优化此代码？我可以先将大块读入内存,然后再将该大块写入每个目标,然后再移动到下一个大块(就像上面的想法,但是将大块文件而不是整个文件)？

files.ForEach(fileDetail =>
    Parallel.ForEach(fileDetail.DestinationPaths, new ParallelOptions(),
        destinationPath =>
        {
            using (var source = new FileStream(fileDetail.SourcePath, FileMode.Open, FileAccess.Read, FileShare.Read))
            using (var destination = new FileStream(destinationPath, FileMode.Create))
            {
                var buffer = new byte[1024];
                int read;

                while ((read = source.Read(buffer, 0, buffer.Length)) > 0)
                {
                    destination.Write(buffer, 0, read);
                }
            }
        }));

解决方法:

通常,IO操作应视为异步操作,因为有些硬件操作在代码外部运行,因此您可以尝试为读/写操作引入一些异步/等待构造,以便您可以在硬件操作期间继续执行.

while ((read = await source.ReadAsync(buffer, 0, buffer.Length)) > 0)
{
    await destination.WriteAsync(buffer, 0, read);
}

您还必须将您的lambda委托标记为异步才能完成此工作：

async destinationPath => 
...

您应该一直等待最终的任务.您可以在这里找到更多信息：

Parallel foreach with asynchronous lambda

Nesting await in Parallel.ForEach

标签：file-copying,multithreading,file-io,c,net
来源： https://codeday.me/bug/20191111/2022852.html