初识CUDAGPU线程的调用

正如talonmies所说，

将其调用放入lambda函数

auto myFunc = [&](){

cudaStream_t stream2;

cudaSetDevice(device2);

cudaStreamCreate (&stream2);

vectorAdd_gpu <<>>(s.a1, s.a2, s.a2, s.flag);

cudaStreamSynchronize(stream2);

cudaStreamDestroy(stream2);

};

然后把它交给线程 .

thread t2(myFunc);

t2.join();

但是，除此之外，您仍然可以在CPU工作中异步使用应用程序的相同主线程 . 我只是展示了你想看到的东西 . 异步使用相同的线程可能比重新创建流和重新连接线程更有效，具体取决于工作的大小 . 也许重新加入比在这里同步和启动内核有更多的开销 . 你每秒进行多少次内核调用？

for (int i = 0; i < nStreams; ++i) {

int offset = i * streamSize;

cudaMemcpyAsync(&d_a[offset], &a[offset],

streamBytes, cudaMemcpyHostToDevice, cudaMemcpyHostToDevice, stream[i]);

}

for (int i = 0; i < nStreams; ++i) {

int offset = i * streamSize;

kernel<<>>(d_a, offset);

}

for (int i = 0; i < nStreams; ++i) {

int offset = i * streamSize;

cudaMemcpyAsync(&a[offset], &d_a[offset],

streamBytes, cudaMemcpyDeviceToHost, cudaMemcpyDeviceToHost, stream[i]);

}

这只是进行异步流重叠的不同方法之一 .