建议先考虑并行化，再讨论实现。想一想代码做了什么，存在哪些数据依赖关系，以及可以并行执行哪些操作。

然后有几个 C++ 框架（alpaka、kokkos 或另一个答案中提到的 ArrayFire 库）可以帮助您引入抽象层。因此，您可以为 CPU 和 GPU 编译代码。

最后，您可以对您的应用程序进行基准测试，并确定您的假设是否正确，即 GPU 适合这项工作。不幸的是，并不是每个应用程序都非常适合 GPU 架构，您不应该一直期待神奇的加速数字。

OpenCL 可在多核 cpu、英特尔高清显卡甚至 DSP 卡上运行。在引入计算着色器之前，它几乎是跨平台 gpu 计算的标准。

有各种库以 OpenCL 作为后端，例如 viennaCL 或 ArrayFire。其中一些库可以使用其他后端进行 gpu 计算，例如 CUDA，它运行速度更快，但仅在 nvidia gpu 上可用。

OpenCL 与 C 类似，但 viennaCL 和 ArrayFire 是 C++，并且很好地封装在 OOP 接口中。OpenCL 通常在运行时动态编译。

我认为这可以满足您的所有要求。

在开始这条道路之前，重要的是要确定当前代码中是否有足够的数据并行性以使使用 GPU 值得。我鼓励您首先在问题中更详细地描述您的应用程序和算法。

根据应用程序的不同，可能存在一些计算任务，其中库例程已经可用，可以利用 GPU - 这对于信号和图像处理、数值线性代数等中的许多任务都是如此。如果有一个库已经可以这份工作，你不想重新发明轮子。

假设您找不到已经为您完成重要工作的库，一种选择是使用 OpenMP 或 OpenACC 对 C 的扩展来编写可以编译为在 GPU 或 CPU 上运行的代码。在更接近硬件的级别上，您可以使用 OpenCL。如果您想要一个可以在其他 GPU 上运行的解决方案，NVIDIA 的 CUDA 不是一个选项。