NVIDIA专家做客“技术圆桌派”,详解AI赋能量化金融 天天速看料
2023-05-24 02:54:05
|
来源:面包芯语
(资料图)
在推理的时延方面,如下图所示,绿色的几乎看不见的是 GPU 上面的推理时延,蓝色的柱状图是 CPU 上面的推理时延。事实证明,GPU 的推理时延在较大批量的情况下,基本上是个位数,几毫秒的延迟,可以满足交易实时性的需求。
(资料图)
在推理的时延方面,如下图所示,绿色的几乎看不见的是 GPU 上面的推理时延,蓝色的柱状图是 CPU 上面的推理时延。事实证明,GPU 的推理时延在较大批量的情况下,基本上是个位数,几毫秒的延迟,可以满足交易实时性的需求。