Tomando como exemplo a mais recente microarquitetura Nvidia Ampe, a parte computacional da microarquitetura GPU consiste em um Processador de Stream (SP),
uma unidade de mapeamento de textura (TMU), um núcleo tensor, uma unidade de rastreamento de raios (RT Core) e uma unidade de processamento de rasterização (ROPs).
A API da GPU (Application Programming Interface) desempenha um papel como uma ponte entre aplicativos e drivers de placa de vídeo.
A memória de vídeo GPU é usada para armazenar os dados de renderização que foram processados ou serão extraídos pelo chip da placa de vídeo,
e é um dos componentes essenciais indispensáveis para o funcionamento normal da GPU. A memória de vídeo GPU pode ser dividida em memória de vídeo independente e memória de vídeo integrada.
Atualmente, GDDR3, GDDR5, GDDR5X e GDDR6 são usados principalmente para armazenamento de vídeo independente, enquanto DDR3 e DDR4 são usados principalmente para armazenamento de vídeo integrado.
A GPU do servidor prefere usar a memória de vídeo HBM na forma de chiplets para maximizar o rendimento. A memória de vídeo integrada é limitada pelo sistema operacional de 64 bits.
Mesmo que seja composto por dois ou mesmo quatro canais, ainda há uma diferença considerável entre a largura de banda da memória de vídeo integrada e a da memória de vídeo independente.
Isso geralmente resulta no desempenho de GPUs independentes sendo melhor do que o das GPUs integradas.