Video segmentation is a fundamental step in many vision systems including video surveillance and traffic monitoring. Background subtraction is a method typically used to segment moving regions in video sequences taken from a static camera by comparing each new frame to a model of the scene background. In this paper, a hardware system for video segmentation is proposed from algorithm to hardware architecture level. The video segmentation algorithm is aimed at fixed-point operations and improves a Gaussian background model by applying a two-stage linear compensation procedure to remove the undesirable subtraction results from noise and illumination changes. First, the algorithm was validated in MATLAB. Then, it was prototyped on an Altera field-programmable gate array platform (DE-2). At a clock rate of 100 MHz, the architecture can process 30 frames per second, where the image resolution is 640 x 507 pixels. The capability of the system is demonstrated for several video sequences.A segmentação de vídeo é um passo fundamental em muitos sistemas de visão, tais como sistemas de vigilância e monitoramento de tráfego. O método denominado subtração da imagem de fundo é comumente utilizado para detecção de objetos em seqüências de vídeo comparando-se cada pixel do quadro corrente com um modelo da imagem de referência. Neste trabalho, apresenta-se uma arquitetura em hardware para segmentação de vídeo desde a etapa de implementação do algoritmo em PC até a elaboração da arquitetura em hardware. O método de segmentação de vídeo destina-se ao processamento de operações em ponto fixo e visa aprimorar o método de detecção de objetos baseado em modelos Gaussianos. Este aprimoramento é realizado por meio da aplicação de uma técnica para compensação das variações das intensidades dos pixels que objetiva reduzir os falsos positivos ocasionados por ruídos ou variações de iluminação. Primeiramente, o algoritmo foi validado em MATLAB em ponto flutuante e em ponto fixo. Em seguida, foi implementado em um arranjo de portas programáveis em campo (FPGA), utilizando um kit desenvolvimento da Altera (DE-2). A arquitetura opera com uma freqüência igual a 100 MHz e processa 30 quadros por segundo com resolução igual é 640 x 507. A capacidade do sistema é demonstrada com várias imagens de teste.