Capturar una imagen inicial. Esta imagen inicial equivale a la captura de fondo inicial en el caso de fondo fijo. La diferencia es que esta imagen se actualiza en cada iteración, pero es necesario tener una imagen inicial con la que partir.

Comparación de imágenes. En esta fase se realiza una captura de la cámara y se compara con el fotograma anterior. En este caso, aunque el fondo cambie (por cambio de la luminosidad por ejemplo), no es problema porque la luminosidad cambia lentamente, y el sistema está cambiando el "fondo" con el que compara en cada fotograma. En caso peor, en el que por ejemplo se enciendan las luces del entorno, el sistema detectaría cambio del fondo durante el tiempo que tardan en encenderse las luces, pero una vez encendidas, el sistema se estabilizaría. En esta fase, al igual que en la de fondo fijo, lo que se hace es una resta, en escala de grises, entre la imagen actual y la anterior. Al igual que en el caso de la detección de movimiento de fondo fijo, tambien existe el problema de ruido generado por comparación entre dos fotogramas que no son exactamente iguales, habiendo un cierto ruido. Pero además, hay otros problemas, como por ejemplo que un objeto introducido en la escena (como el boligrafo de la primera imagen) se mantenga estático, o casi estático. Pues a pesar de ser un objeto nuevo, al formar "parte del fondo" no se detecta como un nuevo objeto. Otro problema de la detección de fondo variable, es que al compara con el fotograma anterior, realmente no se está detectando un objeto, sino su diferencia con el anterior, pudiendo darse casos como el mostrado, en que la mano está en la parte inferior de la imagen, pero como en el fotograma anterior estaba en la parte superior, se detecta como que hay movimiento en ambas partes. Al igual que en el caso de detección de fondo fijo, la imagen diferencia hay que binarizarla para determinar que píxeles han cambiado y cuales no.

Detección de los objetos en la imagen. Tras la segmentación de la imagen se han determinado que zonas son iguales o no en la imagen capturada respecto al fotograma anterior, pero lo interesante es determinar que grupos de píxeles forman realmente una región uniforme de un posible objeto y cuales son píxeles aislados de ruido. Para ello, se aplica un algoritmo de detección de contornos, de forma que los grupos de píxeles se pueden procesar como regiones de las cuales se puede calcular su centroide y área, permitiendo un fácil filtrado por tamaño (solo se tendrán en cuenta los contornos de un tamaño mínimo).