Python - Deteccion de movimiento

Hola! Quisiera saber si alguien me puede dar un idea para detectar en un vídeo el momento en que ya no haya movimiento, en este vídeo el fondo cambia, por lo que no puedo fiarme de la sustracción de fondo.
Tengo en mente que por seguimiento de puntos podría funcionar, pero no se como plasmarlo.

Alguna idea, se antemano se los agradecería mucho.

Saludos!