Python - ayuda con python con opencv

Hola gente, tengo que realizar un trabajo con python en opencv, tengo que seguir una semilla de un video de unsilo. lo he pensado hacer con deteccion de esquinas y luego con el flujo optico de lukas kanade, pero como las semillas son iguales me detecta una y la sigue hasta un cierto punto pero llega un momento que se confunde con otra y salta a otra semilla y me da valores erroneos, alguien tiene alguna idea de como arreglar eso?
gracias!