Me parece que el programa que mejor se acomoda a tus requerimientos es el firewall, configura tu iptables, para que solo acceda a puertos conocidos configurando tu iptables, otra opcion es instalarte un programa que no permite instalar otros programas en tanto no tengas permiso, escuche una vez de ese programita, pero nunca tuve la oportunidad de saber de el, para mi es una leyenda jejeje. Por ultimo, puedes utilizar lo que son politicas de uso, depende donde quieres detectar el spyware, en tu casa o en una empresa, en el caso de la empresa lo mejor son las politicas de uso, restringiendo el acceso a ciertas URL's en tu casa esto no lo veo posible. Ojala te sea de ayuda lo que escribi.