PHP - clase phpmailer

hola amigos del foro, pues aqui molestandolos como siempre, saben desde hace como 8 meses empece hacer paginas y por las necesidades de las bases de datos me empece a involucrar en php y es una maravilla la verdad, pero ahora me asignaron un nuevo reto que la verdad me atore mucho pero ya casi estoy del otro lado, me asignaron crear una pagina que enviara mensajes de correo con archivos adjuntos y ya la tengo me atore mucho al principio pero ya esta, ya puedo enviar los mensajes al correo de outlook con archivos adjuntos y llega en menos de un minuto el problema es cuando no anexo archivos adjuntos se tarda mas de 2 a 4 horas o hasta dias en llegar ese mensaje y ya le di muchas vueltas y no encuentro mi error, uso la clase phpmailer y este es mi codigo que analisa el archivo adjunto:

if ($archivo !="") {
$mail->AddAttachment($archivo,$archivo_name);
}

no se en que pueda estar mal, pero no entiendo porque cuando anexo los archivos adjuntos mi mensaje llega de inmediato y cuando no le anexo archivos adjuntos se tarda las horas,

Buenos amigos del foro espero me puedan dar un tip, muchas gracias y saluditos a todos.