Depende de lo que quieras hacer.
La contraseña solo puedes cambiarla en el servidor. Si despues te bajas el correo a tu PC, con alguna aplicación como outlook express, tambien deberás cambiar la contraseña allí, o de lo contrario te dará un error.
Por ejemplo, imagino que al entrar en tu cuenta de yahoo, debes tener la opción de cambiar la contraseña.