Visual Basic - Cerrar Documentos de word

Estoy trabajando un documento de word desde visual, este documento yo lo guardo con un nombre diferente, pero el documento1 que se abre al principio no se cierra queda abierto y asi cada vez que creo un nuevo documento no se cierran documento2 ni documento3 y crea un monton de documentos que son basura ya que antes los guarde con otros nombres como los cierro?

Depende de cómo estés abriendo el documento Word, pero normalmente asignándole la palabra clave "Nothing" al objeto sería suficiente:

Set ObjetoWord = Nothing

Ya lo puse pero no me funciona.

Yo abro el documento asi

Dim MSWord As New Word.Application
Dim Documento As Word.Document
Dim Parrafo As Paragraph

Set Documento = MSWord.Documents.Add
Set Parrafo = Documento.Paragraphs.Add
MSWord.ActiveDocument.Activate

y lo guardo asi:

If Dir("C:UsersuserDesktopS.P WORDFe de Bautismo" & Label3.Caption & " " & Label4.Caption & " " & Label5.Caption & " " & x, vbDirectory) <> "" Then
MSWord.ChangeFileOpenDirectory "C:UsersuserDesktopS.P WORDFe de Bautismo"
MSWord.ActiveDocument.SaveAs filename:=Label3.Caption & " " & Label4.Caption & " " & Label5.Caption & " " & x, FileFormat:=wdFormatXMLDocument, _
LockComments:=False, Password:="", AddToRecentFiles:=True, WritePassword _
:="", ReadOnlyRecommended:=False, EmbedTrueTypeFonts:=False, _
SaveNativePictureFormat:=False, SaveFormsData:=False, SaveAsAOCELetter:= _
False