he estado haciendo pruebas con lo que comentas, bueno a mi tambien me sale muy pixelado, pero si creas una camara y la colocas cerca del objeto que quieres ampliar, y por último renderiza esta imagen....¿?¿? y si lo que quieres es que aumente, pues haz una pequeña animacion con la cámara, pero si es para colocar en papel, lo mejor es hacer una imagen "general" y con la camara o moviendo la perspectiva, colocate mas cerca y crea otro render.
otra opcion seria crear mas caras al objeto que tienes, a ver si asi se reduce el pixelado, de todas formas sigo investigando. Suerte