A un JList se le puede pasar un ListCellRenderer por medio del metodo setCellRenderer.
Hazte una clase que implemente ListCellRenderer. Solo tiene un metodo. En ese metodo el JList te pedira para un objeto dado de la lista, que componente java debe dibujar. Tienes que hacer un return jLabel o lo que quieras.
Luego metes una instancia de esa clase en el JList con el metodo que te he indicado.