usted lo tiene en el centro de un BorderLayout que dé lugar a él que es vuelto a clasificar según el tamaño para llenar todo el espacio disponible en el panel del padre.
Si usted quiere controlar cuánto espacio toma entonces agregar un JPanel al listPanel, y agregar su scrollpane al ese panel. Usted puede entonces utilizar al encargado de la disposición del panel para controlar el tamaño del cristal de la voluta