o you've começ o no centro de um BorderLayout que conduzisse a ele que resized para encher todo o espaço disponível no painel do pai.
Se você quer controlar quanto espaço toma então adicionar um JPanel ao listPanel, e adicionar seu scrollpane a esse painel. Você pode então usar o gerente da disposição do painel para controlar o tamanho da placa do rolo