вы получаете его в центре BorderLayout приведет к в ем будучи изменянным размеры для того чтобы заполнить полностью имеющийся космос в панели родителя.
Если вы хотите контролировать, то насколько космоса они принимают после этого добавьте JPanel к listPanel, и добавьте ваше scrollpane к той панели. Вы можете после этого использовать менеджера плана панели для того чтобы контролировать размер форточки переченя