Olá! Spiderstave,
Infelizmente não há nenhuma maneira que você pode impedir que o navegador amplie o texto em cima dos ajustes do usuário.
Isto foi pretendido ser usado à acessibilidade, se você podia parar o texto da ampliação, a caraterística afrouxaria sua finalidade para os usuários cegos.
Ajustar seu tamanho nos pixéis é a coisa que a mais fixa você poderia fazer, impediria realmente que amplie no IE embora, mas no FF actua como deve mas agora com a caraterística de zumbido deve actuar muito melhor do que previamente quando o zumbido era texto somente.
A única maneira de impedir isto é ajustar tudo na porcentagem para a disposição inteira que é pouco prática na maioria dos casos.