Usted puede hacer eso en su cortafuego, que es el más eficaz o aún en cortafuego de las ventanas.
crear una regla que permita a rdp (3389) solamente de un IP address específico
si usted tiene otros usuarios el conectar con esta caja entonces usted tendría que crear las reglas para cada uno, éste significa básicamente que solamente los IP mencionados serán permitidos.
hacerla en su cortafuego es preferred pues no hace disturba la configuración del cortafuego de su servidor.