Infelizmente isto não é possível, você pode somente sincronização a caixa postal preliminar da troca do usuário que você está conetando.
O que você poderia fazer é criar um dobrador público com os contatos compartilhados dentro e usar então o IMAP para conetar a este, mas não é muito de confiança.