Hola Pedro, muy buen día
Lo que creo que tendrías que realizar primero, antes de comenzar a sincronizar tu información, sería el filtrar la información que quieres que sea sincronizada con filtros y condiciones para tener solo la información que necesitas, más en el punto de contactos.
Después de esto, validar primeramente que en el Outlook tengas toda la información requerida, para después llevar a cabo la sincronización con tus dispositivos móviles.
Lo que ahora correspondería a realizarse es limpiar todos esos contactos que pasó de CRM a Outlook para comenzar de nuevo.
Espero que esta información sea de gran utilidad.
Saludos
Andrés G.