Olivier est le fils du baron Arnould Louis Armand de Blocquel de Croix de Wismes et de Bonne Thérèse Louise Hélène Pétronille de Polignac. Gendre de Pierre de Bruc de Livernière (1766-1845), maréchal de camp et chef de division de l'Armée catholique et royale de Vendée, il est notamment le père d'Armel (1845-1886), de Fernand, de Gaëtan et de Christian de Wismes.

Il est président de la Société des antiquaires de France de 1877 à 1881.

Il est enterré au cimetière La Bouteillerie.