Sin embargo, en respuesta a sus demandas, los gitanos lo saludaron a la manera nazi y lo llamaron racista, lo que provocó la agresiva declaración por parte del alcalde: "Quizás Hitler no ejecutó a suficientes [gitanos]". De acuerdo con el periódico, los gitanos se asentaron en la zona después de verse obligados a dejar el lugar que ocupaban anteriormente a causa de las obras en una autopista.
Aunque la polémica frase fue confirmada por los testigos, el diputado anunció en un comunicado que denunciará al periódico por difamación e intento de perjudicar su reputación sacando sus palabras de contexto. Según Bourdouleix, él simplemente quería señalar que Hitler habría matado ahí mismo a los gitanos, mientras que él no piensa así.
No obstante, el presidente de la Asamblea Nacional de Francia, Claude Bartolone, así como la Asociación Nacional de Gitanos Católicos, ya condenaron las declaraciones del alcalde de Cholet. Según el presidente de la propia UDI, Jean-Louis Borloo, que se sumó a las críticas a Bourdouleix, esa frase le podría costar incluso la expulsión de la formación.
'Le Courrier de l'Ouest' agrega también que el conflicto entre el diputado y los gitanos se desató ya hace un año, cuando el político acusó a los gitanos que viven en caravanas de no respetar los derechos y las obligaciones existentes en la sociedad.