Szatan, który zawsze chce walczyć z dobrem, nie zaniechał też tej walki wobec świętego proboszcza z Ars. Co najgorsze posłużył się w tej walce nawet ludźmi, którzy powinni być szczególnie wyczuleni na ataki szatana, czyli współbraćmi św. Jana Marii Vianney w kapłaństwie. Niestety i ludzi duchownych dotykała wada i słabość zazdrości; widząc tak wielką popularność proboszcza z Ars i to, że tylu ludzi zjeżdżało do niego do spowiedzi, słuchało jego kazań i uczestniczyło w jego nabożeństwach, tymczasem ich kościoły świeciły pustkami, księża okoliczni zaczęli szemrać przeciw niemu i krytykować go. Uważali, że ks. Vianney jest człowiekiem ekscentrycznym i zyskałby wiele na tym, gdyby się zmienił i postępował, jak wszyscy inni księża. Surowo krytykowano jego ubiór i w sposobie zachowania się widziano tylko zamiłowanie do oryginalności. Dziwactwem nazywano to, co u świętego proboszcza wypływało z doskonałej intencji. Ks. Vianney czasem oddawał biedakom nowe buty, sam dobrowolnie, celem umartwienia się i w duchu pokory, nosił zawsze wytartą sutannę, stary kapelusz i łatane trzewiki. Nawet na spotkania i konferencje dla duchownych przybywał tak ubogo ubrany, iż budził w konfratrach politowanie. Ale niektórzy posądzali go o sknerstwo. „Czyżby nie mógł, nawet przy szczupłych dochodach, sprawić sobie przyzwoitego odzienia?” – mówili między sobą. Innym znowu zdawało się, że postępując tak, okazuje brak zdrowego rozsądku, a jeszcze innym, że z jego strony to obłuda, zamaskowana pycha i chęć zwrócenia na siebie uwagi. Stąd wśród duchowieństwa rozpowszechniła się wielka nieżyczliwość wobec świętego proboszcza i ci biedni księża nawet nie rozumieli, że stali się narzędziami w rękach szatana. niejednokrotnie cierpko żartowano sobie , w oczy lub też poza oczami, z ks. Vianney, ale on pogodnie przyjmował te niemiłe sytuacje, a nawet sam z uśmiechem mawiał: „Kto powie choćby tylko: ‚Proboszcz z Ars’ , ten już wszystko powiedział”.
Jednak pewnego razu, po zakończeniu misji w Trevoux, w czasie obiadu, biskup Devie z Belley, poprosił ks. Jana Marię Vianney, by usiadł koło niego. W ten sposób dał do zrozumienia, że obce mu są te wszystkie plotki i wieści o ks. Vianney, które na pewno i do niego docierały, i wobec wszystkich zebranych zaznaczył, że darzy szacunkiem pokornego kapłana, na którego już nieraz próbowano rzucić cień oszczerstwa.
Księża krytykowali też św. proboszcza za jego, znane powszechnie, braki w wykształceniu. Próbowali podważyć jego kierownictwo duchowne w konfesjonale, ale fakty mówią same za siebie, że ludzie lgnęli do jego konfesjonału. Na te wszystkie ataki sam święty stwierdził kiedyś, że otrzymał dwa listy; w jednym uznano go za świętego, a w drugim odsadzono od czci i wiary. Proboszcz z Ars skomentował to: „Jak pierwszy z nich nic mi nie dodał, tak drugi nic mi nie ujął”. W końcu sami księża zarzucający mu brak wykształcenia, sami prosili go o kierownictwo duchowne i spowiedź.