Понятно, как торжество последних облегчило Иосифу борьбу с ересью: он нашел доступ к великому князю, начал упрашивать его о принятии строгих мер против еретиков; тот обещал исполнить его желание, открыл, что знал об ереси, которую держал протопоп Алексей и Федор Курицын, что и Елена была вовлечена в ересь, раскаивался, что прежде слабо поступал с еретиками; Иосиф требовал раскаяния на деле. «Государь, - говорил он Иоанну, - подвинься только на нынешних еретиков, и за прежних тебя бог простит». Но строгие решительные меры, которые должно было употребить против еретиков по требованию Иосифа, могли заставить задуматься великого князя, слышавшего, с другой стороны, сильный ропот на ревность волоколамского игумена; Геннадий Новгородский был лишен архиепископии по причинам, о которых будет речь ниже; наконец, в это время летописцы говорят, что здоровье Иоанна начало расстраиваться после смерти Софии; все это могло содействовать замедлению собора на еретиков. Иосиф между тем не успокаивался: он обратился к духовнику великокняжескому, андрониковскому архимандриту Митрофану, с просьбою действовать на Иоанна; наконец его желание исполнилось: в конце 1504 года созван был собор на еретиков; они защищали свое учение, Иосиф был обличителем; следствием собора было то, что Волк Курицын, Димитрий Коноплев, Иван Максимов, архимандрит юрьевский Кассиан с братом и многие другие еретики были сожжены; Некрасу Рукавову сперва отрезали язык и потом сожгли в Новгороде; иных разослали в заточение, других - по монастырям. Некоторые из еретиков, приговоренных к смертной казни, объявили, что раскаиваются; но их раскаяние не было принято, ибо Иосиф представил, что раскаяние, вынужденное страхом, не есть искреннее. Удар, нанесенный ереси собором 1504 года, был силен, но не был окончательным; мы еще должны будем обратиться к этому предмету в рассказе о делах преемника Иоаннова.
Кроме важного дела о ереси жидовской церковные соборы Иоаннова времени занимались не менее важным делом улучшения нравственности духовенства.