Что были искушения со стороны Литвы, заставлявшие московское правительство обращать строгое внимание на поведение северских князей, видно из следующих слов Шемячича: «Да и то тебе, господарю, известно же, сколько прежде ко мне из Литвы присылок ни бывало, я от отца твоего, великого князя, и от тебя, господаря, ничего не утаивал». Вот почему, отправляя к Шемячичу опасную грамоту для приезда в Москву великий князь наказал посланным: «Заезжайте к князю Василью Семеновичу, скажите ему от нас речь о береженье да похвальную речь ему скажите». Шемячич оправдался в Москве; великий князь велел сказать ему: «Мы у слуги своего, князя Василия, на тебя речей никаких не слушали. Мы, как прежде нелепым речам не потакали, так и теперь не потакаем, а тебя, слугу своего, как прежде жаловали, так и теперь жалуем и вперед жаловать хотим; обыскали мы, что речи на тебя нелепые, и мы им теперь не верим». Один из обвинителей был выдан обвиненному головою; когда же Шемячич просил выдачи и другого обвинителя, человека князя Стародубского, то великий князь велел отвечать ему: «Этот человек был в Литве в плену и слышал о тебе речи в Литве, так как же ему было нам не сказать? Нам этого человека выдать тебе нельзя».
Шемячич был отпущен с честию из Москвы в свое княжество; это было в 1517 году. Но в 1523-м он был опять позван в Москву и заключен в темницу. Шел слух, что причиною заключения было письмо его к намертнику киевскому, где он предлагал службу свою королю Сигизмунду. Говорят, будто во время заключения Шемячича какой-то юродивый ходил по Москве с метлою в руках и на вопрос проходящих, зачем он взял метлу, отвечал: «Государство не совсем еще очищено: пришло удобное время вымести последний сор». Волость Стародубская присоединена была еще прежде к Москве, при посредстве Шемячича, который выгнал своего врага из отчины. При Василии же присоединен и удел Волоцкий, ибо князь Федор Борисович умер в 1513 году бездетным.