Князь Семен был схвачен и показал, что хотел бежать от убожества и малоумства, скуден он разумом и добрыми делами, по-пустому изъедает царское жалованье и отцовское наследство. Люди его, призванные к допросу, показали, что он сносился с литовским послом Довойною, когда тот был в Москве, сам дважды виделся с ним, рассказывал ему, что говорилось в Думе насчет мира с Литвою, поносил государя, уговорился с Довойною и послал человека своего к королю за опасною грамотою. Князь Семен подтвердил все эти показания, утверждая, что все это делал от малоумства и что с ним хотели бежать родственники его, князья Лобановы и Приимковы. Царь с боярами осудили его за дела и слова на смертную казнь и послали на позор вместе с товарищами, но митрополит с владыками и архимандритами отпросили его от смертной казни, и он сослан был на Белоозеро в тюрьму, а людей его распустили. Сам князь Семен извинялся малоумством, летописцы также не говорят о побуждениях его к отъезду, но само правительство объясняет эти причины в наказе послу, отправленному в Литву: «Если станут его спрашивать о деле князя Семена Ростовского, то говорить: пожаловал его государь боярством для отечества, а сам он недороден, в разуме прост и на службу не годится; однако захотел, чтоб государь пожаловал его наравне с дородными; государь его так не пожаловал, а он, рассердившись по малоумству, начал со всякими иноземцами говорить непригожие речи про государя и про землю, чтоб государю досадить; государь вины его сыскал, что он государя с многими землями ссорил, и за то велел его казнить. А станут говорить: с князем Семеном хотели отъехать многие бояре и дворяне? Отвечать: к такому дураку добрый кто пристанет? С ним хотели отъехать только родственники его, такие же дураки».
Иоанн жалуется в письме к Курбскому, что после этого Сильвестр с своими советниками держал князя Семена в великом береженье, помогал ему всякими благами, и не только ему, но и всему роду его.