经过一段时间的沉淀，废黜太子杨勇的时机渐渐成熟，朝廷内外开始流传出太子杨勇的种种不利谣言。长安城里的百姓也天天在街头巷尾小声议论太子杨勇的罪过。
元氏死后揭发过太子杨勇罪行的姬威不知在哪里躲藏一段时间之后，又冒出头来，上书文帝杨坚告发杨勇。
杨素也接到杨广的授意上书文帝杨坚参奏太子杨勇。
接到这些奏折，文帝杨坚心里有了主意。
秋季，九月，壬子（二十六日），文帝从仁寿宫归来，第二天到大兴殿，他对侍臣说：“我刚返回京师，应该是开怀畅饮寻求欢乐，不知为什么变得抑郁愁闷？”
吏部尚书牛弘回答：“是臣等不称职，使陛下忧愁劳累。”
文帝说那话的目的是希望能在朝臣中听到太子的过失，而不是要听这种虚话的。牛弘的回答不合文帝的心意，于是文帝脸色一变，招来东宫的官吏僚属说：“仁寿宫离这里不远，但是寡人每次返回京师都得严格准备仪仗保卫，就象进入敌国一样。寡人因为拉肚子，不敢脱衣服睡觉，昨天夜里要上厕所，因为在后边的房间恐怕有紧急之事，就返回前殿居住。难道不是你们这些人要危害我的家国吗！”
文帝杨坚以此为借口下令把太子左庶子唐令则等几个人抓起来交付有关部门进行审讯，又命令杨素把东宫的情况告诉近臣。
杨素脑子很聪明，他特意带了几个喜欢私下里议论别人大喇叭一样的大臣去东宫太子府传旨，命令太子杨勇协助核查刘居士的余党。
太子杨勇接到文帝杨坚的诏书后，脸色大变，知道文帝这是在故意找茬，他大怒道：“刘居士的余党都已经伏法了，你让孤去哪里追究？杨素，你作为右仆射，责任不轻，你若是想核查的话自己去核查此事吧，这件事以后跟孤没关系了。”
杨素当着几位大臣的面，态度非常谦逊：“殿下，这是皇上的命令，不是微臣所能决断的。”
杨勇心里烦躁，忍不住吐槽道：“当初父皇禅让的时候诸事不顺，若是没有孤帮忙斡旋，恐怕我们杨家这帮人早就尸骨无存了，如今父皇做了天子，居然如此对待孤这个功臣，处处辖制孤的行为，任何事情都不能自作主张，孤的自由何在？”
这话杨勇说得，杨素等人却不敢多听，慌忙告辞退出了东宫。
“杨大人，太子殿下不配合的我们的行动，圣上那里我们该如何交代？”有大臣忧心忡忡地问道。
“咱们回宫据实禀告吧。”杨素叹了口气道。
文帝和杨素的目的是想把太子杨勇的恶劣态度借这几名大臣的口传播出去，所以太子杨勇的反应，他们一点都不意外。
看到杨素一脸沮丧地回到皇宫，文帝杨坚配合着问道：“太子那边如何答复？”
杨素低垂着头，惶恐不安地请罪道：“臣无能，在太子那里没有得到任何答复。”
“怎么回事？”文帝杨坚的脸上爆出一层薄怒。
杨素无奈，只得将太子杨勇的原话一五一十详细复述了一遍。
“此话当真？”文帝杨坚挑眉怒道。
“臣不敢说谎，不信你问陈大人，李大人和张大人------”杨素指了指跟他一同去东宫的几个人说道。
“是这样吗？”文帝杨坚脸色铁青，嗓门瞬间调高了一度。
受不住文帝的威压，几个人噗通一声跪倒在地上：“右仆射大人所说句句属实，太子殿下确实不配合。”
听到这话文帝杨坚的神情瞬间萧瑟了许多：“这个儿子我很早就觉得不能够继承皇位了，皇后老劝寡人废黜他，寡人一直认为他是我作平民时生的，又是长子，希望他能够逐渐改正错误，寡人已克制忍耐到现在了。杨勇曾经指着皇后的侍女对人说：‘都是我的’。这话说的是多么地奇怪。他的妻子元妃刚死时，我很怀疑她是被毒死的，曾经责问过杨勇，他就怨恨地说：‘应当杀掉元孝矩。’这是想要害我而迁怒他人。长宁王刚出生时，我和皇后一起抱来抚养他，杨勇却心中另有想法，连连派人索要。况且云定兴的女儿，是云定兴在外面私合而生，想到她的出身来历，由何能说必定是他的子女呢？以前晋太子娶了屠户的女儿，他的儿子就喜欢屠宰之事。如今他们不是咱们这一类人，会乱了宗祠。寡人虽然德行不及尧舜，但终归不能把天下百姓交付给品行不端的儿子！我总担忧他会谋害我，对他就象防备大敌一样，现在我打算废掉他以安定天下。”
文帝杨坚这席话说得不背人，也没有命令他们不可以外传，所以很快所有朝臣都知道了太子杨勇的恶语和文帝杨坚的心意。
朝中大部分朝臣都采取了缄默的态度。
左卫大将军五原公元曼劝说文帝：“废立太子是大事，诏书若颁布实行了，后悔就来不及了。谗言说起来是无定准的，希望陛下再仔细调查这些事。”
文帝杨坚看着元曼，解释道：“元曼，你对朝廷和太子的忠心，寡人心里明白，可做人也好，做事也罢不能枉顾事实，一味愚忠，太子杨勇做的错事不少，品性不端，担不得太子之位。”
元曼脸上露出一丝不服。
文帝也没责怪他，下令道：“来人啊，将姬威带进来------”
姬威很快被带进御书房，一进门就恭谨地行礼道：
“拜见圣上------”
“当着元大人的面，把太子杨勇所做的罪行说一遍--------。