杨素于是公开说：“臣奉敕向京，令皇太子搜捕刘居士余党。太子奉诏，勃然大怒，脸上的骨肉都要飞起来，对臣说：‘刘居士党羽已经全部伏法，你让我去哪里抓？！你是右仆射，责任不轻，你自己去抓，关我什么事！’又说：‘当年如果大事不成（指杨坚篡位），我先被诛杀，如今做了天子，竟让我还不如诸位弟弟，我一件事也不能做主？！’然后长叹一声，回头看着我说：‘我觉得自己行动大受限制。’”杨坚说：“此儿不能胜任继嗣已经很久了，皇后一直劝我废黜他。我因为他是平民时所生，又是长子，希望他能自己改正，所以隐忍至今。杨勇曾经指着皇后的侍女对人说：‘这都是我的。’他这话多不像话！他的妻子（元妃）刚死的时候，我就极度怀疑是被毒死的，曾经责备他，他即刻回怼说：‘我以后还要杀元孝矩（元妃的父亲）。’他这是想害我，而把怒气撒到元孝矩身上吧。长宁（杨勇的长子杨俨，封长宁王）刚出生时，朕与皇后把他抱来抚养，自从心里有了芥蒂，他接连派人来，要接回去。况且那云定兴的女儿，本身就是在外跟人私通而生，想想这个由来，怎么知道是他家的种？当年晋太子（司马遹）娶屠夫家女儿，他的儿子就喜欢杀猪。婚配如果不能门当户对，就乱了皇家血统。我的品德虽然赶不上尧、舜，终究也不会把天下百姓交给不肖之子！我一直害怕被他加害，如防大敌；今天要废黜他，以安天下！”