罚，也依然急着找一个兵败的替罪羊，然后他就选中了高颎——谁让高颎是他的副手，是元帅长史呢？而且这个元帅长史若是杨谅的嫡系臂膀，那么牺牲起来或许还会让杨谅有些犹豫，可高颎是大哥太子的人，所谓死道友不死贫道，也就理所当然了。
杨谅面见杨坚后，当面哭诉高颎在大军筹备时的处处掣肘，也把大军渡过辽河后后勤补给困难、缺少军粮医药的过错全部推给了高颎，说是他调度运筹不利导致的。杨谅甚至还说出了“儿臣在幽州，幸未被高颎所害”这样狠毒的言语。
杨谅哭诉之后，心疼小儿子的独孤皇后马上连了一招神补刀，在杨坚面前吹枕边风：“臣妾听说当初陛下定计出征时，高颎本就不想去，想留在京中辅佐勇儿，是陛下强迫高颎去辅佐谅儿的。当时臣妾就知道他如此不甘愿，定然会无功而返。”
听了独孤皇后的补刀，杨坚怒气愈盛，独孤皇后却没有收手的事情，继续说起高颎欺君的一些其他罪行。
原来，高颎的正妻在七八年前就已经老病而死了，当时独孤皇后劝杨坚对臣下施恩，为已经年过五旬的高颎再赐婚续弦。当时高颎推辞说：“臣年已老迈，每日退朝之后，唯有吃斋念佛而已，并不需另娶。”于是当年杨坚试图给高颎赐婚的事情也就做罢了。
如今，这桩事情已经过去七八年了，但是恰恰在开皇十八年这个当口，高颎的一个小妾却刚刚怀孕生子了。这桩事情，杨坚一开始听到时还挺为高颎高兴的，没往别处想。但是独孤皇后听闻后却深深叹息，颇为不喜。
杨坚感觉奇怪，便追问独孤皇后为何不喜，独孤皇后对答说：“陛下难道不记得七年前陛下要给高颎赐婚时，高颎说他已经年老不需要女色了么？如今他的爱妾却再产，这分明说明当年高颎是在欺骗陛下啊！他为了一个小妾都愿意欺君，这样的臣子，如何可信！”
到了这一刻，杨坚对高颎的信任，终于被堆得愈来愈高的攻讦撕裂、崩塌了。
年底时，杨坚宣布高颎因病不能处理政务，将其原本的尚书左仆射官职暂时撤掉，回家养病，但是齐国公的爵仍然继续保留。杨坚试图用这个冷处理给高颎一个改过自新的机会——毕竟也是百足之虫死而不僵，信任了二十年的重臣，要一下子彻底问罪，还是颇让杨坚难以下决心的。只要免职能够让高颎没有继续为害的可能性，那么杨坚显然更乐于用这种方法处理。
可惜，身居高位者一旦摔下来，后续的连锁反应是停不下来的，不把他彻底打到永世不得翻身，别人是不会安心享受胜利果实的。失去了左仆射的官职后，只是让更多原本就对高颎怀有恨意的朝臣想要趁机踩一脚。而朝中只有的贺若弼、柳述等人敢直言为高颎辩护，只可惜也只能是让形势不再恶化而已。
为此，连柳述本身受到的信任都开始被杨坚猜忌。过了年关后，开皇十九年年初，杨坚便秘密撤掉了柳述内外侯官总管的职务，但是留下了柳述黄门侍郎的官职，并改加兼兵部尚书。外行人看来，柳述这个驸马爷的权位又高了一级，但是只有柳述等极个别圈内人知道，最重要的秘密战线权柄被彻底削夺了。
眼见攻击高颎的人越来越多，自己再出手也不会引起太多不必要的注目，晋王系新拉拢的巨头杨素终于出手实施了他自己的一击。
杨素从开皇十八年年终的吏部考功中动手，把齐郡地方的几名要害官吏做出了调整。而高颎此前的爵位是齐国公，在齐郡本来是有封地的。
于是，开皇十九年一开年时，齐郡下属的“齐国令”这个官职上，就被换上了杨素的人。
不出月余，到了二月初时，新任的齐国令便表奏告发一桩秘闻：
在高颎回到封邑养病闲住的这段时间里，高颎的幼子、同时也是太子女婿的高表仁，回到封邑探望高颎。探望时，高表仁见高颎气色萎顿，精神不好，便安慰说：“当年诸葛武侯被司马懿耗死之后，司马懿也曾被投闲置散。今日父亲位极人臣，能够退下来一阵子，又何尝不是喜事呢？”
高表仁有没有说出这么脑残的话，外人就不好断定了。但是只要有一定的证据证明，那就够了。当听说高颎被去职之后，居然还敢以司马懿自居，杨坚的心情可想而知。
朝中群情汹汹，纷纷奏请问罪处斩高颎。杨坚犹豫良久，最后批复：“前年杀虞庆则、去年斩王世积。若今年再斩高颎，岂非令天下人以为朕刻薄寡闻，如刘邦之于韩、彭、黥布？”
最终，高颎仅仅被问罪，一并削夺爵位，以庶人身份放归乡里。