随着太子刘据一天天长大，卫子夫的容颜也一天天衰老下去。元朔六年
（前123年），随着年轻貌美的王夫人的出现，汉武帝对卫子夫持续十五年的盛宠开始逐渐转移。之后，又有李夫人、尹婕妤、邢夫人、赵婕妤（钩弋夫人）等更替受宠。
然而，即使朱颜辞镜色衰爱弛，卫子夫依然记着立后之时枚皋那篇劝诫之赋。再者卫子夫的弟弟卫青及外甥霍去病为汉武朝立下不世之功，威仪不泯，天下尊之。 深晓月盈则亏，水满则溢，盛极必衰道理的卫子夫宠辱不惊，凭借着平衡的心态，良好的德行及公正的处事，使她在宠衰之后，在卫青、霍去病相继离世之后的17年内依然能够得到武帝的礼遇与尊重。
除后宫诸事为卫子夫职责之内，武帝每每出巡游幸天下时亦将少府所掌宫中事由交予卫子夫定夺。待武帝归来之时，卫子夫将重要的裁决汇报给武帝听，武帝从来没有异议，有的时候甚至免去卫子夫的汇报。武帝对卫子夫的信任即是如此。
