史高以外戚之亲“领尚书事”，萧望之和周堪是他的副手。但开始时，汉元帝对自己的两位名儒师傅特别信任，萧望之等人的影响力越来越大。于是史高的心理失去了平衡，与萧望之的嫌隙日深，这便为宦官石显弄权提供了条件。
在外戚、儒臣、宦官三种势力中，汉元帝始终依赖宦官，因为他认为宦官没有家室，形不成盘根错节的庞大集团。这就是元帝时期宦官石显之流得势的根本原因。加之，宦官石显善于顺风承旨，阿谀奉承，元帝可以称心如意，为所欲为。其实石显之流早有“外党”，和外戚史丹、许嘉勾结在一起，还拉拢了一批见风使舵的儒臣匡衡、贡禹、五鹿充宗等人，结成朋党。还与长安豪侠万章交往甚密。体弱多病的元帝原想自己不理政事，而要通过宦官石显来控制大权，结果大权旁落，授柄于人，迫使萧望之自杀，周堪、刘更生被贬为庶民。
元帝之所以大权旁落，不仅在于近幸的狡猾技巧，更在于他自身政治水平的低能。司马光评述道：“甚矣，孝元之为君，易欺而难悟也。”宦官石显的专权，实际上正是汉元帝纵容的结果。
虽然元帝“柔仁好儒”，终因用人不当，威权旁落，最终使得西汉王朝走向了下坡路。
王昭君“幸免”汉元帝临幸之迷
汉元帝竞宁元年春，匈奴呼韩邪单于，入朝见元帝乞求降公主以和亲。
汉元帝因无法抵御匈奴的侵犯，见呼韩邪来朝求婚，便答应了他的求婚，以解匈奴之患。可当柔仁的元帝回到后宫时，又踌躇起来，因为以真公主或宗族女嫁蛮荒之地，于心不忍。
当时冯昭仪在旁，她对汉元帝说：“后宫宫人上万，十之八九未见过陛下一面。陛下平时宠幸官人，都是按’图索骥，看见图上哪个美貌，就选哪个前来侍寝。如今不妨选一个姿色平常的宫女，这样既可与匈奴和亲，又可让她走出皇宫深院，也算是对她的一种恩赐吧!”原来元帝即位后，嫌后宫女子年长色衰，就下令挑选天下美女入宫，并让画工为她们摹画形貌，以便他每晚看图择其美者召幸。于是，元帝命人把后宫美人图取来。元帝拿到图后，便选定了一个姿色较陋的宫人，命有司代办妆奁。
