在晚清時期，桂祥算是眾多人羨慕的大臣了，他的親姐姐是慈禧太后，女兒是隆裕皇后，女婿是光緒皇帝，按理說桂祥的條件在當時整個清王朝都算數一數二的，應該權勢熏天才對，可事實上的桂祥日子過得十分窘迫，他的一生大多在窮困潦倒中度過。

慈禧有兩位弟弟，分別是照祥和桂祥，照祥在繼承父母爵位兩年後就亡故了，慈禧作為一個統治晚清近半個世紀的女強人，她很看重孃家人的力量，對於二弟桂祥，慈禧在掌權後，一直是關照有加，多次提攜桂祥，先是把家族承恩公的爵位給了桂祥，先後出任了工部右侍郎、鑲黃旗副都統等職位，在慈禧的操控下，桂祥的女兒也成為皇后，貴為大清國皇帝的老岳父，剛開始的桂祥是和貧困潦倒絲毫不沾邊的。

慈禧為了重用桂祥，提高他在朝中的威信，在光緒二十年“甲午戰爭”爆發的時候，前線打得一塌糊塗，北洋水師戰敗，慈禧太后指派桂祥帶兵出關迎戰，本來想給桂祥一個建功名的好機會，誰知桂祥這次出征，卻上演了晚清對外戰爭史上，一連串令人哭笑不得的場面。

從京城到山海關這一路，桂祥一路上走走停停，到了前線以後，強佔百姓民房，在戰場上當著眾多兵士的面，嚇得面如土灰、痛哭流涕，他選擇臨陣脫逃，最後因為怕死逃回了北京城，這場醜態百出的出征，才算畫上句號。

桂祥在文武百官面前醜態百出，也徹底讓慈禧失望，慈禧深感丟臉，因此再也不考慮給他重要官職，後來袁世凱給桂祥找了一個肥差，當崇文門監督，這個工作主要負責崇文區的田稅和商稅收，桂祥放手打撈，一時間賺得金缽滿盆，但是好景不長的是，一場大火把桂祥的府邸燒得精光，桂祥所打撈的財富毀於一旦。

慈禧對桂祥更多的是恨鐵不成鋼，不僅後來不賜官給桂祥，反而時常命人訓斥，本來慈禧太后給了桂祥很多財物接濟生活，然而他卻天天在家抽大煙混日子，閒散時間，經常請一群朋友去酒館喝酒，桂祥是一個愛面子，愛擺譜的人，和好友一起喝酒作樂的時候因為是慈禧弟弟的身份很受周圍人的吹捧和抬舉，所以請客喝酒都是桂祥買單。

因此時間一長，慈禧給的補貼就花完了，沒錢的時候，就把慈禧賞賜來的古玩字畫和珠寶等一些值錢東西去當鋪換錢，慈禧得知桂祥的舉動後，也就平時賞賜些瓜果時鮮，並不賞賜貴重財物，而他的女兒隆裕皇后雖然看見自己的父親貧困潦倒，可是隆裕皇后在慈禧太后的掌控下活的小心翼翼，不敢忤逆慈禧的意願，也沒有接濟桂祥。

桂祥一生碌碌無為，慈禧太后去世後，桂祥的生活更加貧困潦倒，1913年12月，葉赫那拉桂祥離世，家中沒有銀兩治喪，溥儀得知後賞銀子五千兩銀子給桂祥家用於治喪，桂祥作為慈禧的親弟弟，一生貧困潦倒，說到底還是因為自己能力太差導致的。