在被免職後，覃連芳離開了桂系，不是暫時，而是永遠。縱然李宗仁再怎麽派人勸解都沒用，他認為自己的心已經被傷過了，而傷過了的心是再也不能復原的。
他留給李宗仁的是一張紙條：隨公數十年，公待我如家仆，招之即來，揮之即去。
覃連芳養過一頭獵犬，從前每次從李宗仁那裏拿到錢，他就會去買好吃的喂狗。有人奇怪他為什麽待這條狗這麽好，他就說，我這條狗不是普通的狗，它不會彎腰低頭去鉆狗洞，所以理應得到美食。
說到底，這是一個適合於戰場而不適合於官場的人，但作為朋友，他絕對是可交之人。