百里奚是楚国人，成年后曾在列国游说，但是一直不得志。最后小国虞国接纳了他，虞国国君任命他为大夫。晋献公要灭虞国，便贿赂虞国大臣，使虞国国王不再信任百里奚。昏庸的国王不采纳贤臣的意见，虞国很快就被晋国灭掉。虞国的国君和大夫百里奚都当了俘虏。当时百里奚已经是个老人，性格倔强。尽管晋献公听人说过这个老头子有些本事，但他打心眼里讨厌倨傲不逊的百里奚。
此时秦晋交好，晋献公把女儿穆姬嫁给秦穆公，成语“秦晋之好”说的就是这件事。婚庆队伍里需要有人服务，晋献公便把百里奚派到婚庆队伍里当仆人，随穆姬一起去秦国。百里奚中途找了个空岔逃跑了。但是老人家运气相当不好，逃到边境时候被楚国的卫兵给抓住，再一次当了俘虏。
秦穆公是个爱才之人，他也听说了百里奚的名声。他很想见一见这个人。这时，有人向他汇报了百里奚从婚庆队伍里逃跑后被楚军俘虏的消息。秦穆公非常着急，一方面害怕楚国人抢先说服百里奚去楚国任职，一方面害怕楚国人杀掉这个“传说中”的人才。当他听说楚国人不识货，竟然让百里奚放羊的消息后，立刻准备派人带大笔金银去楚国边境赎买百里奚。派出的人刚要出发，他突然意识到这个办法不妥。楚国人不笨，见到这么多钱，他们会问：“他赢任好为什么愿意花这么多钱赎一个糟老头子？”于是他把派出去的人叫住，他改变了主意。穆公把所有金银都收回来，然后换作五张黑公羊皮。并对派出去的人说：“你们去了就说，百里奚是晋国派给秦国的仆人，中途逃跑了。麻烦你们还给我们，我们给你们五张上好公羊皮作为你们管理他这段时间的酬劳。”
派去的人照做了，楚国人果然高高兴兴地放了百里奚。七十高龄的百里奚到了秦国，秦穆公亲自出城迎接，还安排了酒宴为他接风。席间，秦穆公急不可耐地向他请教治国之道。百里奚说：“亡国之臣，安敢妄论治国之道。”秦穆公说：“虞国亡了，那不是你的责任，是虞国国君太昏庸，虞国大臣太贪财。跟你没有半毛钱关系。我知道你老是个人才，所以才大老远不辞辛劳把你接过来，就是想听听你对秦国的发展有什么建议。”
百里奚见秦穆公的确不同一般，是个有作为的君主，于是答应在秦国做官。秦穆公与他讨论治国之道，“语三日，缪公大说，授之国政，号曰五羖大夫”。“羖”的意思是“黑色的公羊皮”。
百里奚又向秦穆公推荐自己的好朋友、同样是人才的蹇叔。秦穆公非常高兴，高薪聘请蹇叔到秦国做上大夫。百里奚和蹇叔两人建言献策，为秦国发展作出了积极贡献。史书上说，百里奚主政秦国期间，“谋无不当，举必有功”，倡导文明教化，“重施于民”，内修国政，外图霸业，开疆拓土，称霸西戎。秦国就是从这一时期开始崛起。
百里奚的遭遇真值得后人反思，百里奚在虞国，虞国灭了；而在秦国，秦国发达了。这是为什么呢？
在人治环境里，官吏的选拔任用全靠统治者的才识。用得恰当，国家兴旺，用得不恰当，国家遭殃。百里奚后千年，唐人韩愈说：“千里马常有，而伯乐不常有。”怎么办呢？打破人治，用制度选才，这才是持久之道。