刘备很小就成了孤儿，家境也很贫寒，《三国志·先主传》说他“与母贩履织席为业”。
而三巨头中的曹操出生于一个显赫的宦官家庭，孙权出身于地方豪族，又承父兄之业。与他们相比，刘备的基础就显得薄弱了许多。
汉熹平五年，刘备十五岁的时候，母亲让他去游学，拜当时的儒学大师卢植为师。《三国志·先主传》说刘备“不甚乐读书，喜狗马、音乐、美衣服”，可见是个不肯好好学习的问题学生。
这次游学对于刘备来说，最大的收获应该就是结识了同窗公孙瓒，《三国志·先主传》载“瓒深与先主相友。瓒年长，先主以兄事之”，这一点对刘备日后的起步产生了重大的影响。
游学归来后，刘备开始交结豪侠，阴蓄部众。关羽和张飞应该就是在这时归附刘备的。这里有一个疑点，所谓交结豪侠是一种很费钱的行为，而刘备一贫如洗，连游学的费用都是叔父赞助的，他哪里来的这许多钱呢？
而这时两个中山大商的突然出现就显得更微妙了，《三国志·先主传》说“中山大商张世平、苏双等赀累千金，贩马周旋于涿郡，见而异之，乃多与之金财。先主由是得用合徒众。”这两个人是贩马大商，与刘备一不沾亲二不带故，只是因为没见过长得这么诡异的人，就提供赞助，这笔生意未免太亏本了。
如果说是为了保障商路的安全，那么找保镖找官府不是更合理一些吗？为什么要赞助一穷二白的刘备呢？如果把这笔钱财理解为保护费，倒是合理了许多。如果是的话，那么刘备当时的行为就很值得研究了。
刘备正式进入官途是在汉光和七年，黄巾起义爆发后，朝廷见黄巾势大，于是从各州郡招募义兵，共同讨伐黄巾军。刘备时年二十二岁，由于协同讨伐黄巾军有功，被授为安喜县尉。演义中怒鞭督邮的情节就发生在这时，不过主角并不是张飞，而是刘备。《三国志·先主传》中载：“督邮以公事到县，先主求谒，不通，直入缚督邮，杖二百，解绶系其颈着马枊，弃官亡命。”当时的具体情况如何，现在已经不得而知。单以这段材料来看，只因为上司不肯见他，便破门而入，视上司之命如草芥，打了他二百大板，然后就丢官落跑，这种粗暴行为哪里有半点仁爱之心。演义中把这个黑锅背在张飞身上，可真是冤枉啊。
在这以后，刘备又当过下密县丞，从高唐县尉作到高唐县令。他当然不甘心老当这些基层干部，于是投奔到同窗好友公孙瓒的麾下。
刘备的第一次人生转机出现在汉献帝兴平元年即公元194年，曹操征讨徐州，徐州牧陶谦向田楷求救，刘备也一同到了徐州。《三国志·先主传》记载：“时先主自有兵千余人及幽州乌丸杂胡骑，又略得饥民数千人。既到，谦以丹杨兵四千益先主，先主遂去楷归谦。谦表先主为豫州刺史，屯小沛。”从这一段看来，刘备在公孙瓒手下兵不过千余人，官不过一郡之相，似乎并没有受到重用。陶谦又给兵又给官，刘备哪受得了这种引诱，与公孙瓒的交情也只好不顾了，迅速与田楷断绝关系，改投陶谦。