据《宋史·潘美传》记载，潘美是河北大名人，骁勇善战、有勇有谋，为维护大宋江山统一，抵御外敌立有汗马功劳。

潘美出生在一个军人家庭，其父潘璘是后周时期一名普通军官。潘美从小受家庭熏染，酷爱研习历代兵书，有机谋勇略。面对当时的混乱局势，他发感慨说：“大丈夫不以此时立功名，取富贵，碌碌与万物共尽，可羞也。”起初，潘美仅仅是大名府的一个典谒，类似通报传达工作的门童。他对柴荣非常敬佩，所以当柴荣任开封府尹时，潘美即在其帐下任职。柴荣即后周世宗，是中国历史上一位杰出的君主。潘美后来随柴荣参加高平大战，以军功授西上阁门副使，深得当时任殿前都点检的赵匡胤的赏识。

柴荣英年早逝，赵匡胤在陈桥驿（今河南封丘东南陈桥镇）发动兵变，谎称“黄袍加身”，但他心里担心京城不服，出现动乱，即派心腹大将先进京安定局势，其中就有潘美。赵匡胤登基时，特命潘美前去安抚后周宰辅，使这些人对新朝俯首称臣，甚至连改朝换代的圣旨，也是由潘美晓谕天下的。由此可见，潘美与宋太祖赵匡胤的关系非同一般。

当时陕西军阀袁彦心怀异志，赵匡胤命潘美前往西北监其军，胆勇过人的潘美单骑入长安劝说袁彦，迫使袁彦入朝称臣。潘美因此被赵匡胤称为“孤胆英雄”。

此后的数十年中，潘美作为一位将领南征北战，为巩固宋王朝的基业立下了赫赫战功。他先随太祖征讨淮南叛将李重进，而后单师挥戈讨平湖南叛将汪端，接着继续南下，攻克南汉的北部屏障郴州，继而荡平南汉，将南汉后主刘继兴擒至京师。太祖开宝七年（974年），潘美与曹彬分率大军进攻秦淮，经数日短兵接战，为曹彬主力杀开一条血路，一鼓破金陵，南唐被灭，后主李煜成了曹、潘大军的阶下囚。太宗赵光义即位的第四年（979年），潘美又挂帅征讨北汉，大败刘继元，北汉亦归宋朝所有。不久，他又北伐契丹，节节胜利，以功封代国公。

在北宋初期，潘美的显赫军功是有口皆碑的，他治军有方，使“北方以宁”。他手握兵权，却令朝廷十分放心。赵匡胤坐稳江山后，玩了一招“杯酒释兵权”，解除了大批开国将帅的兵权，唯独剩下一个潘美，不仅没有解其兵柄，还十分重用。由此可窥见潘美为人之一斑，也可说明潘美在朝廷的地位几乎是不可动摇的。

潘美正直的一面在野史中也有迹可循。据一些野史笔记记载，潘美心地慈善，知恩图报，不像小说戏剧中所描述的心狠手辣，不近人情。明王巩《随手杂录》记载，赵匡胤夺取皇位初入宫时，见一宫女抱着一个小孩，问之，宫女答道：“是世宗（指柴荣）的幼子。”当时潘美与范质、赵普都在场，赵匡胤问如何处置。赵普等都说“杀掉”，潘美在旁不语。赵匡胤问潘美为什么不说话，潘美说：“臣与陛下都曾做过世宗的臣子，现在如果我劝陛下杀之，有负于世宗；如果劝陛下不杀，则陛下必定会怀疑我。”赵匡胤说：“坐了别人的位子，又要杀别人的孩子，我不忍心做这样的事。”潘美于是向赵匡胤要求自己来收养这个孩子，把他抱回了自己家中，改姓潘，取名惟吉，抚养成人。赵匡胤后来也不问，潘美也不复言，这个孩子长大后也在朝为官。