乌纱帽原是民间常见的一种便帽，东晋成帝咸和九年（334），成帝让在宫廷中做事的官员都戴一种黑纱制成的帽子，叫做“乌纱帽”。后来，南朝宋明帝时，建安王刘休仁创制了一种用黑纱抽边的半透明帽子，亦称“乌纱帽”。这种帽子很快就在民间流行，无论官民贫富都可以戴服。

隋唐时期，天子百官士庶都戴乌纱帽。但为适应封建社会的等级制度，隋朝用乌纱帽上的玉饰多少显示官职大小：一品有九块，二品有八块，三品有七块，四品有六块，五品有五块，六品以下就不准装饰玉块了。

到了宋朝时，乌纱帽的形状有了改变。据说宋太祖赵匡胤登基后，为防止议事时朝臣交头接耳，就下诏改变乌纱帽的样式：在乌纱帽的两边各加一个翅，有一尺多长，并装饰不同的花纹以区别官阶高低。如此一来，朝臣们只要脑袋一动，软翅便会随之摆动，皇上居高临下，就看得清清楚楚了。

明太祖朱元璋定都南京后，于洪武三年（1370）规定：凡文武百官上朝和办公时，一律要戴乌纱帽，穿圆领衫，束腰带。另外，取得功名而未授官职的状元、进士，也可戴乌纱帽。从此，“乌纱帽”遂成为官员的一种特有标志。此时的乌纱帽以藤丝或麻编成帽胎，涂上漆后，外裹黑纱，呈前高后低式，两侧各插一翅。而自明世宗朝开始，乌纱帽的双翅又做了一些变动，翅的长度缩短，其宽窄也改变了，官阶越高，双翅就越窄，官阶越低，双翅则越宽。

清初顺治皇帝入关后，由于收留了众多明朝的降臣，为笼络人心，就允许不少地方官员仍穿着明朝朝服，并戴乌纱帽。但等到清室统治巩固之后，遂下令将官员所戴乌纱帽全改为红缨帽。可是，人们仍然习惯将“乌纱帽”作为官员的标志。因此，丢了官也就常说丢了“乌纱帽”了。