黄芩为多年生草本植物，根茎肥厚，肉质，径达2厘米，伸长而分枝，茎基部伏地，上升，高30～120厘米，基部径2.5-3毫米，钝四棱形，具细条纹，近无毛或被上曲至开展的微柔毛，绿色或带紫色，自基部多分枝。

黄芩的叶坚纸质，披针形至线状披针形，长1.5～4.5厘米，宽0.5～1.2厘米，顶端钝，基部圆形，全缘，上面暗绿色，无毛或疏被贴生至开展的微柔毛，下面色较淡，无毛或沿中脉疏被微柔毛，密被下陷的腺点，侧脉4对，与中脉上面下陷下面凸出，叶柄短，长2毫米，腹凹背凸，被微柔毛。

黄芩的花序在茎及枝上顶生，总状，常再于茎顶聚成圆锥花序，花梗长3毫米，与序轴均被微柔毛，苞片下部者似叶，上部者远较小，卵圆状披针形至披针形，近于无毛，花冠紫、紫红至蓝色，长2.3～3厘米，外面密被具腺短柔毛，内面在囊状膨大处被短柔毛，冠筒近基部明显膝曲，中部径1.5毫米，至喉部宽达6毫米，冠檐2唇形，雄蕊4，花丝扁平，花柱细长，花盘环状，子房褐色，无毛。

黄芩的小坚果卵球形，高1.5毫米，径1毫米，黑褐色，具瘤，腹面近基部具果脐，花期7-8月，果期8-9月。