乳腺错构瘤和其他器官的错构瘤一样，乳腺错构瘤是由于残留的乳腺管胚芽及纤维脂肪组织异常发育而构成瘤样畸形生长，往往长到一定程度会明显减慢生长速度或自行停止生长。瘤体有完整的包膜。瘤体内的腺体成分尚保持有分泌乳汁的功能，这是本病具特色的征象。显微镜下：肿瘤为异源性生长类型，主要有纤维结缔组织、脂肪组织和腺体，有时可以出现透明软骨、平滑肌等组织。常见的组织类型是透明变性的纤维组织分隔导管和小叶，而且混有不等数量的脂肪。如果脂肪间质占绝大部分，则可称为腺脂肪瘤；如脂肪组织内有岛状透明软骨，腺体成分少，则可称为软骨脂肪瘤；如果平滑肌成分非常突出，则可称为平滑肌错构瘤。错构瘤的腺管不受压，借此可与纤维腺瘤鉴别；错构瘤有完整的包膜，借此可与腺病及男性乳腺发育症鉴别。