Naselje se omenja že leta 1016 kot dvor s 30 kmetijami. Kraj ni bil nikdar utrjen, zaradi česar je trpel ob turških vpadih, močneje ga je prizadela tudi epidemija kuge. Kozje je ponovno zaživelo prosti sredini 19. stoletja. Postalo je sedež sodnega in davčnega okraja, dekanije. V starem trškem jedru je veliko arhitekturne dediščine, tako stanovanjskih kot gospodarskih objektov ter cerkev sv. Eme in župnijska Marijina cerkev.