Никому не нужный, никем не уважаемый человек. В старину на ярмарках водили дрессированных медведей. Их сопровождали мальчик-плясун, наряженный козой, и барабанщик, аккомпанирующий его пляске. Это и был "козы барабанщик". Его воспринимали как никчемного, несерьезного человека. А если еще и коза "отставная"?
