Двести лет назад довольно широко было распространено такое явление как бродячие артисты. Они путешествовали по городам и весям, давали концерты и этим зарабатывали себе на жизнь. В составе артистического коллектива (труппы) были певцы, танцоры, а также музыканты, которые развлекали публику игрой на балалайке, шарманке, барабане.
А также в составе артистов часто присутствовали дрессированные животные: медведь, собака, коза и другие. Бывало и такое, что в козу наряжали человека, одевая на его голову грубое подобие козьей головы из мешка. В составе труппы часто находился отставной солдат. Он то и играл на барабане веселую дробь, под которую выступали такая вот «коза» или дрессированные животные. Вот так и родилось выражение «отставной козы барабанщик», под впечатлением от выступления таких артистов.
В те времена, (18-20 век) оно означало «человека маленького», занимающего не высокое положение в обществе, самую низшую должность при каком-либо заведении или человека без определённого рода деятельности. А также человека, вынужденного нищенствовать и перебиваться случайными заработками.
В настоящее время значение фразеологизма расширилось и теперь «отставной козы барабанщик» — это ещё и человек, который пытается рассуждать на тему, которую не знает, потому как он некомпетентен в этой области и, не имея знаний, пытается рассуждать. А также так называют человека, с мнением которого не считаются в какой-либо организации.