Začetki ustanovitve segajo v leto 1871
Najstarejša gasilska društva na območju, ki ga pokriva Gasilska zveza Šmarje pri Jelšah, so bila ustanovljena že leta 1871 in naprej. Z rastjo njihovega števila ter vse višjim nivojem organizacije se je začela pojavljati potreba po povezovanju, sodelovanju in druženju. Tako so že leto dni po Drugi svetovni vojni na našem območju začele nastajati tako imenovane gasilske župe, iz katerih so se leta 1955 izoblikovale tri občinske gasilske zveze in sicer OGZ Kozje, OGZ Rogaška Slatina in OGZ Šmarje pri Jelšah.
Leta 1959 je prišlo do združitev občin Kozje, Rogaška Slatina in Šmarje pri Jelšah v skupno upravno-politično celoto Občino Šmarje pri Jelšah. Trendu združevanja je sledilo tudi gasilstvo in istega leta je prišlo do združitve omenjenih občinskih gasilskih zvez v Občinsko gasilsko zvezo Šmarje pri Jelšah.
V tej obliki in pod takšnim imenom je Občinska gasilska zveza Šmarje pri Jelšah obstajala vse do nove prelomnice v upravni organiziranosti na našem območju, ko je iz nekdaj združene Občine Šmarje pri Jelšah nastalo šest novih, manjših občin. Tokrat pa gaslici niso sledili trendu razdruževanja in so ostali skupaj v zvezi, ki se je preimenovala v Gasilsko zvezo Šmarje pri Jelšah.
Gasilsko zvezo Šmarje pri Jelšah so v preteklih letih vodili: Anton Strašek, Anton Sok, Jakob Hrepevnik, Milan Matko, Anton Gaberšek, Pavla Kidrič, Ervin Perčič in Erih Strašek.
Gasilski zvezi Šmarje pri Jelšah so v preteklih letih poveljevali: Ivan Žogan, Vinko Sajko, Vinko Plavčak, Alojz Tirgušek, Bojan Hrepevnik in Bogdan Krumpak.
