Najstarszy wizerunek herbu miasta znamy z pieczęci, jaka została przystawiona na dokumencie z 1386 roku, w którym mieszczanie olkuscy składają hołd królowi Władysławowi Jagielle. Niezmiennymi od wieków elementami jego godła jest brama miejska i kopaczka górnicza, zwana gracą. Herb Olkusza, obok herbów Bochni i Wieliczki jest najstarszym polskim herbem miejskim, w którym są narzędzia pracy górników. Można jednak przypuszczać, że herb w takiej postaci jaką znamy z tego dokumentu był używany wcześniej, gdyż posiada pewne cechy typowe dla herbów z czasów panowania króla Kazimierza Wielkiego. Prawdopodobnie herb był używany od momentu nadania Olkuszowi praw miejskich, co prawdopodobnie miało miejsce pod koniec XIII wieku. Nie zachował się akt lokacyjny miasta, a najstarsze, z odnalezionych w archiwach potwierdzeń posiadania przez Olkusz praw miejskich pochodzi dopiero z 1299 roku. Nie zachowały się także wizerunki herbu miasta z XIII wieku.
W kolejnych wiekach herb Olkusza podlegał niewielkim zmianom. Na przykład na pieczęci miejskiej wykonanej za panowania króla Zygmunta Starego znalazła się korona – symbol, ze Olkusz jest miastem królewskim. Z kolejnym wizerunkiem herbu Olkusza pochodzącym z końca XVI wieku związana jest ciekawa historia. W 1584 roku miasto strawił potężny pożar, który objął również kościoły. W tym czasie odbywała się przebudowa kościoła parafialnego św. Andrzeja, która po pożarze nabrała szerszego rozmachu. W pracach brali udział pochodzący z Włoch murarze, kamieniarze i cieśle. Podczas odnawiania wnętrz w 1592 roku na wschodniej ścianie prezbiterium umieszczono malowidła przedstawiające gwarków w strojach roboczych, z kopaczkami na ramionach trzymających herby Królestwa i Olkusza. Jest to też zarazem pierwsza barwna wersja herbu, gdzie brama miejska jest koloru czerwonego, a tło żółte. Kopaczka górnicza jest zawieszona na stylizowanych linach zwisających z baszt. Ciekawostkę stanowią wspomniane wizerunki gwarków. Prawdopodobnie są to najstarsze w Polsce wizerunki górników w strojach roboczych z charakterystycznym kapturem.
Ciekawy wizerunek herbu znajduje się na XVII wiecznym dokumencie wystawionym przez króla Jana Kazimierza, którego kopię można oglądać w olkuskim Muzeum Regionalnym PTTK. W porównaniu do wcześniejszych wyobrażeń herbu widoczne są już pewne zmiany. W herbie widnieje nie jak do tej pory brama, lecz fragment muru miejskiego z otwartą bramą, zwieńczony dwiema wieżami z otworami strzelniczymi, pomiędzy wieżami znajduje się motyka górnicza, ale skierowana ostrzem na dół. Po bokach głoski S.C. (Sigillum civitatis), czyli „pieczęć miejska”, a u góry nazwa miasta „Ilkus”.
Wizerunek herbu miasta był także wykorzystywany przez rzemieślników. Od 1568 r. działała papiernia we wsi Starczynów, należącej do wójtostwa olkuskiego. Papier z Olkusza był oznaczany herbem miasta. Dzięki temu wiemy, że na olkuskim papierze została opublikowana konstytucja sejmu walnego lubelskiego z 1569 r., czyli akt unii Polski z Litwą. Ciekawy wizerunek herbu znajduje się na datowanej na 1750 rok panoramie miasta, jaką znamy jedynie z reprodukcji zamieszczonej w wydanej w 1936 książce Mariana Kantor - Mirskiego "Ziemia olkuska w przeszłości". Panorama jest ozdobiona herbem miejskim z tzw. koroną muralis. Korona składa się z trzech fleuronów, czyli ozdób w kształcie murowanych blanków, pomiędzy nimi znajdują się trudne do określenia elementy przypominające piece hutnicze, a poniżej trzy symbole górnicze, czyli skrzyżowane młotki.
Nieco inne wizerunki herbu miejskiego znamy z XIX i początków XX wieku, kiedy Olkusz znajdował się w zaborze rosyjskim. Herb przedstawiał mur z bramą i dwiema wieżami, między którymi umieszczona była kopaczka. Powyżej znajdowała się korona zamknięta. W bramie był Orzeł Biały, a poniżej niego druga kopaczka. Pole tarczy było błękitne, a mur i wieże czerwone. Taką barwną wersję herbu znamy m.in. ze sztandaru olkuskiej Ochotniczej Straży Pożarnej, jaki znajduje się w zbiorach Muzeum Pożarnictwa Ziemi Olkuskiej. Fragmenty muru z bramami i wieżami są zakończone półkoliście. W otwartej bramie zwieńczonej podniesioną broną znajduje się Orzeł Biały w koronie. Pomiędzy wieżami zawieszona na łańcuchu trójkątna kopaczka, a nad nią korona zamknięta z krzyżem. Mur, wieże i kopaczka są brązowe, korona złota, orzeł srebrny na czerwonym tle. Całość na niebieskim tle.
Sam sztandar został namalowany w 1890 roku, o czym świadczy data przy sygnaturze twórcy, czyli Antoniego Jezierskiego. W otoku łaciński napis „„SIGILLUM REGIAE LIBERAE MONTANISTICAE CIVI. OLKUSZ”, czyli „Pieczęć Królewskiego Wolnego Górniczego Miasta Olkusza”. Można zatem przypuszczać, że autor malowidła na sztandarze korzystał z wizerunku herbu na starszej, być może XVIII wiecznej pieczęci miejskiej, jakiej oryginał znajduje się w zbiorach Muzeum Regionalnego PTTK w Olkuszu. Niektóre pieczęci miejskie wnosiły do herbu nowe elementy heraldyczne. Trójkątna kopaczka umieszczona była dwukrotnie; pomiędzy wieżami i w bramie poniżej dwugłowego orła carskiego. Pomiędzy wieżami umieszczono zamkniętą koronę królewską z tzw. krzyżem patriarszym.
Ciekawostką są ceramiczne herby wykonane w olkuskim zakładzie kaflarskim Wawrzyńca Filawskiego w 1898 roku. Data znajduje się na kopaczce górniczej w herbie, a owalna sygnatura zakładu na jego odwrocie. Taki zabytkowy herb można oglądać w zbiorach Muzeum Regionalnego. W wersji barwnej został po renowacji umieszczony na budynku olkuskiego magistratu, a w oryginalnej – jednokolorowej na budynkach Zespołu Szkół nr 1 (Mechanika) oraz Szkoły Podstawowej nr 1 w Olkuszu.
Pierwszy znany wizerunek herbu Olkusza po 1945 roku znamy z wydanej w 1963 roku publikacji „Polskie Herby Miejskie” autorstwa Tadeusza Szczechury. Zamieszczono w niej herby "nadesłane lub potwierdzone przez Prezydia Rad Narodowych". Zatem po wojnie miasto używało herbu w wersji podobnej do tej, jaką znamy z lat 1918-39. Zmiany te widać także na pieczęci miejskiej z 1947 roku, która minimalnie różniła się od tej, z 1939 roku. W bramie pojawił się fragment tzw. brony, a orzeł pozbawiony został korony. Pozostała jedynie korona nad wieżami, choć zmienił się jej kształt.
Zupełnie inny wizerunek herbu znamy z wydanej w 1960 roku książki Mariana Gumowskiego "Herby miast polskich", a także wydawanej w latach 1967-67 publikacji „Miasta Polskie w Tysiącleciu”. Choć główne elementy godła pozostały bez większych zmian, to zmieniło się na złote tło herbu. Zmienił się także kształt bramy miejskiej i wieży. Kopaczka górnicza zmieniła barwę z białej (srebrnej) na czarną, kształt z sercowatego na trójkątny oraz układ, gdyż została przedstawiona ostrzem do góry. Poza tym usunięto orła, koronę i łańcuchy, na których była zawieszona kopaczka. Od tego czasu rozpoczął się odwrót od XIX wiecznych tradycji herbu Olkusza i powrót do jego wizerunku znanego z średniowiecznych pieczęci.
Jednak, aż do 1991 roku sprawa herbu miasta nie była prawnie uregulowana. Dopiero Uchwała Rady Miejskiej z 1991 roku określiła, że w herbie Olkusza znajduje się na złotej tarczy czerwona, ostrołukowa brama miejska z dwoma basztami zwieńczonymi krenelażem. Nad bramą, ostrzem do góry znajduje się czarna motyka górnicza, powyżej złota korona. W nieco zmodyfikowanym znanym wcześniej herbie dodano nowy element, czyli koronę. Miała ona podkreślić rangę miasta, jako ośrodka o średniowiecznej tradycji, który był miastem królewskim. Projektując nowy herb popełniono błąd heraldyczny, czyli złamanie zasady alternacji poprzez umieszczenie złotej korony na złotym tle. Dlatego konieczna była jego zmiana. W 2001 roku krakowscy heraldycy dr Wojciech Drelicharz oraz dr Zenon Piech opracowali na zlecenie władz Olkusz projekt nowego herbu miasta, a także flagi, chorągwi i pieczęci. Zostały one w marcu 2002 roku pozytywnie zaopiniowane przez Komisję Heraldyczną przy MSWiA. Ostatecznie nowe symbole Olkusza zostały przyjęte Uchwałą Nr LXIII/752/2002 Rady Miejskiej z dnia 20 września 2002 r. Herb, flaga i pieczęcie zostały przyjęte w kształcie zaproponowanym przez krakowskich heraldyków. Herb miasta i gminy Olkusz przedstawia w polu złotym bramę miejską czerwoną bez wrót i brony, o dwóch wieżach, z czteroblankowym krenelażem każda, między którymi czarna kopaczka o okrągłej nasadzie, bez styliska, w słup, ostrzem ku górze.
Wizerunek graficzny, a także opis herbu oraz pozostałych symboli gminy znajduje się w Statucie Miasta i Gminy Olkusz