Prvi puta spomenuta su 1429. godine premda mnogi zagrebački kroničari smatraju da su sagrađena još u XIII. stoljeću jer se u nekim izvješćima iz 1266. spominju dvoja gradska vrata. Veliki požar 31.5.1731. zahvatio je Gornji grad, pa tako i Kamenita vrata koja su izgorjela kao i većina kuća.
No, pregledavanjem zgarišta ljudi su iz pepela izvukli sliku Majke Božje čitavu i neoštećenu. Ljudi su to odmah prozvali čudom. Udovica iz građanske obitelji Moldar je dala je izgraditi barokni oltar na kojem će se postaviti slika. Slika Majke Božje je jedna od najstarijih slika koje posjeduje grad, veličina slike je 57x47cm.
Ugrađena je u oltar s kipovima sv. Petra i Pavla. Uz njih se, sa svake strane, nalaze dva bijela anđela koji odaju počast Gospi. Majka Božja sjedi na kraljevskom prijestolju, desnom je rukom obgrlila maloga Isusa, dok joj je u lijevoj ruci kraljevsko žezlo. Isus u lijevoj ruci drži mali globus. Na dnu slike je mjesec, a sa svih strana okružuju je oblačići. Marija nosi haljinu grimizne boje, a na ramenima joj gledamo plašt ukrašen zlatnim zvijezdama.
Oltar sa slikom Majke Božje štiti barokna, izvanredno lijepa željezna ograda koju je izradio 1778. godine zagrebački majstor Ivan Korta. Od 31.5.1731.g ljudi se dolaze moliti pred oltarom Majke Božje te ju traže pomoć kako bi njih ili njihove najbliže čuvala od bolesti, nesreća i sl. Na 200. godišnjicu 13.5.1931. okrunjena je krunom od zlata i dragulja. 1929.g stručnjaci su sliku dali analizirati te su utvrdili da je slika zaista bila zahvaćena plamenom, a nije izgorila iako je bila od zapaljivog materijala - naslikana je na lako zapaljivom lanenom platnu. 31.5.1991. na 260. obljetnicu, blagopokojni uzoriti kardinal Franjo Kuharić je proglasio Majku Božju od Kamenitih vrata zaštitnicom grada.
Od 1999. se 31.5. vodi kao Dan grada Zagreba. Mnoga naša prošteništa, kapelice, crkve i katedrale dnevno obiđu brojni vjernici i slučajni prolaznici, ali malo je Božjih domova koje svaki dan toliko ljudi posjeti kao Kamenita vrata. Jer, kroz Kamenita vrata ide se na posao, u školu, u muzeje... I tako su jedna vrata postala naročiti “prolazni” Božji dom - jer već stoljećima Zagrepčani i mnogi koji posjećuju naš glavni grad kroz njih prolaze i zastaju pred Marijinim likom. Bar na tren. No, puno je i onih koji se klanjaju i mole, pale svijeće, odaju počast dragoj nam Majci, traže utjehu i zahvaljuju na pomoći.Naša Majka, pomoćnica u svim nevoljama, mnogima je pomogla.
Ona ispunjava naše molbe i želje, pomaže u nevolji, ona liječi naše duševne rane i ublažuje nesreće. Mnogima je pomogla i zato je okružena i brojnim razno-bojnim pločicama na kojima su ispisane molbe i zahvale. Postavljane su u razdoblju od 1929. do 1975. godine.Danonoćno prolaze Kamenitim vratima djeca, mladi, stari, žene i muškarci, i u tišini mole i pozdravljaju Majku. Inače, u Kamenitim vratima stoji i kip Sv. Antuna koji se sprema kada časne završe sa radnim vremenom pa neki pomisle da je ukraden. 31.5.1991. na 260. obljetnicu, blagopokojni uzoriti kardinal Franjo Kuharić je proglasio Majku Božju od Kamenitih vrata zaštitnicom grada.
Od 1999. se 31.5. vodi kao Dan grada Zagreba. Taj dan nakon svečane mise u zagrebačkoj prvostolnici kreće procesija sa čudotvornom slikom Majke Božje od Kamenitih vrata preko Jelačićeva trga, Radićevom ulicom do Kamenitih vrata gdje se slika vraća na svoje stoljetno mjesto.Inače, ne zaboravimo da je Dan zaštitnice grada Zagreba ujedno i blagdan Pohoda Blažene Djevice Marije Elizabeti. Elizabeta je bila Marijina rođakinja koja je bila u dubokoj starosti kada je ostala trudna sa suprugom Zaharijem. Rodit će sina Ivana koji će krstiti Isusa na rijeci Jordan i nosit će ime Ivan Krstitelj.
Ovo je blagdan koji se spominje još davne 1263. godine, a slavio se do II. Vatikanskog koncila 2. lipnja.