2 września 1878 roku rozpoczęło działalność Krajowe Archiwum Aktów Grodzkich i Ziemskich w Krakowie i tę datę uznaje się za początek Archiwum Państwowego w Krakowie.

Po odzyskaniu niepodległości, 1 października 1919 roku, Archiwum przeszło pod zarząd Ministerstwa Wyznań Religijnych i Oświecenia Publicznego jako Archiwum Ziemskie. W 1936 roku przyjęło nazwę Archiwum Państwowe.

Rada Miasta Krakowa uchwałą z 2 czerwca 1887 roku nadała archiwum miejskiemu nazwę Archiwum Aktów Dawnych Miasta Krakowa oraz siedzibę w budynku przy ulicy Siennej 16. W 1951 roku zostało ono włączone do sieci archiwów podległych Naczelnemu Dyrektorowi Archiwów Państwowych, a 1 lutego 1952 roku włączone do Archiwum Państwowego w Krakowie.

Bogatą historię ma też budynek przy ulicy Siennej 16, dziś główna siedziba Archiwum Państwowego. Tu powstało w 1896 roku istniejące do dziś Towarzystwo Miłośników Historii i Zabytków Krakowa, a swe posiedzenia odbywało Grono Konserwatorów Galicji Zachodniej, prekursor służby ochrony zabytków. Tu wreszcie zorganizowane zostało Muzeum Historyczne Miasta Krakowa.

Archiwum ma charakter otwarty i wciąż gromadzi materiały przekazywane przez instytucje państwowe, samorządowe, stowarzyszenia, urzędy stanu cywilnego, instytucje gospodarcze, osoby prywatne. Przejmujemy archiwalia przede wszystkim związane z historią miasta i regionu, ale także materiały dotyczące dawnych terenów wschodnich Rzeczypospolitej, będące uzupełnieniem posiadanych archiwów rodzinnych.