Od początku prac przy umacnianiu Zamościa ważną rolę w planie fortyfikacji pełnił arsenał. Pierwotny drewniany budynek wzniesiono w okresie od maja 1582 do lipca 1583 r., według projektu Bernarda Moranda.

Taki budynek, określony mianem „armamentarium” odnajdujemy na planie G. Brauna z 1617 r. W efekcie zmian w architekturze miasta – zamurowania Bramy Lubelskiej i wynikłego z tego przesunięcie arterii komunikacyjnych, arsenał został przeniesiony na druga stronę miasta w sąsiedztwo Bastionu III. Nowy murowany budynek został wzniesiony najprawdopodobniej według projektu Andrea Dell’Aqua.

Najprawdopodobniej pierwotny wygląd budynku znacznie odbiegał od bryły znanej obecnie. Arsenał spłonął w 1658 r. Wymusiło to gruntowny remont, w wyniku którego jego pierwotny kształt uległ zatarciu. Podczas tego pożaru utracono również składowaną w arsenale broń – spłonęła bądź stopiła się wraz ze zniszczonym budynkiem.

Bryła budynku oraz rozplanowanie pomieszczeń było w całości podporządkowane funkcjom, jakie spełniał arsenał – magazynu broni i artylerii w twierdzy, ale także zbrojowni, w której gromadzono ciekawe egzemplarze pozyskane lub zdobyte przez Jana Zamoyskiego. O takim wykorzystaniu pomieszczeń magazynowych wspomina w swych dziennikach sekretarz legata papieskiego, Bonifacy Vanozzi, pisząc o tablicy umieszczonej w arsenale i głoszącej: “Pro bombardis tum bello Moscovilico portis, tum ab omnis principibus et civitatibus donatis, tym densique sup juscu, Joannes de Zamoscio, regni Poloniae cancellorius, exercitusque dux supremus F.C. anno orbis redem. MDXXCII”. W XVII wieku, zwłaszcza po pożarze, arsenał pełnił już tylko rolę magazynu broni dla miasta i Ordynacji, a najcenniejsze armaty pozostawały poza twierdzą, wypożyczone wojskom koronnym w czasie wojen ze Szwecją. Historia Arsenału jako przestrzeni dla kolekcji broni Jana Zamoyskiego stanowiła tylko krótki epizod w jego długich, czysto wojennych dziejach. Przebudowa w XIX w. zmieniała proporcje budynku, ale nie wpłynęła na jego przeznaczanie. W związku z przejściem twierdzy z rąk prywatnych na własność skarbu państwa, zamojski arsenał stał się obiektem wojskowym, najpierw wojsk polskich następnie rosyjskich. Kasacja twierdzy Zamość w 1866 r. zakończyła historię budynku jako magazynu uzbrojenia. W drugiej połowie XIX i w XX w. mieścił się w nim m.in. magazyn, szkoła, zakład produkcyjny.

W latach 1976-1980 budynek poddano gruntownej renowacji, w ramach działań konserwatorsko-rewaloryzacyjnych Starego Miasta. 26 października 1984 roku otwarto Muzeum Barwy i Oręża „Arsenał”. W październiku 1984 r. na parterze budynku Arsenału została otworzona wystawa “Z tradycji wojskowych na Zamojszczyźnie 1580-1984”.

Równoległe trwały prace przy organizacji wystawy plenerowej na terenach pofortecznych w otoczeniu bastionu III. Ekspozycja “Artyleria i broń pancerna z okresu II Wojny Światowej” została udostępniona w 1987 roku. Wystawa plenerowa, stała się ważnym punktem wystawienniczym na mapie turystycznej Zamojszczyzny. Otwarty charakter ekspozycji przyciągał wielu zwiedzających. Zbiory militariów prezentowane były na licznych wystawach czasowych organizowanych w Arsenale. Ze względu na dużą, otwartą przestrzeń ekspozycyjną pomieszczenia Arsenału wykorzystywane były także na duże spektakularne wystawy historyczno-artystyczne, np. „Biblioteka Ordynacji Zamojskiej: od Jana do Jana”, prezentowana w 2005 r., w 400. Rocznicę śmierci założyciela miasta, Jana Zamoyskiego.