Sõjaväekalmistu on rajatud 1887.aastal Tallinna Vene tsaariarmee 23. jalaväediviisi kalmistuna. Kabel kalmistule valmis 1896. aastal. 1926. aastal koostas Edgar Johan Kuusik kalmistule uue planeeringu ning 1928. aastal valmis Kuusiku kujundatud peasissekäigu ehitis. 1933.a. valmis monument Vabadussõja juhtidele, mis pärast sõda hävitati. Istutati pärnaalleed. Pärast Eesti iseseisvuse taastamist 1991. aastal taastati aastatel 1995–2010 enamik Nõukogude okupatsiooni ajal hävitatud mälestusmärke ja osa hauatähiseid. 2007. aasta aprillis paigutati Kaitseväe kalmistule 1947. aastal Tõnismäele püstitatud monument 1944. aasta septembris Tallinna vallutamisel surma saanud punaarmeelastele. 2007. aasta suvel maeti Tõnismäelt siia ümber 1944. aasta septembris Tallinnas ja selle ümbruses langenud Nõukogude sõdurid.

Kalmistul asub mitmeid olulisi hauamonumente ning see omab suurt ajaloolist väärtust. Kalmistule on maetud 550 Vabadussõjas langenut ja haavadesse ning haigustesse surnut. Seal puhkab ka ligi 50 Vabadusristi kavaleri, rohkem kui ühelgi teisel Eesti kalmistul. Hiljem, pärast sõda, maeti sinna ainult Nõukogude armee sõjaväelasi, kellest suur hulk maeti eestlaste haudade peale. Kalmistul on taastatud üksikuid mälestusmärke ja osa Eesti ohvitseride rahulast. Rajati kindralite Andres Larka, Jaan Sootsi, Aleksander Tõnissoni ja Paul Adolf Lille ning admiral Johan Pitka kenotaafid. Kalmistu koosseisus on veel Briti mereväelaste hauaplats, Saksa sõjaväelaste mälestusmärk, Eesti kaitseväe lendurite hauaplats ning Männiku plahvatuse ohvrite mälestusmärk ja hauaplats.