Військовий узвіз у своїй історії змінив безліч назв. Причина досить проста. Звідси починалася одна з найголовніших транспортних артерій яка з’єднувала місто з Практичною (Військовою) гаванню. Дорога пролягала по тальвегу Військової балки, перетинала Дерибасівську, Грецький базар, йшла по Олександрівському проспекту до Вільного ринку і далі – до Привозній площі. Таким чином, все це була як би одна довга вулиця, одночасно именована Олександровською, Гаванню і Старобазарною.Згодом ця магістраль розпалася на фрагменти: спуск, проспект, вулицю і три ринкові площі. У свою чергу, спуск спочатку іменувався просто Військової балкою, потім Портовою, Військовим, Гаванним, Сабанеєвським, Сабанеєвим, Сабанським, Військовим гаванним, Воронцовським, Казенним спуском, а також Портовою вулицею.
Військова балка закінчувалася поблизу Грецького базару, і через неї були перекинуті кам’яні мости: Сабанеєв (1828-1836), так званий Дерибасівський або Гімназський (1811-1812) і ще один, безіменний, – на перетині нинішніх Ланжеронівській та Гаванній (1810). Згодом верхів’я яру засипали разом з двома останніми мостами, і ця ділянка фактично становить нинішню вулицю Гаванну.
