Центральное здание современного Тауэра - Белый Тауэр - было когда-то построено в центре римской крепостной стены. Северную и западную часть окружал ров, а также деревянно-земляной вал. Эти оборонительные сооружения в дальнейшем были улучшены, а к юго-западному углу Белого Тауэра в XIII веке были пристроены ворота, фундамент которых и сегодня можно видеть рядом с Белым Тауэром. Эти ворота назывались Воротами Колдхарбор и служили входом во внутренний двор замка. Между ними и Башней Уэйкфилд находятся руины бывшей оборонительной стены, защищавшей западную сторону внутреннего двора . Также виден ряд уцелевших бойниц. На защищенной таким образом территории находился большой королевский зал, королевская кухня и гораздо позднее - ряд зданий, выстроенных специально дли коронации второй Жены Генриха VIII - Анны Болейн. Далее был достроен сам дворец: к южному фасаду Белого Тауэра (со стороны реки) Генрих VIII пристроил Здание Сокровищницы, к восточному -дополнительное крыло. В конце концов, в западной части между фонарной и Гардеробной башнями был возведён второй дворец, а в восточной - построены Соляная башня и Башня широкой стрелы. После того, как эти средневековые постройки утратили своё первоначальное королевское предназначение, их все еще продолжали использовать в хозяйственных нуждах. Некоторые из них были разрушены в 1674 - 1675 годах, другие, такие как большой королевский зал, были перестроены под складские и административные помещения и, в с6ою очередь, снесены в 1775 - 1777 годах в результате пожара, в котором сгорела и Фонарная башня.