Дорогобужская крепость была построена в одно время с основанием города. Стоит отметить, что значение слова "город" в Древней Руси имело значение "огороженное место", другими словами - крепость. Расселявшиеся около горда-крепости жители образовывали посад, сам холм, где стояла крепость, называли детинцем. Дорогобужскую крепость возводили на одном из естественных мысов берега реки Днепр, рядом протекала впадающая в Днепр речка Ордышка. в части оборонительных качеств это место имело наибольшую выгоду. С одной стороны (с севера) крепость была защищена рекой Днепр, с запада кстати пришлась защита речки Ордышки.

Оставалось укрепить место с юга и востока, что и было сделано. С юга был вырыт глубокий ров, а со всех других сторон рукотворно была значительно увеличена крутизна склонов холма. Вырытый глубокий ров огибал детинец (укрепленный холм) также и с востока. Верхняя площадка холма была хорошо выровнена, а края площадки превращены в небольшие земляные валы, на них то и были сооружены деревянные башни и стены.

Какой в точности имела вид Дорогобужская крепость в древности, мы не знаем. Наиболее полное описание крепости датируется концом 17 в. Ранее, как минимум один раз, в 1508 г., Дорогобужская крепость масштабно перестраивалась. Теперь трудно выявить, какие изменения претерпела конструкция башен, стен, насыпей за 5 веков. Однако, вполне можно предполагать, что основные конструктивные черты крепость сохранила, повторяя в этом прежнюю. Зодчие, выстраивавшие крепость в 1508 г. известны. Возобновлялась она вслед за тем, как войско Московское подожгло город Дорогобуж и ушло из него, в связи с возможностью нападения литовцев. Через недолгое время Дорогобуж был вновь захвачен Москвой, именно тогда, по указу князя Василия III, в город были вызваны для восстановления крепости два итальянских зодчих - Мастробон и Вартоломей. Эти имена указаны в Разрядной книге ( с русским произношением). Мастробон - иначе это мастер Бон или Бон Фрязин, достаточно известный пушечный мастер и архитектор, итальянец.

В 17 в. Дорогобужская крепость состоит из трех выраженных частей: первая - "верхний город", то же самое, что и детинец; вторая - "средний город", который занимает террасу с северной стороны холма-верхнего города; и третья - "нижний город", находившийся еще немного севернее, вплотную к реке Днепр. Крепость была построена из дерева, башни имелись как проезжие, так и глухие. Вокруг крепости имелся внешний вал и достаточно глубокий ров. Существовал еще и внутренний вал, где стояли башни и стены крепости. Въезд в "верхний город" осуществлялся с юга, с нагорной стороны, с использованием подъемного моста. Две башни с воротами (проезжие) были в "нижнем городе", а начиная с 1633 г. проезжую башню сделали и в среднем городе. Немного позднее эту башню заменили "башней на прохожем тайнике", в выводном Пятницком бое. Две башни, находящиеся с краю в "среднем городе" были оснащены дополнительными укреплениями - выводными боями. В Дорогобужской крепости стены и башни имели три ряда бойниц: верхний бой, средний бой и подошвенный бой. В дополнение к этому в башнях размещались пушки (пищали). В конце 17 в. в крепости насчитывалось 43 пищали и более 2500 ядер. В соответствии с росписью военного времени, которая была составлена в 1633 г., Дорогобужскую крепость должны были оборонять 2644 человека.

Точный сведений о том, были ли в Дорогобужской крепости подземные ходы пока не найдено. Однако точно существовали тайные выходы, например в Тайничной башне и в выводном Пятницком бое (башня на "прохожем тайнике"). Все основные башни Дорогобужской крепости имели названия такие же, как и ближайшие церкви на посаде. Вестовая башня имела большой колокол, в тринадцать пудов весом, в начале 17в. на ней также находились часы. Колокол на башне отбивал каждый час. В первой половине 18 века на Спасской башне над воротами висела икона Спаса Нерукотворного. Внутри крепости , над теми же воротами висела икона Смоленской Богоматери Одигитрии. Постоянный гарнизон крепости - это пушкари и стрельцы. В военное же время гарнизон дорогобужской крепости обычно усиливался полевыми войсками. Рядом с крепостью имелось поселение, где размещались в мирное время стрельцы. Поселение называлось Стрелецкой слободой, в современном Дорогобуже это стало улицей Маяковского. В конце 17 века в "нижнем городе" находились 3 колодца и тюремный острог. В "верхнем городе" находилась главная церковь города Дорогобужа. Данные археологии позволяют предположить, что здесь первоначально был каменный храм, построенный в домонгольское время (конец XII -начало XIII веков). Когда он был разрушен, неизвестно. В XVII веке в "верхнем городе" находилась деревянная шатровая церковь во имя Святых Великомученников князей Бориса и Глеба ( вероятно, то же имя носил и первый каменный храм ). Здесь же находились дом воеводы, воеводская канцелярия, казенные амбары для хранения продовольствия, ряд других построек. Дорогобужская крепость неоднократно подвергалась нападениям и осадам. Первое летописное описание осады Дорогобужской крепости относится к 1300 году, когда во время княжеских междуусобиц Дорогобуж осаждал смоленский князь Александр Глебович, но так и не смог захватить крепость. Во время Смуты и Смоленской войны (1632 - 1634 гг.) Дорогобужская крепость также не раз подвергалась осадам.Так как крепость была деревянной и от времени и непогоды приходила в ветхость, ее приходилось постоянно обновлять. В XVIII веке военное значение Дорогобужской крепости в связи с развитием артиллерии уменьшается. В расписном списке города Дорогобужа 1738 года крепость показана уже очень ветхой и полуразвалившейся. Последний удар по ней, вероятно, был нанесен большим пожаром 1763 года, когда выгорела вся центральная часть Дорогобужа. Остатки крепости были разобраны, земляные валы срыты. По указу Екатерины II (1765 г.) планировалось на детинце после пожара построить каменную крепость с 6 бастионами, стоимостью до 20 000 рублей. Однако этот проект так и не был осуществлен.