В том месте, где сегодня находится поселок Колодеи, ранее Калады, раньше стоял только скотный двор и трактир. После передачи этой земли в руки Адама Чабелицкого из Соутиц, новый владелец построил здесь в 1565 году небольшую усадьбу в стиле ренессанс в форме трапеции, обнесенную рвом, соединенным с рекой Лужницей.
Владельцы этих земель часто менялись. Ими были Ян Менцелиус из Колсдорфа (1625 г.), Ян де Витте из Лилиенталя, Иоанна Бранштейнова из Маловиц и Павел Михна из Вацинова. В 1704 году поместье было продано на аукционе графу Францу Вратиславу из Митрович, и осталось связанным с его семьей на протяжении многих столетий. В документах того времени сохранилось описание крепости. Она была построена из камня с шиндельной кровлей, на нижнем этаже находилась мельница, сводчатая кухня, одна комната, подвал и кладовая. На втором этаже было пять комнат, а на третьем – три и просторная столовая.
Франц Карл I Вратислав из Митрович со своей женой Марией Анной, урожденной Кинской, в 1737-1741 гг расширил замок и достроил часовню Св. Анны, таким образом, возник его нынешней вид в стиле барокко.
Часовня Св. Анны является работой архитектора Яна Гибнера, который творил под впечатлением произведений мастера барочной архитектуры К. И. Динценхофера (1689-1751). Интерьер богато украшен фресками, самая большая на потолке изображает Деву Марию со Святой Троицей. На стенах фреска переходит в иллюзорное отображение архитектуры, перил, колонн и т.д. На центральной картине над алтарем изображена Св. Анна, которая считается работой Петра Брандла.
Концом 18 века датируются фрески на первом этаже. изображающие сцены из жизни одного из предков Вратиславов из Митрович – Вацлава, званого "Турчонок" (1576-1635), который пятнадцатилетним оруженосцем принял участие в делегации императора Рудольфа II в Константинополь. Его воспоминания о четырех годах, проведенных в плену, он описал в своей книге «Приключения Вацлава Вратислава из Митрович».
Следующая реконструкция произошла в 1840 году, когда мельница была перенесена из главного здания на противоположный берег Лужнице, а русло реки было отведено от замка. Тем самым увеличенное пространство перед замком позволило расширить парк, основанный еще в 1753 г. В 1875 г. между замком и главными воротами был построенный семейный склеп рода Вратиславов из Митрович. Первыми здесь были захоронены останки братьев Еугена и Карла Вратиславовых, перенесенные из склепа на кладбище в Тыне-над-Влтавой.
Род Вратиславов из Митрович и Шонфилда закончил свое существования со смертью последнего его члена - Евгения Вратислава в 1943 г. Единственной владелицей замка осталась его сестра Мария Терезия (1884-1961), которая вышла замуж за владельца имений в Нижних Почерницах. В сороковые годы прошлого века их собственность была национализирована.
Замковый комплекс и прилегающие здания пивзавода, ликероводочного цеха, конюшни и другие здания были переданы под управление местному колхозу. Здание замка было искусственно отделено высокой стеной и служило в качестве депозитария музея. В середине шестидесятых годов прошлого века в связи со строительством Орлицкой дамбы для повышения уровня Лужнице, плотина у замка перестала существовать, а соседний парк значительно уменьшлся из-за расширения русла реки и строительства вала от наводнений.
В начале девяностых годов 20 века наследницы рода подняли вопрос о реституции, и после возврата имущество распродали по частям. С 2008 года замок, который входит в список архитектурного наследия принадлежит компании Mitrowicz, a.s. и постепенно проходит общую и очень бережноую реконструкцию. В 2016 году впервые за его почти пятисотлетнюю долгую историю, замок был открыт для широкой общественности более чем на один день и предложил посетителям богатую праздничную программу.