В 1700 году вильнюсский епископ К. Бжостовский на склоне уреки Нярис построил первый каменный дворец, а примерно еще через 80 лет здесь появились кирпичная и кожевенная мастерские, две водяные мельницы, пивоварня и молочная фабрика. Дополнительный доход приносила и корчма.
К концу XVIII века Вяркяй стал уже собственностью епископа Игнаса Массалькиса, который обменял его на свое родовое имение в Раудондварисе. Получив возможность вкладывать средства в строительство нового поместья, новый хозяин задумал возвести в Вяркяй пышный дворец и несколько подсобных помещений. Осуществление своего замысла он поручил зодчему Л. Стуоке-Гуцявичюсу выходцу из крепостных, но за архитектурную деятельность получившему дворянство.
До начала строительства архитектор Л. Стуока-Гуцявичюс находился в Париже, где совершенствовал свои знания, поэтому до его приезда возведением дворца руководил профессор Вильнюсского университета М. Кнакфус. Сначала он руководил ремонтом дворца, располагавшегося над рекой Нярис, поэтому возведением новых зданий он мог заниматься только около полутора лет. За это время вряд ли можно было сделать много, разве что подготовить материалы, выбрать место и только начать строительные работы.
Возвратившись из-за границы, Л. Стуока-Гуцявичюс завершил сооружение всего ансамбля в Вяркяй по собственному проекту. Сохранившиеся архивные документы рассказывают о том, что он якобы не одобрил выбранное для строительства место. Это понимал и сам епископ И. Массалькис, так как при перенесении дворца с берега реки на вершину холма утрачивается лесной фон. Но епископ позаботился об озеленении территории своей новой усадьбы.
Сейчас уже довольно трудно установить, какой вклад в создание великолепной резиденции внес каждый из них. Поэтому ученые исследователи считают их обоих авторами и строителями Вяркяйской усадьбы.
Желая усилить живописное впечатление, Л. Стуока-Гуцявичюс предложил использовать воду окрестных источников и ручьев, соорудить перед дворцовыми зданиями бассейн с фонтаном, а вытекающие воды каскадами направить по склонам холма в Нярис. И. Массалькису этот замысел до того понравился, что он даже велел изобразить водный каскад на стенах лестницы в своем дворце в Вильнюсе.
Дворцовый комплекс в Вяркяй имел подковообразный вид. На холме были возведены три здания — центральное и два боковых, более скромных и еще без пристроек. Все здания располагались вокруг эллипсоидного сквера, в центре которого стоял овальный бассейн с фонтаном.
Центральный дворец размещался в конце длинной оси этого эллипса, пролегающей с севера на юг. Он был двухэтажным и имел главный портик с шестью ионическими колонными, украшен он был пилястрами этого же ордера.
Рельефы на фронтоне главного портика и аттиках ризалитов, созданные скульптором Т. Риги, изображали сельские работы: например, на фронтоне была такая аллегория — Цинциннат пашет на быках.
На углубленных частях переднего фасада, между центральным портиком и боковыми ризалитами, располагалось по семь окон, на боковых фасадах — по три окна на каждом этаже, украшенных наличниками и сандриками.
К дворцу вела изящно изгибающаяся и опоясывающая площадку с фонтаном дорога. Удачная разбивка парка, органично вписанные в него здания, стоящие на высоком холме и окруженные пышной зеленью, особенно живописно выглядели издали.
Дворец в Вяркяй по тем временам был сооружением по истине монументальным: длина центрального дворца составляла почти 85 метров, а ширина его равнялась 10 метрам.
В центре главного здания размещался просторный парадный зал с выходящими в сад окнами, который предназначался для постановки театральных представлений. По обеим сторонам зала располагались гостиные. Особую нарядность центральному залу придают потолок и ниши для скульптур, симметрично расположенные с четырех сторон — между дверями в соседние помещения. Над центральным залом, над крышей дворца, возвышался эллипсоидный купол, покрытый медью.
Основной дворцовый комплекс в Вяркяй и другие постройки усадьбы соединялись двухэтажным домом управляющего. Вход внего был расположен в глубокой нише, обрамленной по бокам двумя дорическими колоннами.
После смерти епископа И. Массалькиса Вяркяйский дворец начал понемногу приходить в запустение. Впоследствии его хозяевами были разные люди, но все они мало интересовались состоянием усадьбы. Сильно пострадал дворец и во время наполеоновского нашествия в 1812 году: были сожжены почти все деревянные полы и часть стропил крыши центрального дворца.