Один из образованнейших людей своего времени, Василий Васильевич собрал богатейшую библиотеку, в которой были книги на русском и иностранных языках. Он способствовал развитию просвещения, и при нем в 1687 году была открыта Славяно-греко-латинская академия для обучения боярских детей, чтобы потом они могли продолжить образование за границей. Впоследствии Голицын подарил академии свою библиотеку. Его можно назвать «западником» допетровской эпохи, так как он стал привлекать искусных и талантливых иностранцев на службу в Россию.
Полководческая деятельность для Василия Васильевича не представляла никакого интереса. Но он был вынужден исполнять роль главнокомандующего русскими войсками во время Крымских походов, совершенно этого не желая. Царевна Софья не жалела сил для создания образа князя Голицына, наделенного всеми дарованиями, в том числе и талантом военачальника. Крымские походы стали итогом политической биографии Голицына. Первый поход был организован в 1687 году. Русское войско вышло в степи поздно и сильно страдало от жары и отсутствия воды. На половине пути армия вынуждена была повернуть обратно из-за того, что степь была подожжена крымцами. При возвращении в военный лагерь на реке Коломак гетман Самойлович был смещен со своего поста. Он очень настороженно относился к Речи Посполитой и предпочитал не воевать с крымцами, а договориться, что делало его не лучшим союзником в этой войне. На его место был избран Мазепа, придерживавшийся пропольской ориентации. Избрание Мазепы гетманом состоялось под непосредственным нажимом Голицына. Второй Крымский поход 1689 года также оказался неудачным. Русские войска смогли дойти лишь до Перекопа, а затем повернули назад. В итоге оба похода, несмотря на тщательность подготовки и огромную численность армии, оказались безрезультатными. Они сопровождались большими потерями людей в русских и украинских полках, вызванными тяжестью переходов по безводной и выжженной степи при страшной жаре, трудностями снабжения войск продовольствием и фуражом. Затратив огромные средства на эти походы, их результаты для России оказались более чем скромные. Софья как могла пыталась представить походы победоносными, но ей никто не верил. Авторитет Голицына как главы правительства падал на глазах, и его имя в обществе стало связываться с военно-политическими неудачами.
После Крыма он все больше начинает задумываться о своем будущем. Став первым в России «официальным» фаворитом, он прекрасно понимал, что его время кончится с совершеннолетием законного наследника престола Петра Алексеевича. Власть фаворита редко бывает долговечнее власти его покровителя, и опала Голицына должна была неизбежно последовать с прекращением регентства Софьи. Здесь были бессмысленны и самые блестящие государственные способности. А подросший царь уже начал предъявлять свои права на единоличное управление государством, что привело к неизбежному столкновению Софьи со своим младшим братом. Софья все чаще настаивала на физическом устранении Петра от престола, чтобы сохранить свою власть. Но миролюбие князя Голицына сделало его бесполезным для нее в борьбе, и в этот период она нашла другого активного сторонника – окольничего Шакловитого. Голицын как мог противился их планам устранения царя Петра, а затем решил уехать из столицы в свое подмосковное имение. Последовавшее вскоре падение Софьи предопределило и судьбу Голицына, и в сентябре 1689 года его политическая карьера оборвалась. Трудно сказать, но возможно, что в лице князя Василия Васильевича Петр I потерял умнейшего и образованнейшего сторонника своих будущих преобразований. Голицын в числе других родовитых бояр прибыл к стенам Троице-Сергиева монастыря, где находился Петр, и был сразу взят под стражу. В ходе расследования на князя поступило несколько доносов с нелепыми обвинениями, которые он легко опроверг. Но несмотря на это, избежать смертной казни ему удалось только благодаря заступничеству двоюродного брата Бориса Алексеевича Голицына, воспитателя молодого царя и его советника. Василий Голицын был лишен всех чинов и приговорен к вечной ссылке со всем семейством, которую он отбывал сначала в Каргополе, а затем в Яренске. В 1696 году его переводят в Пинежский волок, расположенный по пути из Холмогор в Архангельск. О жизни Голицына в ссылке почти ничего не известно. Согласно преданию, находясь в ссылке, он занимался разведением лошадей и учил местных девушек петь московские песни. Сохранился, правда, его портрет, написанный в то время, где Василий Голицын изображен в латах и парике – обязательной дворянской атрибутике.