Когда подросли сыновья, Михаил Яковлевич одну за другой основал фабрики шерстяных и хлопчатобумажных изделий в Медынском (Насоновскую) и Малоярославском (Чуриковскую) уездах Калужской губернии. Он вел большую торговлю в России — Москве, Нижнем Новгороде, на Украине — и в Польше. В это же время были совершены первые банковские операции Рябушинских.
После смерти любимой жены Евфимии Степановны, происходившей из богатых купцов Скворцовых, Михаил Яковлевич постепенно начал отходить от дел, передав фабрики в руки сыновей — Ивана, Павла и Василия. Иван рано умер, и наследство Михаил Яковлевич оставил в нераздельную собственность Павлу и Василию.
Павел управлял фабриками и заботился об их обеспечении сырьем, станками, красками, дровами. Василий занимался финансовой документацией, ведением коммерческих дел и бухгалтерией. Павел Михайлович, возглавив дело, усиленно развивал фабричное производство, построил четырехэтажное здание ткацкой фабрики рядом с домом. Техническую сторону дела он знал досконально, поэтому самую ответственную работу — прием товара — он выполнял сам. Он же устанавливал и цены на товары.
Семейная жизнь Павла Михайловича сначала не складывалась. По настоянию родителей женившись на Анне Семеновне, бывшей на несколько лет старше него, он не чувствовал себя счастливым. К тому же не было наследников: единственный сын умер во младенчестве, а потом рождались только дочери. Осознав, что живет не так, как ему хотелось бы, Павел Михайлович в 1863 году развелся с женой и долгое время оставался холостяком.
С начала 1860-х Павел Михайлович начал активно заниматься общественной деятельностью. В 1860 году он избран в члены шестигласной распорядительной Думы Москвы как представитель от Московского купечества, в 1864-м — в комиссию по пересмотру правил в мелочном торге, в 1866-м — депутатом городского собрания и членом коммерческого суда. В 1871 и 1872 годах его выбирали в члены учетного и ссудного комитетов Московской конторы Государственного банка, с 1870 по 1876 год он был выборным Московского биржевого комитета.
Таким образом, Павел Михайлович Рябушинский стал одним из признанных лидеров московских предпринимателей.
К этому времени случилось и еще одно важное событие в жизни купца: поехав в Петербург сватать невесту своему брату Василию, он сам влюбился в нее, вызвал ответное чувство и 11 июня получил благословение ее родителей на брак, а 20 июля состоялась свадьба. Женой пятидесятилетнего Павла Михайловича стала дочь известного хлеботорговца Овсянникова — семнадцатилетняя Саша.
Александра Степановна была веселой и жизнерадостной, и отношения с мужем у нее сложились такие же. Это был очень счастливый брак, что выразилось в многочисленном потомстве: у Павла Михайловича и Александры Степановны было 17 детей. Причем последняя дочь родилась, когда отцу было уже 72 года.
Несмотря на такое большое количество детей, Александра Степановна не только занималась их воспитанием и следила за хозяйством, она умудрялась и поддерживать связи в обществе, и заниматься благотворительностью.
А Павел Михайлович, дождавшись появления наследников, с удовольствием занялся их образованием. Сам он в детстве получил недостаточно знаний, поэтому был вынужден заниматься самообразованием. Он не хотел, чтобы дети повторили его судьбу, предпочитая подготовить их как следует заранее. Итак, Рябушинский нанимал гувернеров-иностранцев, особое значение придавая изучению иностранных языков. Чтобы дети знали и семейное дело, летом их отправляли на фабрику, где они могли познакомиться с проблемами и интересами фабричной среды. По окончании школьной учебы для продолжения образования Павел Михайлович отправил сыновей за границу. Все дочери Рябушинских закончили пансионы.
Дети вдохновили Павла Михайловича на новые, грандиозные проекты: он решил укрупнить свое производство, сосредоточив его в одном районе. Для этого несколько старых фабрик продали, а вместо них была куплена фабрика на реке Цне на станции Вышний Волочок. В районе Вышнего Волочка Павел Михайлович активно скупал леса для обеспечения фабрики топливом.
В 1874 году сгорела фабрика в Чурикове, но ее не стали восстанавливать, на ее месте построили крупные красильно-отбелочную, аппретурную и ткацкую фабрики, а также казармы для рабочих семей и каменную больницу. В 1891 году было построено еще и училище на 150 человек.