Об антифашистской деятельности Д. М. Карбышева стало известно гестапо, и в первой половине июля 1943 года его перевели из лазарета в общелагерный блок 7-ц, оттуда бросили потом в одиночную камеру Нюрнбергской тюрьмы. Впоследствии в берлинской канцелярии вермахта был обнаружен документ, равносильный смертному приговору:
Этот крупный советский фортификатор, кадровый офицер старой русской армии; человек, которому перевалило за шестьдесят лет, оказался насквозь зараженным большевистским духом, фанатически преданным идее верности, воинскому долгу и патриотизму… Карбышева можно считать безнадежным в смысле использования его у нас в качестве специалиста военно-инженерного дела.
На документе красным карандашом была нанесена резолюция: "Направить в концлагерь Флоссенбург на каторжные работы. Не делать никаких скидок на звание и возраст". В каторжный лагерь Д. М. Карбышева перевезли осенью 1943 года. Здесь на него надели полосатую одежду каторжника, на ноги — колодки и каждый день вместе с другими заключенными выводили на работу в каменоломни. Люди в полосатых одеждах таскали камни вручную или на парных носилках, над которыми склонялись их стриженые непокорные головы. Бодрость духа не покидала Д. М. Карбышева, тем более что и здесь действовала подпольная организация — Комитет советских военнопленных, которая была связана с организациями французских, чешских и немецких антифашистов. Он продолжил борьбу, и всему лагерю стал известен его призыв: "Не терять чести даже в бесчестье!" А также карбышевский приказ: "Плен — страшная штука, но ведь это тоже война. И пока война идет на Родине, мы должны бороться здесь. Поступайте так, как нужно в интересах Родины, и говорите всем, что это я вам приказал!" Он был страшен фашистам даже в полосатой одежде, на деревянных колодках — высохший, больной, едва передвигавший распухшие ноги…
Потом были концентрационные лагеря Майданек, Освенцим, Заксенхаузен… Врач Л. И. Гофман, узник Майданека и Освенцима, впоследствии вспоминал, что на все предложения и любые условия Д. М. Карбышев отвечал: "Предательство Родины — наибольшее преступление, немыслимое для меня. Воинскую честь я всегда ставил превыше своей жизни. Я не способен на жалость и вечный позор".
В Майданеке к нему приходили различные подозрительные особы, предлагавшие всяческие услуги и выгодную работу. Особый интерес к русскому ученому проявлял некий инженер, именовавший себя лауреатом Нобелевской премии. Он предлагал Д. М. Карбышеву работать у себя в научно-исследовательском учреждении, но однажды советский генерал увидел его в мундире эсэсовца и понял, что его пытаются шантажировать. В другой раз Д. М. Карбышеву принесли 1000 немецких марок под видом возврата якобы отобранных у него денег и предложили расписаться за них. Его фамилия числилась в ведомости, по которой выдавали зарплату воинской части из "добровольческой армии Власова". В знак протеста советский генерал объявил не первую уже голодовку.
А потом был концентрационный лагерь Маутхаузен. В феврале 1945 года сюда доставили партию заключенных. Их привезли в 25 вагонетках, которые служили для транспортировки камня; многие узники были так слабы, что их пришлось нести на носилках. Недалеко от печально знаменитой "лестницы смерти" их уже поджидал заместитель коменданта лагеря Бахмайер с овчаркой, рядом с ним — ряды конвойных…
Впервые о гибели Д. М. Карбышева стало широко известно через год. В середине февраля 1946 года в английском военном госпитале Брешмот по требованию умирающего майора канадской армии Седдона де Сент-Клера священник и приглашенные представители репарационных служб (в том числе и Советского комитета) зафиксировали его завещание.
Я прошу Вас записать мои показания и переслать их в Россию. Я считаю своим священным долгом засвидетельствовать то, что знаю о генерале Карбышеве. Я выполняю свой долг обыкновенного человека перед памятью великого человека.
Вечером 17 февраля 1945 года нас, большую партию, загнали в душевую, велели раздеться догола, а потом пустили на нас сверху струи ледяной воды. Это продолжалось долго. Мы все посинели. Многие не выдержали, падали, умирали от разрыва сердца. Потом нам разрешили надеть только свое нижнее белье и деревянные колодки на ноги и выгнали на мороз. Мы понимали, что доживаем последние часы. Старый генерал, как всегда, был спокоен, его только бил сильный озноб, как и каждого из нас. Он что-то горячо и убедительно говорил окружавшим его русским. В его фразах я уловил несколько раз повторявшиеся и понятные мне слова "Советский Союз"…