Вернулся в Швецию в 1939 году, стал партнером в венгерской экспортно импортной фирме Кальмана Лауэра. Летом 1944 года с паспортом шведского дипломата (первого секретаря шведской миссии) Валленберг отправился в Будапешт, куда в марте 1944 года были введены немецкие войска. Пользуясь своим дипломатическим статусом, Валленберг спас, по разным данным, от 20 до 100 тысяч евреев, выдавая им шведские паспорта; помещая их в специально приобретенные им дома, которые объявлял шведской собственностью, защищенной международным правом; подкупая немецких и венгерских чиновников, обещая крупные поставки в обмен на жизнь евреев.

Считается, что из Будапешта Валленберга переправили в Москву, где он содержался в тюрьме на Лубянке. Существуют показания немецких заключенных, находившихся в то время в тюрьме, в которых они заявляют, что общались с Валленбергом посредством «тюремного телеграфа» до 1947 года. После, по их словам, Рауля куда то отправили.

В 1957 году советское правительство официально признало факт ареста и нахождения Валленберга в СССР после войны. В «меморандуме Громыко» было заявлено, что дипломат умер во внутренней тюрьме МГБ СССР 17 июля 1947 года от инфаркта миокарда.

В 1991 году для установления обстоятельств смерти Валленберга была создана совместная российско шведская рабочая группа, в задачу которой входило выявление документов о Рауле Валленберге (закончила работу в 2001 году). По итогам работы российская часть группы сделала выводы, что, во первых, все косвенные свидетельства подтверждают, что Рауль Валленберг умер или, скорее всего, погиб 17 июля 1947 года. Во вторых, ответственность за гибель Рауля Валленберга лежит на тогдашнем высшем государственном руководстве СССР, поскольку никакая другая инстанция в то время не могла распорядиться судьбой шведского дипломата, представителя нейтрального государства, члена «дома Валленбергов», хорошо известного как за рубежом, так и советскому руководству.

В декабре 2000 года Генпрокуратура РФ приняла решение о реабилитации Рауля Валленберга. Генпрокуратура постановила, что он был репрессирован советскими властями по политическим мотивам.

В сентябре 2007 года руководство ФСБ передало копии документов в отношении Валленберга главному раввину России Берлу Лазару, что стало первым государственным вкладом в экспозицию создаваемого Музея толерантности. 

Одна из версий гласит, что в обмен на евреев Валленберг поставлял в Германию вооружение и другую продукцию военного назначения, что и стало причиной того, что посольство Швеции не было достаточно настойчиво в своих просьбах об освобождении Валленберга, в том числе и на встрече со Сталиным в 1946 году.