유해는 본래 일본의 감옥법에 따라 가족에게 인계해야 했다. 그러나 일제는 윤의사의 유족에게 연락을 취하지 않고 유해를 관에 넣고 형장에서 3km 떨어진 가나자와시 노다산野田 육군묘지에 인접한 가나자와시 공동묘지의 한 구석에 6척 깊이로 매장하였다. 쉽게 감시하기 위하여 공동묘지 관리사무소에서 앞에 쓰레기하치장으로 가는 통로에 평장하고 아무런 표식도 하지 않았다. 따라서 1932년부터 유해가 봉환되는 1946년까지 일본인들이 윤의사 유해가 묻힌 곳을 아무런 죄의식 없이 밟고 지나다니게 하는 만행을 저질렀다.

1945년 해방이 된 이후 11월에 윤의사의 고향인 덕산에서 '윤봉길선생유골봉환위원회'가 조직되었고 200명이 참석하였다. 위원회는 12월에 김구선생에게 위원회 설립 취지를 전달하였고 이에 김구선생은 윤봉길의사를 포함 이봉창의사, 백정기의사의 유해봉환을 임시정부차원에서 시행하겠다는 입장을 표명했다.

유해봉환단은 동경에 있던 박열을 비롯하여 신조선건설동맹과 재일본한인건국청년동맹의 중심 인물인 이강훈과 서상한 등에 의해 꾸려졌다. '임시정부 유해발굴단'을 정식으로 조직하였고, 1946년 3월 2일 가나자와에 도착하여 3월 3일부터 위치를 수색하기 시작했다. 그러나 정확한 위치를 찾을 수 없었다. 관리사무소 직원 키무라 키요카즈木村淸吉의 부인과 형장에 입회한 헌병부원 쏘네會根가 매장지를 지목하였으나 쉽게 발견하지 못하였다. 이에 발굴단은 발견 시까지 묘지 전체를 파헤치겠다고 공포하였고, 이후 간수였던 시게하라重原가 서상한 단장에게 위치를 말해주어 3월 6일 발굴에 성공하였다.