표류민을 발견한 지역관리(일본은 번)는 통역·필담·몸짓언어 등으로 표류 경위와 출신지를 조사하여 중앙정부(일본은 막부)에 보고했다. 이후 중앙정부(막부)의 지시에 따라 비용을 직접 부담하고 인도자와 함께 고국으로 돌려보냈다. 조선은 한양 또는 부산, 중국은 북경(北京) 혹은 복주(福州), 일본은 나가사키(長崎)와 쓰시마(對馬島) 등을 거쳐 송환됐다.

안의기 일행의 경우 가마를 타고 돗토리번까지 이동했는데 의사와 가마꾼, 지역 관리 등 일행을 수행하는 자가 60명에 이르렀다. 안의기 일행이 돗토리번 중심지에 도착하자 도로변 상가들이 장막과 금병풍을 치고, 기둥을 양탄자나 명주실로 감는 등 환영 이벤트를 열었다

조선인들은 방 두 칸을 배정받아 머물렀고, 쌀밥에 고기와 생선 등 5~6가지 반찬을 곁들인 식사를 삼시세끼 먹었다. 돗토리정(町)에서는 조선인의 신변보호를 위해 여러 마을이 번갈아가며 주야로 경비하도록 조치했다. 안의기 일행은 귀환 직전 돗토리번 관리(오카긴에몬·岡金右衛門)에게 “친형제와 같이 도움을 주어 고맙다”는 감사편지를 써주었고, 기꺼이 초상화의 모델이 되어 주었다.

손승철 교수는 “초상화의 모델이 되어주고, ‘친형제’ 운운하는 감사장을 써주었다는 것은 그저 의례적인 표현이 아니라 진정으로 감사의 마음을 전달한 것”이라고 풀이했다.