昭和55年、西蓮寺境内に新たな道路が切られたため、吉雄の墓は現在の場所に改葬されました。 さらに平成になって新しい墓石が建てられました。

　吉雄家は長崎で通詞(つうし)(通訳)を務める家柄でしたが、なぜ北国の米沢に墓があるのでしょうか。
　オランダ商館付医師として来日したシーボルトは、長崎で鳴滝塾(なるたきじゅく)を開いて医学・蘭学を教えました。米沢の伊東昇迪(いとうしょうてき)も眼科等を習っています。吉雄は通訳を務め、シーボルトの著書『日本』には吉雄から聞いた話として、源義経が蝦夷から大陸へ渡りジンギスカンとなったという説を紹介しています。
　文政11年(1828)、5年の任期を終えて帰国しようとしたシーボルトの荷物の中から、輸出厳禁の日本地図などが見つかり、関係者が処罰されました。シーボルト事件です。シーボルトは国外追放となり、絵図を渡した幕府天文方の高橋景保(たかはしかげやす)は死罪(獄中で死亡)となりました。高橋との仲介役をした吉雄も捕えられ、天保元年(1830)に永牢の処分が下され、上杉家の分家である上杉佐渡守勝義(かつよし)(米沢新田(しんでん)藩1万石)へのお預けが命じられました。

厳しいお預けの生活と看病

　同年6月、米沢藩士に付き添われて米沢に到着。蔵ノ内町(現・中央三丁目)の米蔵内に座敷牢が造られ、そこでの生活が始まりますが、幕命により罪人として厳しく取り扱われました。その「掟」を見ると、番人が昼夜付いて、他人との交流はもちろん、筆や墨を渡すことも禁じられました。食事は一汁一菜、夜具は蒲団だけでした。また、自殺を防ぐため鋏(はさみ)や手拭の使用も禁じられ、時おり出される魚も骨の無い物とされました。
　処罰を受けた失意のためか、治療にあたった吉田元碩(よしだげんせき)の記録には、吉雄は「乱心同様の者」と記されています。吉田は知識人の吉雄を思いやり、「治療」と称して菓子などを持って何度も見舞いに訪れました。その懇切な対応により、藩から褒美を受けています。
　吉田の懸命な看病も叶わず、天保4年2月29日(太陽暦では4月18日)、に吉雄は死去しました。享年47、2年8か月の幽閉生活でした。遺体は塩漬けにされ、3月18日に幕府役人の検分を受けた後、西蓮寺に葬られました。戒名は「還到院誘誉性善居士(げんとういんゆうよしょうぜんこじ)」です。
　西蓮寺には、妻の西村春香(にしむらしゅんこう)が菩提を弔うため納めた、自筆の観音画像が残されています。