「做工很苦的，你看我的手指斷一截，就是裝機器手就絞進去了。」等了一年還沒能成行，「廠長也是留日，我看他跟我當工人差不多，天亮進去，天黑出來，棉絮弄得頭髮、眉毛、鼻孔都是白的，戴口罩也沒有用。」想著到日本留學，回台就算當廠長，一輩子也就是這樣，「我就偷跑了，半夜給我姑丈打個電話說要走，電話掛了，搭凌晨1點半的南下列車從台中到高雄，第2天就上船、出海。」
從小練拳、好動的他不怕吃苦，就怕人生過得沒意義，「打漁日夜不分，輪流作業，最長3天2夜沒休息。」一次他被叫進船長室，「船長說『你會掌舵？』 我水產學校畢業，我會，他要休息，叫我幫他掌舵，他敢我也敢。」就這樣船長躺著跟他話家常，問陳虎門背景、跑船原因，「他問我『你對情報工作有興趣嗎？』」
原來船長的真實身分竟是特務，陳虎門這才說了，「我父親就是幹這行的，我從小就有興趣。」在船長引薦下，他報考情報局情報幹部訓練班，「 口試、筆試、體格檢查，筆試跟考大學都一樣，國、英、數，還有一個智力測驗。」讀2年半畢業，之後外派東南亞多年，雖然中途因江南案坐牢，出獄後易名「陳奕樵」復職，一路做到退休。