1944年，小野田宽郎被派往菲律宾西部的一个岛上，以监视该地区的美军。
1945年2月28日，美军在卢邦岛登陆，日军大部分不是战死便是投降。小野田与一等兵赤津勇一、伍长岛田庄一、上等兵小冢金七三人一起逃入丛林，继续顽抗。
1945年8月15日，日本宣布无条件投降。美军派遣日本降军赴太平洋各岛劝降，并空投大量的传单。小野田认定这是美军的计谋，丝毫不为所动。每天清晨，小野田都会带着三名同胞爬上山岗，对着东昇的旭日敬礼。他们不断地移动自己的位置，并偷窃当地居民的菜果、猎捕居民的家禽来充饥，喝河水、雨水解渴。他们甚至将保存晒干的香蕉充当干粮，以便维持一定的热量。但是他们无法猎取太多的食物，因为枪声会暴露他的战斗位置。大雨倾盆之时，他们用自己的身体护住步枪、地雷及炸药，但他们得彼此警惕，尽量保持清醒，以免在睡觉时因体温过低而死亡。在如此恶劣的环境之下，小野田依然没有忘记长官交付他的任务─“游击战”。小野田以菲律宾警察和菲军为对手。攻击目标包括当地美军雷达站，仓库和美菲军警据点。也袭击居民以获取物资。小野田利用得到的晶体管收音机自制短波接收器，独自判断国际形势。观察岛屿周边附近美国军舰和飞机的活动，收集情报以等待日军反击。
1949年，赤津受不了恶劣的环境与身心的煎熬脱队，隔年6月向菲律宾警察“投降”，菲律宾与美军因此掌握了潜伏中三人的身份。赤津在投降之后，也参与了劝降的行列；小野田等人依旧不为所动，每天早上依然爬上山头，向旭日敬礼，等待援军的到来。
1952年，菲律宾政府不断地将小野田亲人的家书以及日本当时的报纸散播在丛林之中，希望他们三人能够早日投降。然而小野田始终认为这是美军的计谋，因为他认为，如果日本真的投降，那他的长官谷口一定会告诉他“任务取消”。
1953年5月，三人夜袭菲律宾军营，缴获一支美制M1卡宾枪和一支步枪，但缺乏合适的子弹，导致这两件武器成为空摆设。此次出击还造成小野田宽郎右手无名指和岛田庄一大腿受伤，此后他们便停止了这类得不偿失的主动袭击。
岛田的伤口虽然后来复原，但在隔年5月7日，岛田在一次与菲律宾警方的冲突中被打死。十天之后，新的传单出现。搜索队拿着麦克风在山里到处大声的叫嚷说:“小野田，小冢，战争已经结束了”。但是他们始终不为所动。他们感觉到，战争还在进行，日本还在奋战，投降是莫大的耻辱，他们坚信中有一天日本的后援部队将会攻占整个岛屿，太阳旗将会随风飘扬。甚至当小野田的亲兄弟来到这个岛屿，拿着麦克风对他喊话时，他依然认为，这不过是美军宣传人员以像他兄弟的声音来诱捕他的。游击战让他养成一种事事怀疑的态度，更重要的是，他深信日本人是一个宁死不屈的民族，他不能让尚在作战的日本皇军与国民失望。小野田同剩下的另一名列兵又在丛林中挖了一个从空中无法发现的地下掩体并搬了进去。
1958年，菲律宾军方开始在卢邦岛高地上修建雷达站，附近海湾经常可以看到美军军舰。小野田等2人认为，这肯定是日军的反攻很顺利，我们应该在敌后破坏敌人的部署，以迎接大反攻。
经过不断的侦察后1959年1月，小野田和小冢金七悄悄的在日落后接近这座雷达基地，枪杀了哨兵。随后菲律宾政府下达了对残余日军格杀勿论的命令，但是几次围剿仍然以失败而告终。
1965年，小野田和小冢金七发现美军的活动越来越频繁，还能看到轰炸机在向北方飞去。他们分析认为这一定是日军已经开始反攻到越南了。猜的差不多，不过不是日军在反攻越南，而是美军与北越的越南战争爆发了。小野田决定行动他们在雷达基地附近的山上开枪狙击了2名菲律宾空军军官，枪响人倒，他们起身后立刻逃入山林。
1972年10月，小野田在附近的村庄埋设了剩下的最后一枚地雷；因为生锈，地雷没有爆炸。1972年10月19日，2名日军又跑出去放火烧稻草堆，小冢金七正在前边，后面的小野田突然感到一阵紧张感，感到空气中充满了压力。小野田大喊小冢，随后枪声四起，小冢的肩部被子弹命中，小野田虽然使用2支步枪轮流开火压制对方，想掩护小冢逃跑，但是51岁的一等兵小冢还是死在了山坡大树下。这一天，小冢成为第二次世界大战日军阵亡的最后一名士兵，也是轴心国阵亡的最后一名士兵。
日本投降27年后，日本士兵的死亡引起了日本政府的高度重视。日本马上派人到缅甸、马来西亚和菲律宾寻找藏在森林中的日军士兵。并留下报纸、杂志，还有小冢在日本的丧礼等消息给小野田。孤身一人的小野田仍决心继续游击九年。他甚至计划以死突击雷达基地。
1974年2月20日，小野田在丛林中遇到专程前来寻找他的日籍自由探险家铃木纪夫。铃木告诉小野田，战争真的已经结束了；但小野田坚持必须有谷口义美少佐的命令才愿意投降，同时要亲自将20余年来保存良好的军刀交给天皇。铃木回国后，几经波折，找到了幸未战殁的谷口少佐，原来谷口退伍后已经改名并成了书商。并请谷口书写一份要求小野田投降的命令。
1974年3月9日，小野田接到了来到当地的谷口亲自宣布的投降命令；隔天，已经52岁的小野田身着已经破烂的日本军服，翻过整个山头，来到了警察局，放下肩上的九九式步枪，说：“我是陆军少尉小野田宽郎，我奉上级的命令向你们投降。”3月10日，在菲律宾空军雷达基地举行了一场受降仪式，由菲律宾空军司令接受小野田的投降。在这场受降仪式上，菲律宾军民夹道欢迎，挥手致敬，军队还举枪欢迎他。
小野田在29年的战斗当中，一共造成了130名以上的菲律宾人死伤，其中包括军人、警察和平民，许多菲律宾人主张把小野田关进监狱，并绳之以法。但是，由于日本政府的斡旋，后来获得了菲律宾独裁者费迪南德·马可仕的赦免，并允许已经52岁的小野田返回日本。
1974年3月12日，他与铃木纪夫和谷口义美一起回到日本。