主将刘弘基冲到阵前帮助殷开山一起上，在金光门外直接将隋朝的大将卫文升给击杀了，俘虏敌军数千人；

之后殷开山协助主将刘弘基一举长安城给攻打下来，因为这次的大功，殷开山被赐封爵位为陈郡公；

还升任丞相府掾，不久他改任为吏部侍郎。

唐军在攻打霍邑的时候，殷开山还是刘弘基的副手，这场战役当中李氏三父子李渊、李建成、李世民全部都参与了；

霍邑的守将大将宋老生坚守城池不出，一时间僵持住了，殷开山看时间流逝这样下去对我军没有丝毫利处；

他便提议不能这么消磨下去，而是兵分两路，一路军队由秦王殿下李世民带领在霍邑南边排兵布阵，另一路由皇上李渊和太子李建成带领在城东；

殷开山还使用攻心之战，让骑兵大胜的散布谣言，说要围城，活捉宋老生；

地方军心不稳，宋老生也中了计策，觉得不能再龟缩城池里，那样只是困兽之斗；

若是真的包围了城池，他们就如笼中鸟，被唐军瓮中捉鳖了；

宋老生不会坐以待毙，他率领三万士兵分别要从东门和南门杀出去，直接中计；

李渊和李建成率领的士兵正好和宋老生正面遭遇，落了下风，还好在城南，由李世民率领的部队很快以摧枯拉朽之势将城南敌军击败；

带领士兵来支援，随后殷开山也带着部队接应，唐军将宋老生的所有兵马团团围住，密不透风；

随后唐军大喊“宋老生已被抓住”，主将被抓，隋朝士兵的军心瞬间不稳，李渊带领麾下士兵趁乱斩杀。

共同击败隋朝的大将宋老生，成功攻占了霍邑；

接着还是跟随秦王殿下攻打薛举的那场战役，李世民养病之前特意嘱托他们一点“要坚守不出”，但是刘文静和殷开山却理解错了意思；

他和刘文静两人都觉得秦王殿下这是在质疑他们不能独立领兵，甚而质疑他们的能力，这不得表现表现？