经过一段时间的酝酿和准备，陕南地区的革命力量逐渐积聚。1935年12月至1936年9月，何振亚、沈启贤等进步青年先后领导了多次兵变。

1935年12月7日，陕警二旅四团的1个排在七班班长张子新和士兵王展(王武林)、罗少伟的带领下于柞水县营盘起义。1935年12月11日午夜，四团九连二排排长何振亚和洪九畴、张孝德、杨子珍、傅东山等在长安县引驾回处决反动连长张锡武后率百余人起义。1936年9月9日，四团四连在沈启贤、李传民率领下，处死反动连长，于商县夜村起义。

这3支起义部队会合后，组建了以何振亚部为基础的陕南游击纵队。他们学习红军打富济贫，宣传抗日，在镇安、柞水、宁陕、石泉、汉阴、安康一带开展武装斗争。

1935年12月26日，游击队突袭镇安县穆王坪保安队，缴枪9支。1936年2月3日，袭击石泉县马池，缴获步枪3支和一批物资。2月24日，重返镇安县瓮沟街，攻破四方寨。他们废除了旧的军阀制度，实行官兵平等；他们打富济贫，为群众谋利益；他们严格要求战士，爱护群众、帮助群众，对侵害群众利益的进行严厉处罚。经过三四个月的游击活动，队伍发展至500余人，编为五个中队，由刘炎德、张孝德、陈汉杰、晏盛明、张英才分任各中队队长。

由于游击队没有固定根据地，且军事力量单薄，又与红七十四师联络中断，陷入孤军无援、粮弹缺乏的困境。为了保存实力，游击纵队采取“缓兵计”，先后在镇安县栗扎坪和汉阴龙王沟（后划归宁陕）两次有条件地接受了国民党地方政府的收编。

陕南游击纵队接受改编后，采用各种办法同安康专署进行了尖锐、复杂的斗争。为了粉碎安康专署的阴谋，陕南游击纵队坚决将编余人员组成几支游击队分散活动，互相策应；先后派出五批地下工作人员，到各县策动保安队兵变；审查受训归来人员，清除叛变分子；在安康等地设立秘密联络站，掌握敌人动向；公开揭露安康专署杀害李伯亭等革命志士的阴谋和罪行，迫使专员魏席儒承认“此为部下所为”；限制敌副官的活动。这些针锋相对的斗争，挫败了敌人企图以招抚消灭这支部队的阴谋。

1936年5月下旬，安康县茨沟发生“匪祸”，特务大队“奉命”前去“剿匪”。何振亚遂借机移驻距安康县城150华里的东镇东沟口。此地为安康、旬阳、镇安三县的接合部，山高路远。何振亚屯兵此地后，认真开展政治教育和军事训练，为部队独立自主发展创造了条件，从而保持了部队的人民性和革命性，为后来的再次起义和成立陕南人民抗日第一军奠定了基础。

在此期间，警二旅四团八连排长徐海山起义，率部10余人历经艰辛到东镇与何振亚会合，继任副大队长，苟树林率一部分游击队员，从紫阳凤凰山到东镇与何振亚会合，部队不断扩大。