1960年10月17曰，杨贵和县委研究，下达了红旗渠总干渠第二期工程全线开工的命令。可是，这二期工程一开始就遇到了三年自然灾害。原来上工地的民工还能吃饱，而现在粮食已极度匮乏，县里的补助也显得杯水车薪。11月底，******发出通知，要求全国所有在建工程***全部下马，要保证全国不死人，农畜不饿死。
接到通知，杨贵心乱如麻，他真不愿下马，缺吃缺钱他可以想办法，可一停工，真怕工程半途而废了。但他又不敢违抗上级指示，况且他也希望民工们能回家休养一段时间。思前想后，他同县委成员一商量，采取了一个折中的办法：让绝大多数人下山，留下300名强壮劳动力，集中精力开凿二期工程的关键——青年洞。
到了1961年6月份，杨贵实在憋不住了，他同县委紧急磋商，决定悄悄地续建红旗渠。经过周密安排，他派出6000民工上了山。为了节约资金，他组织人员自造***，又以低廉的价格到部队买来***战争剩下的钢钎、炮锤。由于粮食实在太少，他又派人上山采摘野菜，拌上玉米面、红薯面蒸成野菜团子食用。
尽管工地上有无数个困难，杨贵和县委一班人都能够笑对挺过去，可来自外界的压力，让他真有些难以支撑了。
1961年7月初，******书记处书记、GUO WU YUAN副总理谭震林在河南省新乡县七里营公社蹲点，参加了***新乡地委在豫北宾馆召开的农村纠“左”会议。会上，曾经反对建设红旗渠的一些人向谭震林告状：“林县群众没有饭吃，把树皮都剥光了，而林县县委为了高举红旗，不顾群众死活，还在大搞红旗渠建设。”“群众生活这么苦，杨贵还让劈山修渠，这比秦始皇修长城，隋炀帝挖运河还苛刻。”罪状一条连着一条，直指杨贵。谭震林听后非常气愤，认为杨贵的问题相当严重，指责县委书记杨贵是个死官僚，***要撤了他的职务，还林县以休养生息。紧接着，针对林县上马红旗渠和杨贵的“倒行逆施”，展开了小组讨论。讨论一开始，林县县委组织部长路加林便站了起来，说：“刚才听了领导同志的批评，我认为不符合实际，杨贵同志不是死官僚，他考虑问题还是很客观的。”这个意见很快汇报到谭震林那里，他听后立刻愤怒起来，“你这个组织部长至今还不认识错误，居然还为杨贵开脱，好了，我看你这个部长也不要当了。”会议当即宣布撤销路加林的林县县委组织部长职务，调离林县工作。地委马上通知各县县委书记
于7月14日到地委开会，传达这个处理决定。正在紧张地运筹着水利建设和农业增产工作的杨贵，立即放下手中的工作，直奔新乡地委。他一走进会场，顿时感到气氛异常。以往他参加会议，总有很多人同他握手打招呼，可今天却没有一个人跟他说话，很多人都在怔怔地看着他。