谷正文晚年做口述历史时，曾用浓重的山西乡音大骂：“毛人凤那个败家子，把戴先生打下的江山败得精光。”

谷正文进入军统的时间点，根据他在口述历史中的自述，是1937年全面抗战爆发后不久。
他原本是北京大学的学生，抗战爆发后投笔从戎，考入军统在湖南临澧举办的训练班，成为军统早期培训出来的专业情报人员。他多次提到，自己属于军统内部“科班出身”的一批人，接受过系统的情报训练，这让他后来对毛人凤时期大批起用毫无专业背景的私人关系极度反感。
谷正文在回忆录中详述过戴笠的用人之道，他对戴笠的评价几乎全集中在这一点上：戴笠用人，不论出身，只看本事。他说戴笠手下什么人都有，有大学里的教授，也有江湖上的袍哥，有留洋回来的学生，也有连字都认不全的粗人，但只要你能干事，戴笠就敢把天大的责任交给你。这种兼容并包的用人格局，在谷正文看来是军统能够在抗战期间迅速膨胀成庞大情报机器的根本原因。
关于戴笠的具体性格和行事作风，谷正文留下过一些很具体的观察。
他说戴笠是一个精力极度旺盛的人，几乎不睡觉，半夜三更把下属叫起来开会是家常便饭。戴笠对下属的要求严苛到近乎残忍，但他有一个让谷正文佩服的特点，就是出了事他愿意扛。
谷正文讲过一件事情，抗战期间军统在沦陷区搞暗杀，有次行动出了纰漏，暴露了潜伏人员的身份，导致几条线上的人被日本人抓去杀了。行动负责人吓得半死，以为回去就是枪毙。戴笠确实暴怒，但没有枪毙那个人，而是在骂完之后说：“人已经死了，毙了你他们也活不过来。给你三个月，重新把那条线建起来，建不起来，你自己看着办。”谷正文说，那人后来拼了命把工作补上了。他由此总结，戴笠让下面的人怕，但也让下面的人服。

从谷正文的回忆来看，他对戴笠的感情的确很深，这种感情不止是下属对长官的敬畏，更类似于一种对“时代枭雄”的仰慕。
他反复强调戴笠的战略视野，说戴笠在抗战期间就预见到战后和共产党必有一场决战，因此早早开始布局，在北方、在东北安插潜伏力量。谷正文认为，如果戴笠不死，1949年国民党情报系统不会败得那么干脆。这种看法当然带有强烈的个人情感投射，但确实也是他晚年最核心的一个观点。
关于戴笠之死是否涉及谋杀，谷正文提供了自己在北平站时期掌握的一些信息。根据他在口述中的说法，北平站当时追查到的线索指向了一个叫马汉三的人，此人是军统北平办事处负责人，与戴笠之间存在严重的利益冲突，涉及一批从日军手中收缴的财物去向问题。
谷正文的说法是，马汉三在戴笠来北平视察期间，通过某种渠道把一枚定时装置放上了戴笠的专机。这个说法在史学界并非定论，不少研究者认为缺乏直接物证，但谷正文直到晚年仍然坚持这个判断。值得注意的是，他在回忆录中承认，案件后来由毛人凤接手处理，马汉三最终确实被处决了，但谷正文认为毛人凤杀马汉三并非为了替戴笠报仇，而是因为马汉三在北方的势力太大，威胁到了毛人凤刚刚到手的权力。
由此就引出了谷正文对毛人凤的所有评价，这些评价几乎全是负面的，而且措辞极其激烈。
谷正文对毛人凤的第一个指控，是毛人凤上台之后迅速摧毁了戴笠建立的用人体系。他说毛人凤用人的唯一标准是“是不是自己人”，这个“自己人”的范围又非常狭窄，主要是浙江江山籍、和毛家有私人关系的一批人。
谷正文自己是山西人，不属于这个圈子，他从那时起就开始感到被边缘化。他说过一句非常尖刻的话，大意是毛人凤手下的人，最大的本事不是搞情报，而是替毛太太办私事。
第二个指控是针对毛人凤的管理风格。谷正文说毛人凤是一个格局极小的人，他的管理方式就是管账本。他把保密局当成一个账房来管，对每一笔开支都盯得死死的，但该花在情报工作上的大钱他反而不舍得花。谷正文觉得这和戴笠完全是两个路子，戴笠对情报工作舍得投入，只要能搞到情报，钱不是问题。毛人凤反过来，把省钱当成政绩，情报工作的质量急剧下滑。
第三个指控最严重，涉及到谷正文自己的遭遇。1949年北平和平解放前夕，谷正文是保密局北平站站长。城破之后他化妆逃出，辗转到了台湾。到台湾之后，毛人凤以丢失北平的罪名将他逮捕关押。谷正文在回忆录中写过这段经历，说自己在保密局系统的监狱里被关了几个月，期间遭受了审讯和关押，后来是蒋经国介入才把他放出来。
第四个指控涉及谷正文干过的一些脏活。他在晚年出版的口述著作中，详细回忆了他在保密局任职期间参与侦办的一系列案件，其中包括上世纪五十年代台湾的一些著名政治案件。谷正文在书中承认，很多案件在当时并无确实证据，口供是通过逼供方式取得的，办案的目的是配合上层的政治需要。他将这些行为的责任直接指向毛人凤，认为自己是在执行毛人凤的指令，本质上毛人凤就是个酷吏，跟乱世枭雄没法比。

谷正文晚年对戴笠和毛人凤做过一个精炼的对比，这个对比大概可以概括他一生的看法：戴笠是搞事业的，他把情报工作当成国家大事来做；毛人凤是搞权术的，他把保密局当成维护个人地位的工具。