担心苏联反应
“载人轨道实验室”本该从一开始就展开对苏联的间谍活动。在推迟数次之后，美国空军计划从1970年开始进行最初的7次“载人轨道实验室”飞行。据“载人轨道实验室”操作手册说：“第三次及之后的飞行旨在产生有关重要目标的情报。”
报道称，到了1966年4月，五角大楼仍然对这个载人间谍航天器——特别是与无人卫星相比——充满希望。“在无人系统上实现‘载人轨道实验室’系统所有能力的研发成本要比‘载人轨道实验室’系统本身高得多。”当年11月，一枚搭载“载人轨道实验室”实体模型的“大力神”运载火箭从卡纳维拉尔角发射升空。
但人们开始慢慢对“载人轨道实验室”计划产生怀疑。1965年8月，美国国务卿迪安·鲁斯克致信国防部长麦克纳马拉，警告他“载人轨道实验室”可能会破坏稳定。鲁斯克写道：“如果‘载人轨道实验室’项目按照目前的计划实施，我们很可能会碰到一些国际问题，而这些问题也许难度很大。”
间谍卫星
1963年，联合国通过一项禁止太空武器的决议——华盛顿和莫斯科都保证履行决议。但“载人轨道实验室”有可能会破坏这一决议。美国国务院军控官员罗伯特·克拉尼奇在1966年1月写道：“苏联也许会把美国的‘载人轨道实验室’计划作为一个问题提出来。”
他写道：“一旦苏联提出‘载人轨道实验室’问题，他们也许会——就像他们过去所做的那样——利用它，企图证明美国的政策是进一步军事化而不是裁军。”
克拉尼奇敦促美国外交官避开这个话题。他说：“美国应该努力避免就‘载人轨道实验室’计划问题的细节进行争论。”
止于预算压力
间谍卫星
报道称，归根到底，令“载人轨道实验室”项目搁浅的是成本——以及无人航天器能力的迅速增强——而不是因为它可能打破均势。国家侦察局在其网站上说：“由于美国航天局（NASA）阿波罗登月计划和越南战争，预算压力大大增加。”
1968年，在距离首个“载人轨道实验室”的原定发射时间还有两年之际，美国空军太空规划部门的福特发出了警告。他写道：“每个财年都在增加的‘载人轨道实验室’预算目前占据了近1/5（17%）的空军（研发）预算，一旦启动后续行动计划，这种情况还将持续多年。”
美国国防部长梅尔文·莱尔德在1969年4月给尼克松的备忘录中写道：“我们应该取消所有公开的‘载人轨道实验室’计划，宣布我们这样做的一部分原因是为了节省资金，一部分原因是因为该项目自启动以来已拖延了两年半时间，还有一部分原因是我们现在可以用更加便宜的无人系统来实现当初的许多目标。如果我们像这样调整方向，就能够在1970财年节省‘载人轨道实验室’5.25亿美元预算拨款中的至少3.5亿美元，并在1971财年至1974财年期间再节省4亿美元。”
莱尔德强调，国家侦察局仍然可以利用它为“载人轨道实验室”研发的照相机——将它们装在无人卫星上。
据报道，1969年6月10日，尼克松取消了“载人轨道实验室”计划。美国国家侦察局说：“‘载人轨道实验室’项目运转了5年半时间，花费了15.6亿美元，但从未向太空发射过一艘载人飞行器。”
