Anthropic, the Pentagon, and the Future of Autonomous Weapons
미국 국방부와 Anthropic 간의 계약 분쟁은 단순한 기업 갈등이 아닙니다. AI 기술의 통제권을 누가 쥐는지, 그리고 민간 상업 기술이 전쟁의 문법을 어떻게 바꾸는지를 둘러싼 구조적 충돌입니다. 이 에피소드는 전직 육군 레인저 출신이자 Pentagon AI 정책 입안자였던 Paul Scharre와 함께, 현재 이란 전쟁에서 실제로 운용 중인 AI 시스템부터 자율 무기의 미래까지를 분석합니다.
Scharre의 핵심 주장은 이렇습니다: 현재의 분쟁은 자율 무기 자체에 관한 것이 아닙니다. Pentagon이 2025년 1월 발표한 AI 전략에서 '모든 합법적 용도'에 AI를 사용할 권리를 요구하자, Anthropic이 자사의 사용 정책 통제권을 포기하길 거부하면서 충돌이 발생했습니다. OpenAI는 이 자리를 즉각 채웠고, 이는 안전 기준이 가장 낮은 공급자가 계약을 따내는 구조적 '바닥으로의 경쟁'을 예고합니다. Anthropic이 이탈한 자리를 OpenAI가 채운다면, AI 안전 논의에서 군사 기관과의 대화 채널 자체가 좁아질 위험이 있습니다.
현재 미군은 Palantir가 구축한 Maven Smart System을 통해 Claude 등 LLM을 활용해 이란 전역 6,000회 이상의 출격에서 수집된 정보를 처리하고 타격 패키지를 계획하고 있습니다. 인간은 명목상 의사결정 루프 안에 있지만, 학교 건물 오폭 사건은 '인간의 승인'이 실질적 검토 없이 고무도장이 될 수 있음을 드러냈습니다. Scharre는 금융시장의 '서킷 브레이커' 개념을 전쟁에 적용하는 가능성을 제시하면서도, 지정학적 경쟁 구도에서 이를 실현하기 극히 어렵다는 점을 인정합니다.
장기적 함의는 더 큽니다. 드론과 로보틱스의 결합, AI 에이전트 네트워크의 확산은 인간을 루프 밖으로 서서히 밀어낼 것입니다. Stanislav Petrov가 1983년 핵 경보를 '직감'으로 무시하며 핵전쟁을 막은 사건은 이 시대의 핵심 질문을 던집니다: AI 시스템이 그 자리에 있었다면, 다른 결론을 냈을까요?
The Anthropic-Pentagon contract dispute is less a story about one company's principles and more a structural inflection point in how military power is built. For the first time in modern history, the most consequential defense technologies are emerging from commercial labs — not government arsenals — and those labs have safety policies, employee bases, and reputational incentives that are fundamentally at odds with unconditional military use.
Paul Scharre's central argument cuts against the headline narrative: nobody in the U.S. military is seriously pushing for fully autonomous weapons today. Large language models are simply too unreliable for life-or-death decisions — a point any user who has fact-checked Claude's output already understands viscerally. The real dispute is over who controls the rules of use. When the Pentagon's January 2025 AI strategy demanded rights to deploy contractor AI for any lawful purpose, Anthropic balked. OpenAI stepped in immediately, which illustrates the structural problem: the safety-conscious vendor loses the contract, and the dialogue between the AI research community and military planners narrows precisely when it needs to broaden.
The Iran conflict has made this concrete. The Maven Smart System, built by Palantir and now incorporating LLM tools, is processing intelligence across more than 6,000 U.S. sorties to help plan strike packages. Humans remain nominally in the loop, but the strike on what turned out to be a school — caused by outdated data in a Defense Intelligence Agency targeting database — demonstrates how nominal that oversight can become at scale. Scharre's analogy to financial flash crashes is apt: when algorithms interact in competitive, opaque environments, emergent behaviors produce outcomes no single designer intended.
The Stanislav Petrov episode — in which a Soviet officer's gut skepticism about a faulty early-warning system averted nuclear war in 1983 — frames the stakes precisely. An AI system trained on pattern-matching would have had no basis for that instinct. The race toward greater autonomy is structurally overdetermined by geopolitical competition, making Scharre's call for sustained dialogue between technologists and the military less a policy recommendation than a warning about what happens when that dialogue collapses.
자율 무기 논쟁의 실체는 기술이 아니라 통제권의 소재다
Anthropic과 Pentagon의 분쟁 핵심은 자율 살상 무기 개발 여부가 아닙니다. Pentagon이 2025년 1월 AI 전략에서 '모든 합법적 용도'에 AI를 활용할 권리를 요구하자, Anthropic은 자사의 사용 정책 통제권을 포기하길 거부했습니다. 계약 규모는 2억 달러에 불과했지만, 이 금액은 Anthropic 같은 선도 AI 기업에게 사업적으로 결정적이지 않습니다. OpenAI가 즉각 그 자리를 채운 것은 안전 기준이 가장 느슨한 공급자가 군사 계약을 따내는 구조, 즉 '바닥으로의 경쟁'이 이미 시작됐음을 보여줍니다. Scharre는 이것이 군과 AI 연구 공동체 간 대화 채널이 좁아지는 위험한 선례라고 경고합니다.
이란 전쟁은 AI가 '루프 속 인간'을 어떻게 형식화하는지를 실시간으로 보여준다
미군은 현재 Palantir의 Maven Smart System에 Anthropic 등의 LLM을 통합해 이란 전역 6,000회 이상의 출격 데이터를 처리하고 타격 패키지를 계획 중입니다. AI는 위성 이미지, 신호 정보, 지리위치 데이터를 통합해 분석관이 이동식 미사일 발사대나 지휘관 위치를 추적하도록 지원합니다. 그러나 학교 오폭 사건은 구조적 취약점을 드러냈습니다. 해당 건물은 과거 이란군 시설의 일부였으나 학교로 전환됐고, 위성 이미지로 확인 가능했음에도 국방정보국 데이터베이스에 반영되지 않았습니다. 수천 개의 표적을 단기간에 처리하는 환경에서, 명목상 존재하는 '인간의 승인'은 실질적 검토 없는 고무도장으로 전락할 위험이 있습니다.
AI 자율 무기의 핵심 위험은 오작동이 아니라 의도치 않은 상호작용 에스컬레이션이다
Scharre가 제시하는 가장 날카로운 위험 시나리오는 터미네이터식 살인 로봇이 아닙니다. 알고리즘 간 상호작용이 예측 불가능한 결과를 만드는 금융시장의 '플래시 크래시'가 전쟁에 재현되는 것입니다. 사이버 공간에서 자율 공격 시스템이 방어 자율 시스템과 충돌하거나, 위기 상황에서 드론 간 상호작용이 설계자가 의도하지 않은 방식으로 분쟁을 확대할 수 있습니다. 금융시장은 서킷 브레이커로 이를 관리하지만, 전쟁에는 타임아웃을 부를 심판이 없습니다. 지정학적 경쟁 압력은 국가들이 안전장치보다 역량 우위를 우선시하도록 구조적으로 강제하며, 이는 화학·생물 무기 금지 협약처럼 드문 국제 합의를 더욱 어렵게 만듭니다.
민간 AI 기업이 방산 기술의 원천이 된 것은 역사적 역전이며, 이를 해결할 제도적 틀이 없다
스텔스 기술은 비밀 방위 연구소에서 발명돼 상업적 응용이 거의 없었습니다. AI는 정반대입니다. 상업 부문에서 탄생해 방산 응용은 시장의 작은 일부에 불과합니다. Pentagon은 AI 과학자와 엔지니어 확보 경쟁에서 이길 수 없고, Anthropic 계약의 2억 달러는 이 기업들이 데이터센터와 모델 훈련에 쏟아붓는 자본 규모에 비하면 미미합니다. Google의 Project Maven 철수(2018년 직원 공개서한 이후)가 선례이지만, 그때와 달리 지금은 오픈소스 중국 모델을 포함한 수백 개의 경쟁 모델이 존재합니다. Anthropic이 빠지더라도 Pentagon은 대안을 찾고, 군과 AI 안전 연구 공동체 간 대화는 계속 위축됩니다.
Stanislav Petrov의 직감이 1983년 핵전쟁을 막았다 — AI는 그 판단을 재현할 수 없다
1983년 소련 장교 Stanislav Petrov는 조기 경보 위성 시스템이 미국의 ICBM 발사를 감지했다고 보고했을 때, 시스템이 너무 새것이라 신뢰하기 어렵다는 '직감'으로 허위 경보임을 판단했습니다. 실제로 시스템은 구름 위 햇빛 반사를 미사일 발사로 오인했습니다. Scharre는 이 사건을 자율 AI의 핵심 한계를 가리키는 기준점으로 사용합니다: AI는 패턴 인식에 최적화돼 있지만, 결과의 무게를 내면화하지 못합니다. LLM이 점점 더 많은 맥락을 처리할 수 있게 되더라도, 핵 대치의 실존적 위험을 '직감'하는 능력은 훈련 데이터로 부여할 수 없습니다. 이것이 Scharre가 인간의 판단이 가장 필요한 영역을 자율화하는 데 가장 신중해야 한다고 주장하는 핵심 근거입니다.
The Anthropic-Pentagon dispute is about who sets the rules, not whether AI belongs in war
No one in the U.S. military is seriously advocating for fully autonomous lethal weapons today — LLMs are too unreliable for that, as any user who has proofread Claude's output knows. The actual flashpoint was the Pentagon's January 2025 AI strategy, which demanded the right to use contractor AI for any lawful purpose, colliding directly with Anthropic's internal usage policies. The $200 million contract value is trivial for a frontier AI company; what Anthropic refused to surrender was policy control over its own technology. OpenAI's immediate willingness to step in reveals the structural trap: safety-conscious vendors lose contracts, and the channel between AI researchers and military planners narrows exactly when it needs to be widest.
The Iran war is a live experiment in what 'human in the loop' actually means at scale
The Maven Smart System, built by Palantir and now incorporating LLM tools from companies including Anthropic, is processing intelligence across more than 6,000 U.S. sorties to identify mobile targets and build strike packages across Iran. Human analysts are nominally approving every decision. But the strike on a school — caused by a Defense Intelligence Agency database that had never updated a building's conversion from a military compound — shows how nominal that approval becomes when analysts are processing thousands of targets under time pressure. Scharre frames this as a longstanding concern made newly urgent: AI doesn't eliminate the garbage-in-garbage-out problem, it industrializes it.
The real autonomous weapons risk is emergent escalation, not a Terminator scenario
Scharre's most analytically useful frame is the financial flash crash: algorithms interacting in opaque, competitive environments produce emergent behaviors that no individual designer intended. Applied to warfare, autonomous offensive cyber operations could interact with autonomous defensive systems in ways that escalate a conflict beyond any human's intent, particularly in domains where events move at machine speed. Financial regulators installed circuit breakers; there is no referee in war to call time out. Geopolitical competition structurally incentivizes nations to prioritize capability over safety margins, making cooperative agreements — already rare, as with chemical and biological weapons bans — harder still to achieve.
The commercialization of AI inverts the historical relationship between military demand and technological supply
Stealth technology was invented in classified defense labs with negligible commercial applications. AI is the mirror image: it emerged entirely from commercial competition, and defense is a minor customer. The Pentagon cannot win the talent competition against frontier AI labs, and a $200 million contract is rounding error against the capital these companies are deploying toward data centers and model training. Google's 2018 withdrawal from Project Maven after an employee letter is the prior example — but today's competitive landscape includes hundreds of open-source models, including Chinese ones, meaning any single company's exit changes the political optics without changing the underlying capability calculus.
Stanislav Petrov's instinct stopped nuclear war in 1983 — that judgment cannot be encoded
In 1983, Soviet officer Stanislav Petrov received a warning that the U.S. had launched ICBMs. He reported it as a malfunction, trusting his gut skepticism about a newly deployed satellite system — correctly, as it turned out to be detecting sunlight reflected off clouds. Scharre uses this episode to identify the irreducible limitation of autonomous systems: pattern-matching optimized AI has no mechanism to internalize the weight of consequences. Even as LLMs become more contextually sophisticated, the visceral understanding of what nuclear escalation means cannot be conveyed through training data. This is Scharre's strongest argument for maintaining meaningful human oversight precisely in the highest-stakes decisions — and the most unsettling reason to worry about where current trends lead.
인간이 명목상 루프 안에 있고 자율 무기가 아니라고 말할 수 있지만, 인간이 실질적으로 관여하지 않고 그냥 고무도장을 찍고 있다면, 그건 우리가 원하는 모습이 아닙니다.
— Paul Scharre, Executive Vice President, Center for a New American Security
You could end up in a place where humans are nominally in the loop and you could say, well, it's not an autonomous weapon and humans are making these decisions. But if the human is not meaningfully engaged and they're just kind of rubber stamping some kind of decision, then that's not really what we're looking for.
— Paul Scharre, Executive Vice President, Center for a New American Security