OpenAI는 자체 LLM으로 Jalapeño 칩을 어떻게 설계했나

AI 요약

OpenAI가 8월 25일 자체 AI 가속기 칩 Jalapeño를 공개했습니다. Jalapeño는 최대 13.4페타플롭스(13.4 petaflops)의 4비트 연산 성능과 232GB의 고급 메모리를 제공하며, 메모리와 15.4TB/s로 연결됩니다. OpenAI가 제시한 벤치마크에 따르면 Jalapeño는 현재 OpenAI가 사용하는 Nvidia GB300과 비교해 프롬프트 입력부터 마지막 토큰 생성까지의 엔드투엔드 지연 시간(end-to-end latency)을 최대 3.6배 줄이면서도 더 적은 전력을 사용할 수 있습니다. 다만 이 수치가 Jalapeño가 OpenAI의 추론용 칩 인프라에 널리 배치된 뒤에도 실제 서비스 환경에서 그대로 나타날지는 아직 확인되지 않았습니다. Jalapeño는 2,048개 칩을 포함하는 팟(pod)에 배치되도록 설계되었습니다. ■ 20개월 이내에 아키텍처에서 실리콘까지 진행한 설계 일정 Jalapeño의 첫 아키텍처 구상부터 첫 실리콘(first silicon)까지는 20개월이 채 걸리지 않았습니다. 칩의 논리를 정의하는 RTL(register-transfer level) 코드가 처음 작성된 뒤 테이프아웃(tape-out)까지는 9개월이 걸렸습니다. OpenAI 하드웨어 부문 부사장 Richard Ho는 LLM이 엔지니어의 작업을 대체한 것이 아니라, 엔지니어가 더 빠르게 더 많은 설계 경로를 탐색하도록 도왔다고 설명합니다. 그는 엔지니어가 여전히 작업을 주도하고 최종 판단을 내리지만, 모델이 엔지니어에게 일종의 “초능력”을 제공한다고 말합니다. Jalapeño 설계 그룹의 프로젝트 기간 평균 인원은 100명 미만이었고, 현재 2세대 및 3세대 설계를 진행하는 팀도 약 100명 규모입니다. 이 수에는 시스템 설계, 소프트웨어, 공급망을 비롯한 OpenAI 하드웨어 조직의 여러 역할이 포함되지만, 협력사 Broadcom의 인력은 포함되지 않습니다. OpenAI는 추론 가속기, 메모리 계층, 네트워킹을 포함한 시스템 설계를 맡았고, Broadcom은 게이트 이후 단계인 물리 설계(physical design)를 담당했습니다. Verkor.io 공동 창업자 David Chin은 제시된 일정 자체는 신뢰할 만하지만 Broadcom의 지원 없이 처음부터 같은 속도로 진행하기는 어려웠을 것이라고 평가했습니다. UC San Diego의 Andrew Kahng 교수는 이 속도가 현재 기준으로 “최고 수준일 가능성이 높다”고 말했습니다. ■ XLS와 LLM을 결합한 프런트엔드 설계 OpenAI의 설계 워크플로는 Google에서 처음 개발된 오픈소스 고수준 합성(high-level synthesis) 도구 체인인 Accelerated Hardware Synthesis(XLS)를 중심으로 구성되었습니다. 고수준 합성은 칩 엔지니어가 하드웨어 기술 언어만 직접 작성하는 대신, 더 익숙한 프로그래밍 환경에서 설계할 수 있게 하는 자동화 방식입니다. XLS에서는 DSLX와 C++ 같은 언어로 작성한 설계를 Verilog로 변환합니다. DSLX는 Rust에서 영감을 받은 도메인 특화 언어(domain-specific language)입니다. OpenAI의 Chris Leary는 LLM이 소프트웨어처럼 보이는 작업에 더 강했기 때문에 XLS를 활용했다고 설명합니다. XLS가 프로그래밍 언어와 비슷한 형태를 갖고 있어 모델의 능력을 설계 과정에 적용하기 쉬웠다는 것입니다. Kahng 교수도 LLM을 XLS와 같은 고수준 합성 단계에 적용하는 방식이 자연스럽고, 빠른 반복 설계를 가능하게 하는 일반적인 워크플로가 될 수 있다고 봅니다. 즉 LLM이 물리적으로 배치된 회로를 처음부터 독립적으로 만들어냈다는 설명보다는, 사람이 작성하고 검증하는 하드웨어 설계의 일부를 소프트웨어에 가까운 표현으로 바꾼 뒤 모델이 반복 작업을 가속했다는 설명에 가깝습니다. ■ 첫 칩 수령 뒤 소프트웨어 최적화 LLM은 칩 설계뿐 아니라 첫 실리콘을 받은 뒤 칩에서 실행되는 소프트웨어를 최적화하는 데에도 사용되었습니다. OpenAI는 5월 파운드리에서 첫 칩을 받은 뒤 내부 AI 모델을 사용해 SemiAnalysis의 InferenceX와 같은 벤치마크를 실행하는 소프트웨어를 설계했습니다. DeepSeek의 multi-head latent attention 커널 벤치마크에서는 성능이 칩의 연산 능력과 메모리 대역폭이 정한 이론적 상한의 0.31%에서 약 40시간 만에 88.94%까지 올라갔습니다. Ho는 이 결과를 반복해서 얻을 수 있다고 말합니다. 이에 따라 파운드리에서 첫 칩을 받은 시점부터 생산을 확대하는 시점까지의 기간도 줄일 수 있으며, 앞으로의 일정 가정 역시 이 최적화 능력을 전제로 세우겠다고 설명합니다. 이 사례에서 LLM은 RTL 작성만 돕는 것이 아니라 실제 하드웨어가 나온 뒤 커널과 실행 소프트웨어를 조정해 하드웨어 자원을 더 효율적으로 사용하는 작업에도 활용되었습니다. ■ 모델 세대 변화와 비공개 칩 설계 모델 프로젝트는 2025년 4월 공개된 OpenAI o3와 같은 모델의 지원으로 시작했지만, 종료 시점에는 GPT-6 Astra의 전신에 해당하는 내부 모델을 사용할 수 있었습니다. 원문에 따르면 Astra는 2026년 9월 3일 공개되기 전까지 일반에 공개되지 않았으며, XLS를 거치지 않고 Verilog에서 직접 작업할 수 있고, 독점적인 설계 도구를 거의 독자적으로 조작할 수 있는 단계에 가까워졌습니다. OpenAI는 Jalapeño 설계를 위해 칩 설계에 맞게 미세 조정한 내부 LLM도 사용했지만, 구체적인 모델명과 구성은 공개하지 않았습니다. OpenAI는 Jalapeño 프로젝트에서 얻은 교훈을 상용 LLM에 반영할 계획입니다. Ho는 Astra와 이후 모델이 칩 설계에 매우 강해질 것이라고 말했지만, 현재의 Codex만으로 누구나 최첨단 AI·ML 가속기 칩을 만들 수 있다는 주장은 아니라고 선을 그었습니다. OpenAI가 제시하는 핵심은 특정 설계 작업에 Codex와 모델을 더 잘 적용하는 방법, 그리고 소규모 팀이 빠른 일정 안에서 품질 있는 결과를 내도록 워크플로를 구성하는 방법입니다. ■ 백엔드 물리 설계에서는 아직 제한적이었지만 Jalapeño 프로젝트에서 OpenAI가 주로 다룬 영역은 초기 개념 수립, RTL 작성, 물리적으로 구현 가능한지 확인하는 검증까지의 프런트엔드(front end)였습니다. 인터커넥트 라우팅, 클록과 전원 사양 완성 및 검증, 파운드리에 넘길 설계 정보 준비 같은 백엔드(backend) 작업의 상당 부분은 Broadcom이 맡았습니다. OpenAI의 물리 설계 엔지니어도 플로어플랜과 라우팅 방향을 정하는 과정에서 Broadcom과 협력했지만, Broadcom은 OpenAI가 사용한 내부 모델에 접근하지 않았고 OpenAI의 공개 상용 모델을 사용할 수 있었습니다. IEEE Hot Chips 2026에서 Ho와 Leary가 공개한 수치에 따르면 AI가 물리 설계 최적화를 안내한 결과, 행렬 곱셈 유닛(matrix multiplication unit)의 면적이 최적화된 인간 설계 기준보다 10% 줄었습니다. 같은 실리콘 면적에 더 많은 회로를 배치할 수 있었다는 의미입니다. Verkor의 Ravi Krishna는 프로젝트가 시작된 2024년 10월 당시의 모델 성능 때문에 백엔드 접근 방식이 다소 보수적으로 보일 수 있다고 말했습니다. Verkor 공동 창업자 Suresh Krishna는 최근 모델이라면 백엔드 과정도 에이전트 루프(agentic loop)로 상당 부분 가속할 수 있다고 봅니다. 2세대 칩에서는 검증과 물리 설계에 AI를 더 많이 적용할 계획입니다. OpenAI 팀은 칩 클록 신호와 실패 상황을 분석하기 위해 파형을 자동으로 조작하고 확인하는 도구도 마련했습니다. 다만 Ho와 Leary는 칩 설계 전체가 완전히 자동화될 것이라고 말하지 않습니다. Jalapeño의 사례는 LLM이 하드웨어 엔지니어의 판단을 없앤 사례가 아니라, 고수준 합성, 반복 설계, 검증, 첫 실리콘 이후의 소프트웨어 튜닝처럼 언어와 코드로 표현할 수 있는 작업을 중심으로 설계 팀의 반복 속도를 높인 사례로 제시됩니다. ■ Hacker News 반응 • @karim79 — 저는 Jalapeño를 재배합니다. AI와 실제 칠리 페퍼를 뒤섞은 작명이 거슬립니다. • @asveikau — 멕시코 Xalapa 사람들은 이 이름을 어떻게 느낄지 생각해 보시기 바랍니다. 그들에게 로열티 수표를 보내야 합니다. • @Lalabadie — 저는 생성 예술을 합니다(AI 프롬프트와는 관계가 없습니다). 여러분의 답답함이 느껴집니다. • @fragmede — 암호학자들도 cryptocurrency 때문에 똑같은 일을 겪었습니다. 그런데 모두가 그냥 “crypto?”라고만 말했습니다. • @karim79 — 전통적인 생성 예술을 말씀하시는 건가요? 웜스(Worms)의 대량살상무기 지도 생성 같은 것 말입니다. 멋집니다! 원문: IEEE Spectrum / 번역·요약: Trawling