iphone-use — API 없는 앱도 AI 에이전트가 실제 iPhone에서 조작

AI 요약

iphone-use는 AI 에이전트가 API 없는 앱을 실제 iPhone에서 조작하도록 돕는 오픈소스 도구입니다. 화면을 텍스트로 읽고 탭·입력·스크롤을 수행하며, 각 작업 결과를 ‘적용됨’, ‘전송되지 않음’, ‘알 수 없음’으로 돌려줍니다. 스크린샷을 막는 결제 앱은 와이어프레임으로 표시합니다.

실행 방식과 인터페이스

WebDriverAgent를 통해 iPhone을 제어합니다. HTTP API와 Claude Code용 21개 도구를 담은 MCP 서버를 제공하며, 브라우저나 iOS 앱에서 원격 조작할 수도 있습니다. 한 번 수행한 작업을 흐름으로 저장해 모델 호출 없이 재실행하는 기능도 갖췄습니다. MIT 라이선스로 공개했으며, 사용하려면 Xcode가 설치된 Mac과 USB로 연결한 iPhone이 필요합니다.

개발자 설명

제작자는 처음에는 원격 제어 패널로 만들었지만, 에이전트에는 작업 결과에 따라 다음 행동을 고를 수 있는 응답과 조용히 빗나가는 탭 대신 명시적인 거부 응답이 필요하다는 점을 확인해 에이전트 도구로 발전시켰다고 설명합니다. 요청마다 시간을 측정하며, 탭 후 화면이 안정될 때까지 기다리는 시간을 8.5초에서 4.2초로 줄였다고 밝혔습니다.

Product Hunt 반응

• @new_user___1802026c8ef14a8d893f355 — 제가 매일 쓰는 앱 중에는 API가 없는 앱이 많습니다. 은행, 결제, 건강, 채팅 앱이 그렇습니다. 코딩 에이전트가 브라우저를 조작하듯 실제 휴대전화에서 이런 앱도 다루게 하고 싶었습니다. 처음에는 원격 제어 패널로 시작했지만, 에이전트에는 사람이 필요로 하지 않는 기능이 필요하다는 점을 알게 되면서 도구로 발전했습니다. 결과에 따라 다음 행동을 고를 수 있는 응답(적용됨, 전송되지 않음, 알 수 없음, 안전하게 재시도 가능), 엉뚱한 곳에 조용히 탭이 들어가는 대신 거부하는 동작, 토큰을 쓰지 않고 반복 작업을 재실행하는 방법입니다. 모든 요청 시간을 재서 탭 후 대기 시간을 8.5초에서 4.2초로 줄였습니다. Xcode가 설치된 Mac과 USB로 연결한 휴대전화가 필요합니다. 의견을 기다립니다.
• @galdayan — ‘결제 앱’과 ‘어떤 브라우저에서든 원격 제어’가 한 기능 목록에 함께 있다는 점이 걱정됩니다. HTTP API와 실제 휴대전화를 조작하는 브라우저 패널이 생기면, 제어 채널 자체가 실제 공격 표면이 됩니다. 해당 엔드포인트에 접근할 수 있는 사람은 에이전트가 할 수 있는 일을 모두 할 수 있고, 은행 앱도 포함됩니다. Xcode가 설치된 Mac과 USB 연결 외에 원격 패널에 본인이 아닌 사람이 접근하지 못하도록 하는 장치가 있나요? 기본적으로 로컬에서만 동작하는지, 아니면 사용자가 직접 외부에 공개해야 하는지의 차이가 중요합니다.

원문: Product Hunt / 번역·요약: Trawling