Incredible — 음성으로 컴퓨터를 조작하는 AI 비서

AI 요약

Incredible은 사용자가 컴퓨터에서 일을 처리하는 과정을 관찰해 반복 작업을 익히는 개인용 AI 비서입니다. 작업을 보여주며 단계를 설명하면 이후 청구서 처리, CRM 갱신, 스프레드시트 편집처럼 여러 앱을 오가는 일을 맡길 수 있다고 소개합니다. Product Hunt 작성자는 이메일 답장부터 온라인 장보기, CRM 입력, 프레젠테이션 수정, 후속 통화 예약, 조사와 문서 작성까지 시험했다고 설명합니다. 여러 모니터 가운데 실행 화면을 고정하고 창 크기를 조절하는 기능은 개선 요청으로 남겼습니다.

작동 방식

공동창업자이자 CTO인 Emil은 Incredible이 사용자의 컴퓨터에서 실행된다고 설명합니다. 사용자가 fn 키를 누른 채 말하면 화면 내용을 살펴 작업 순서를 계획하고, 실제 브라우저와 앱에서 클릭하고 입력합니다. 사용자가 이미 로그인한 브라우저를 활용하므로 별도의 서비스 연결이나 API가 없어도 오래된 공급업체 포털이나 사내 관리 페이지처럼 사람이 사용할 수 있는 웹페이지에서 작동한다고 합니다.

브라우저에서는 확장 프로그램을 통해 페이지와 DOM을 읽고 조작합니다. 데스크톱 앱에서는 운영체제 접근성 트리와 스크린샷을 함께 사용합니다. 접근성 트리만으로는 앱의 인터페이스 일부만 드러나는 경우가 있기 때문입니다. 작업을 가르칠 때 마우스 움직임을 녹화해 그대로 재생하지는 않습니다. 어떤 단계를 거쳤고 무엇을 하려 했는지 학습한 뒤, 매번 화면을 새로 읽습니다.

작업이 끝날 때마다 화면을 확인해 단계가 제대로 진행됐는지 살핍니다. 실패하면 무작정 다음 단계로 넘어가지 않고 다른 방법을 시도하며, 해결하지 못하면 진행 상황을 알리고 멈춥니다. 사용자가 이어서 하라고 말하면 이미 완료한 단계를 확인한 뒤 계속합니다. 전송이나 삭제 전에는 확인을 요청하고, 규모가 큰 작업은 먼저 계획을 보여준다고 합니다.

쓰임새와 한계

개발팀은 여러 앱을 오가며 반복적으로 클릭하고 입력하는 영업·운영·에이전시 업무를 주요 대상으로 꼽습니다. 회계 프로그램의 데이터를 스프레드시트로 옮기거나 이메일에 답장하는 작업이 예시로 나왔습니다. 창업자는 마지막 출시 이후, 별도 앱으로 이동해 사용하는 방식에서 작업 중 한 번의 키 입력으로 부르는 비서 형태로 제품을 바꿨다고 밝혔습니다. Mac과 Windows에서 7일간 무료로 시험할 수 있다고 안내했습니다.

접근성 분야에서 일했던 사용자는 macOS·Windows의 접근성 트리, DOM, 마우스 움직임 기록 중 어떤 방식을 쓰는지 물었습니다. 개발자는 브라우저에서 DOM을 사용하고 데스크톱 앱에서는 접근성 트리와 스크린샷을 조합한다고 답했습니다. 저손재주 사용자용 보조 기술로 처음 설계한 제품은 아니지만, 음성 입력과 키를 누르지 않아도 되는 핸즈프리 모드가 있으며 해당 사용자의 의견을 듣고 싶다고 덧붙였습니다. 사용자는 제품을 여러 모니터 가운데 특정 화면에 고정하고 크기를 조절하는 기능도 요청했습니다.

Product Hunt 반응

• @emil_wagman_at_incredible — “이메일 하나만 시켜보자”에서 주말 내내 써보는 단계로 넘어갔다는 평은 우리가 바랄 수 있는 최고의 후기입니다. 여러 모니터 중 어느 화면에 둘지 고르고 크기를 조절하는 요청도 좋습니다. 팀에 전달하겠습니다.
• @cloudalchemist — 흥미로운 설계입니다. 최근 나온 Dots 같은 도구와 비슷한가요? 어떤 점이 다르고, 주된 쓰임새는 무엇인가요?
  • @emil_wagman_at_incredible — Dots를 직접 써보지 않아 공정하게 비교하긴 어렵습니다. Incredible은 사용자의 컴퓨터에서 실행됩니다. fn 키를 누르고 말하면 이미 로그인한 실제 브라우저와 앱에서 작업합니다. 이메일에 답하고, 한 도구의 숫자를 스프레드시트로 옮기고, 양식을 작성하는 식으로 앱 사이에 걸친 소소한 반복 작업이 잘 맞습니다.
• @simona_o_neill3 — 홍보 영상을 보고 제품을 바로 이해할 수 있었습니다. 탭 사이를 오갈 수 있나요? 한 브라우저에서는 회계 프로그램을 열고 다른 브라우저에서는 스프레드시트를 열어뒀다면 데이터를 옮길 수 있나요?
  • @emil_wagman_at_incredible — 네, 그런 작업을 위한 기능입니다. 한 탭의 회계 프로그램에서 내용을 읽고 다른 탭의 스프레드시트에 숫자를 입력할 수 있습니다. “이번 달 청구서를 내 시트로 옮겨줘”라고 말하면 탭을 오가며 처리합니다.
• @sara_ford_goog — 기술 구현을 더 알고 싶습니다. Mac이나 Windows의 운영체제 접근성 트리를 쓰나요, 웹 앱에서 DOM을 쓰나요, 아니면 마우스 움직임을 기록하나요? 주요 사용자는 누구인가요? 처음에는 손을 자유롭게 움직이기 어려운 사람을 위한 앱으로 생각했는데, 설정이나 학습 과정이 분명하지 않습니다.
  • @emil_wagman_at_incredible — 여러 방식을 함께 씁니다. 브라우저에서는 확장 프로그램을 통해 페이지의 DOM을 다루는 방식이 가장 빠르고 안정적입니다. 데스크톱 앱에서는 접근성 트리와 스크린샷을 조합합니다. 앱에 따라 접근성 정보로 인터페이스가 전부 드러나지 않기 때문입니다. 마우스 움직임을 녹화해 재생하지는 않습니다. 영업·운영·에이전시 업무처럼 하루 종일 앱 사이를 오가는 사람을 위해 만들었습니다. 보조 기술로 먼저 설계하진 않았지만, 손을 자유롭게 움직이기 어려운 사용자에게도 배우고 싶습니다. 음성으로 말할 수 있고 키를 누르지 않아도 되는 핸즈프리 모드도 있습니다.
• @bengeekly — 작업 도중 문제가 생기면 어떻게 되나요? 중복 작업을 피하면서 중단된 지점부터 이어갈 수 있나요?
  • @emil_wagman_at_incredible — 각 단계 뒤에 화면을 확인하므로 실패를 알아차리고 그대로 진행하지 않습니다. 보통 다른 방법을 시도하고, 해결할 수 없으면 어디까지 했는지 알리고 멈춥니다. “거기서부터 계속해”라고 말하면 이미 끝난 단계를 확인하고 이어갑니다.
• @shivam_kushwaha16 — 브라우저에서 직접 작동하는 방식이 흥미롭습니다. API가 없는 사이트의 작업은 어떻게 처리하나요?
  • @emil_wagman_at_incredible — 사람이 하는 방식으로 처리합니다. 화면에 보이는 텍스트와 버튼, 입력란을 읽고 사용자가 로그인한 브라우저 탭에서 클릭하고 입력합니다. 사람이 쓸 수 있는 페이지라면 사이트에 API가 없어도 됩니다. 단계마다 화면을 확인하고, 전송이나 삭제 전에는 사용자에게 묻습니다.
• @yesith_thomas_official — 팀에서 몇 주 동안 써봤는데 컴퓨터 전반의 작업을 맡기는 개인용 Jarvis 같습니다. 스프레드시트 작업이 특히 잘 됐고, 브라우저 작업 속도도 매우 빠릅니다. 컴퓨터에 있는 파일을 첨부해 작업할 수도 있습니다.
• @incredible_david — 컴퓨터 작업의 상당 부분은 여전히 앱 사이를 오가며 클릭하고 입력하고 복사하는 일입니다. Incredible은 사용자가 브라우저와 파일, 앱을 직접 다루듯 작업하도록 만들었습니다. 이미 로그인한 곳에서 작동하고, 화면 내용을 이해해 “이 이메일에 답장해” 같은 지시의 대상을 파악하며, 여러 웹사이트를 거치는 작업도 처리합니다. 이전 출시 이후 제품을 다시 설계해 작업 중 한 번의 버튼 입력으로 부를 수 있는 비서 형태로 바꿨습니다.

원문: Product Hunt / 번역·요약: Trawling