다음 강으로 뛰어들다

2023년 6월, 나는 거의 10년간 일한 센스타임을 떠났다.

떠날 때 내게는 검증된 제품도, 완성된 사업 계획도 없었다. 구체적으로 무엇을 할지조차 분명하지 않았다.

하지만 다시 다음 강으로 뛰어들 때가 왔다는 사실만은 알고 있었다.

강을 바꾸는 것이 처음은 아니었지만, 그러기 위해 회사를 떠나야 했던 것은 처음이었다.

내가 거듭해 온 선택

나는 농촌 초등학교에서 현 소재지의 중학교로 진학했고, 이후 난징대학교에서 학부를, 칭화대학교에서 대학원을 다녔다. 대학원 재학 중 막 시작한 센스타임에 합류했다. 센스타임에서는 먼저 생체 탐지 팀을 만들었고, 나중에는 산업 비전 팀을 만들었다.

돌이켜 보면 이런 변화는 대략 몇 년에 한 번씩 일어났다.

미리 설계한 인생 계획 때문은 아니었다. 원래 하던 일이 의미를 잃었기 때문도 아니었다. 여러 해를 쏟고 나면 한 분야와 나 자신이 함께 성숙해졌다. 일이 반드시 끝난 것은 아니지만, 더는 내 한계를 넘어서도록 몰아붙이지 않았다.

많은 사람에게는 이상적인 상태일 것이다. 그러나 내게는 불안을 가져온다. 끝이 한눈에 보이는 삶을 좋아하지 않기 때문이다. 그래서 얼마에 한 번씩은 할 줄도 모르고, 어디서 시작할지도 모르는 문제 속에 나 자신을 던져 넣어야 한다.

여기서 ‘강’은 회사가 아니다. 강을 바꾼다고 반드시 퇴사해야 하는 것도 아니다. 새로 배워야 하는 분야, 아직 어떻게 해낼지 모르는 일을 뜻한다. 센스타임에서 보낸 거의 10년 동안에도 나는 서로 다른 두 강에 차례로 뛰어들었다.

그렇다고 내가 변화만 좇는 사람은 아니다. 내 안에는 거의 반대 방향으로 작용하는 또 하나의 힘이 있다. 책임감이다.

나는 일을 중도에 포기하는 것을 몹시 싫어한다. 하기로 정한 일은 제대로 해내고 싶다. 앞의 힘은 다음 강을 찾게 하고, 뒤의 힘은 원래 강에 남아 이미 시작한 일을 마치게 한다.

올해의 퇴사는 이 두 힘이 오랫동안 맞선 결과였다.

알고리즘을 현실 세계로 밀어 넣다

센스타임에 처음 합류했을 때 나는 연구부에 있었지만, 줄곧 관심을 둔 것은 응용이었다. 알고리즘이 실험 데이터에서 효과가 있는지만이 아니라, 현실 세계로 들어가 구체적인 문제를 해결할 수 있는지를 알고 싶었다.

생체 탐지는 센스타임 최초의 대규모 상용화 프로젝트에서 핵심을 이루었다. 그전에도 얼굴 인식에서 꽤 좋은 데모가 있었다. 하지만 실제 대규모 응용을 마주하자 생산 환경의 많은 문제가 해결되지 않았다는 사실을 알게 되었다. 특히 온라인 시스템이 공격받는 문제가 컸다.

당시 시스템은 하루 100만 건이 넘는 접속을 처리했고, 정점에는 하루 수십만 건의 공격을 받기도 했다. 기술은 계속 돌파해야 했고, 이미 운영 중인 서비스도 동시에 지켜야 했다. 많은 순간이 백병전과 같았다. 새벽 세네 시에야 회사를 나서는 일이 잦았고, 아예 밤을 새우기도 했다.

하루 낮과 밤을 싸워 알려진 공격을 모두 해결하고 집에 가서 잠드는 일이 반복됐다. 막 잠이 들면 다시 전화가 왔다. 온라인이 또 뚫렸다는 소식이었다.

바로 그 과정에서 우리는 센스타임 얼굴 인식의 엔드투엔드 모델 체계를 만드는 데 참여했다. 그전에는 많은 딥러닝 알고리즘이 국소적인 단계에만 쓰였고, 전체 시스템은 여러 단계를 이어 붙인 구조였다. 그러나 계속 변하는 공격 앞에서 사람이 조합한 방식은 빠른 반복을 감당하지 못했다. 우리가 본 유일한 출구는 하나의 엔드투엔드 딥러닝 모델이 데이터에서 직접 학습하게 하는 것이었다. 당시 우리는 이를 ‘대통합 모델’이라고 불렀다.

이 프로젝트를 통해 나는 데모에서 작동하는 알고리즘이 곧 성립한 기술은 아니라는 점을 처음으로 제대로 이해했다. 대규모 접속과 지속적인 공격, 온갖 예기치 않은 상황을 견뎌 내야 비로소 실제로 쓸 수 있는 기술이 된다.

이후 우리는 스마트폰 시장에도 진입했다. 휴대전화 제조사는 출시 전마다 수백 명을 조직해 테스트했고, 동종 업계와 사용자도 끊임없이 새로운 문제를 찾아냈다. 그 때문에 우리는 당시 알고 있던 AI 알고리즘 회사 중 최대 규모에 속하는 테스트 팀을 만들고, 모든 가능성을 찾아내려 했다.

역광과 관련된 한 문제는 센스타임의 어느 사무실에 있는 특정 남자 화장실에서만 재현할 수 있었다. 우리가 ‘음양 얼굴’이라고 부른 또 다른 문제는 어느 나무 아래 특정 각도에 서야만 나타났다. 수억 명의 일상에서 제품이 안정적으로 작동하게 하려고 우리는 이런 일을 수없이 했다.

결국 스마트폰 본인 인증 분야에서 시장을 선도하게 되었다.

이것이 센스타임에서 들어간 첫 번째 강이었다. 생체 탐지는 논문의 데모에서 시작해 여러 차례 대규모 응용의 검증을 거쳤고, 마침내 상당히 성숙한 분야가 되었다. 2019년이 되자 과거에는 위험을 감수하며 탐색해야 했던 많은 문제를 축적된 경험으로 해결할 수 있었다. 모든 일을 끝낸 것은 아니었지만, 내가 다시 안락지대에 들어왔다는 사실은 알 수 있었다.

그래서 다시 가만히 있을 수 없게 되었다.

센스타임에 남아 강을 바꾸다

2019년, 나는 센스타임을 떠나지 않았다. 같은 회사 안에서 본인 인증에서 산업 비전으로 옮기는 길을 택했다.

폭넓게 조사하고 회사 리더와 사업 팀과 여러 차례 논의한 끝에, 첫 산업 비전 프로젝트로 고속철도 C4 전차선 지능형 검사를 선택했다.

나는 프리세일즈 팀과 많은 철도 검사 센터와 철도국을 방문했다. 가장 깊은 인상을 남긴 곳은 쉬저우 검사 센터였다. 우리가 갔을 때는 막 비가 그친 뒤였다. 센터는 비교적 외진 곳에 있었고, 우리는 진흙탕 길에 발이 푹푹 빠지며 들어갔다.

안에는 컴퓨터가 줄지어 놓여 있었다. 검사원들은 매일 많은 시간을 이미지에 쏟으며 철도 전차선에서 생길 수 있는 고장을 찾았다. 거의 모든 사람의 눈 밑이 어두웠다. 고장을 찾은 뒤에도 수천 킬로미터에 이르는 철길을 따라가 하나씩 처리해야 했다. 나사나 너트 하나가 풀린 것뿐이어도 현장으로 달려가야 했다. 혹한이든 혹서든 미룰 수 없었다.

너무나 절실한 요구라고 생각했다. 적어도 가장 시간이 많이 드는 일, 곧 이미지를 보는 일부터 도와야 했다.

실제로 시작하고 나서야 이 일이 상상보다 훨씬 어렵다는 것을 알게 되었다. 전차선에는 100가지가 넘는 부품과 1,000가지가 넘는 결함이 있었다. 이 숫자조차 일선 동료들과 반복해서 세고 정리한 끝에 나온 것이었다. 기존의 많은 검사 업무는 경험에 의존했고, 자료와 과거 데이터는 여러 곳에 흩어져 있었다. 우리는 처음부터 자료를 모으고, 일선 동료들과 함께 일하며 고장 항목을 하나씩 이해해야 했다. 이 과정은 거의 2년에 걸쳐 이어졌다.

더 큰 도전은 소량 표본 문제였다. 고속철도 노선의 고장은 본래 극히 드물다. 어떤 고장은 일 년에 한 번도 나타나지 않지만, 일단 일어나면 결과가 심각할 수 있다. 충분한 표본이 모일 때까지 기다릴 수 없었다. 실제 조건에 맞춰 방법을 다시 설계해야 했다.

마침내 이 프로젝트는 성공했고 대규모로 적용되었다.

산업 비전은 센스타임에서 들어간 두 번째 강이었다. 회사를 바꾸지는 않았지만 익숙했던 거의 모든 것이 달라졌다. 문제, 데이터, 고객, 평가 기준과 일하는 방식이 모두 변했다. 나는 다시 초보자가 되었고, 팀과 함께 원래는 할 줄 몰랐던 일을 해냈다.

그래서 나는 강이 회사와 같지 않다고 말한다. 나를 진정으로 끌어당기는 것은 한 장소를 떠나는 일이 아니라 더 어려운 문제로 들어가는 일이다.

강을 바꾸지 않았던 2022년

센스타임은 상장 이후 새로운 재무와 자원 압박에 직면했다. 동시에 이전 컴퓨터 비전의 물결은 점차 성숙기에 접어들었고, 다음 물결은 아직 선명하게 나타나지 않았다. 많은 일이 자원과 시장, 기술의 경계에 막혀 예전처럼 빠르게 나아가기 어려웠다.

2022년 내내 나는 다소 의기소침했고, 달리 말하면 조금은 체념한 상태였다. 정상적으로 출퇴근하기 시작했다.

이 말 자체에는 아무 문제가 없다. 정해진 시간에 출퇴근하는 것은 많은 사람의 평범한 삶이다. 하지만 나는 과거에 늘 일을 창업처럼 대했다. 갑자기 이런 상태로 들어가자 오히려 몹시 침체되었다.

겉으로 그 시기의 삶은 전보다 훨씬 편안했다. 매일 눈을 뜰 때마다 반드시 해결해야 할 새 문제가 있는 것도 아니었고, 온라인 장애 때문에 밤을 새우는 일도 줄었다. 하지만 나를 정말 힘들게 한 것은 바로 그 편안함이었다. 아무것도 바꾸지 않으면 몇 년 뒤 내 삶이 어떤 모습일지 상상할 수 있게 되었다.

나는 곧바로 떠나지 않았다. 나를 남게 한 것은 책임감이었다.

고속철도 검사는 성공했지만 자동차 공장의 품질 검사는 성공하지 못했고, 지능형 산업용 로봇 팔도 완성하지 못했다. 나는 이 일을 계속하고 싶었다. 내가 팀을 만들고 방향을 선택해 놓고, 가장 어려운 시기에 떠난다는 것을 쉽게 받아들일 수 없었다.

한 힘은 다음 강을 찾아야 한다고 했고, 다른 힘은 눈앞의 일이 아직 끝나지 않았다고 했다.

2022년에는 뒤의 힘이 더 강했다.

다음 강이 보였다

작년 말 ChatGPT가 나타났고, 올해 상반기에는 GPT-4가 등장했다. 이전의 균형은 깨졌다.

당시 나는 강하게 느꼈다. 컴퓨터 비전이 ‘본진을 털렸다’고.

미래가 텍스트, 이미지, 음성마다 따로 존재하는 모델로 이루어지지는 않을 것이었다. 컴퓨터 비전은 사라지지 않겠지만, 범용 모델이 세계를 이해하는 한 부분이 될 것이다. 과거 우리는 비전을 완결된 기술의 중심으로 여겼다. 이제 더 큰 범용 지능의 시대가 나타나고 있었다.

이는 컴퓨터 비전 내부의 기술 업그레이드가 아니었다. 기술 발전의 주류 자체가 달라진 것이었다.

나는 아직 물살을 모르는 또 하나의 강을 보았다.

과거에는 센스타임 안에 남아 강을 바꿀 수 있었다. 2019년 본인 인증에서 산업 비전으로 옮긴 것이 그런 선택이었다. 그러나 이번에는 다음 강이 원래 하던 일의 연장선에 있지 않았다. 내가 들어가려는 곳은 범용 지능과 그것이 만들어 낼 새로운 응용이었다.

당시 내 역할과 책임은 여전히 산업 비전에 있었다. 계속 남는다면 산업 비전을 잘해 내는 데 온 힘을 다해야 했다. 기존 책임을 짊어진 채 한편으로 내 다음 행선지를 준비해서는 안 된다고 생각했다.

진정으로 다음 강에 뛰어들려면 먼저 이전 역할을 떠나야 했다.

올해 상반기가 되자 나는 점점 더 가만히 있을 수 없었다. 새로운 기술이 궁극적으로 어떤 제품을 만들지, 내가 그 안에서 무엇을 할 수 있을지도 알지 못했다. 하지만 모든 것을 확실히 생각할 때까지 기다리면, 가장 먼저 학습을 시작해야 할 몇 년을 놓칠 수 있다는 사실은 알았다.

정말 중요한 일에는 흔히 ‘모두 끝났다’고 선언할 순간이 없다. 책임진다는 것이 모든 문제가 끝날 때까지 기다린다는 뜻이라면, 사람은 영원히 새로운 선택을 하지 못할 수도 있다.

나는 책임이 남는 것만을 뜻하지 않는다는 사실을 차츰 깨달았다. 남는 것도 하나의 선택이며, 그 결과를 감당해야 한다. 책임감을 선택을 끝없이 미루는 이유로 삼을 수는 없다.

그래서 올해 6월, 나는 센스타임을 떠났다.

답이 없는 채로 떠난 이유

떠나기 전에 업무 밖에서 몰래 창업을 준비하지 않았고, 센스타임이 하던 사업을 들고 나가 창업할 생각도 없었다.

한 회사에서 일하며 회사의 결과물을 낼 책임을 지고 회사가 제공한 자원을 쓰면서, 마음속으로는 내 다음 행선지를 준비할 방법만 생각한다면 이전 업무에 정직하지 못하다고 느꼈을 것이다.

이는 내가 퇴사할 때 정말 준비되어 있지 않았다는 뜻이다.

창업을 진지하게 대하지 않아서 준비하지 못한 것이 아니다. 떠나기 전까지 이전 일을 여전히 진지하게 대하고 있었기 때문이다.

나는 먼저 떠난 뒤 답을 찾아야 했다.

수영할 줄 안다고 모든 강을 아는 것은 아니다. 물살을 완전히 이해할 때까지 강둑에 서 있다가 뛰어드는 것도 불가능하다. 어떤 지식은 물속에서만 얻을 수 있고, 어떤 방향은 움직이기 시작한 뒤에야 보인다.

이번에는 강을 바꾸는 일이 마침 퇴사를 뜻했다. 하지만 나를 떠나게 한 것은 퇴사 자체에 대한 동경이 아니라, 다음 강이 이미 나타났다는 사실이었다.

응용의 편을 선택하다

ChatGPT가 나온 뒤 친구들과 한 가지 문제를 이야기했다. AGI가 오면 지능은 결국 소수 플랫폼의 손에 집중될까, 아니면 더 많은 사람이 공유하게 될까?

내 판단은 결국 반드시 퍼져 나갈 것이라는 쪽이었다.

이를 엄밀히 증명할 수는 없다. 내 직관은 단순하다. 우주 자체가 중앙 집중형 시스템이 아니라는 것이다. 현실 세계는 무수한 사람과 기기, 환경, 국지적인 문제로 이루어져 있다. 지능이 진정으로 이 세계에 들어오려면, 그것도 무수히 다른 형태로 존재해야 한다. 파운데이션 모델의 훈련은 소수 회사에 집중될 수 있지만, 지능의 응용까지 소수 플랫폼만의 것은 아닐 것이다.

그래서 나는 파운데이션 모델을 만들고 싶지 않다. 새로운 지능으로 하나하나의 구체적인 요구에 응답하는 응용을 만들고 싶다.

이 선택은 내 인생 경험에서도 비롯되었다.

나는 농촌에서 자랐다. 초등학교부터 중학교까지 많은 방학과 여가 시간을 집안 농사에 썼다. 씨 뿌리기, 비료와 농약 주기, 트랙터 운전, 동물 사육까지 거의 모두 해 보았다. 방학 동안 나는 스스로를 실질적인 농부라고 생각했다.

나는 이런 일이 주는 성취감이 좋았다. 농사가 잘됐는지, 동물을 잘 키웠는지 결과가 아주 직접적이었다. 일을 조금 더 잘하면 한 가정의 삶도 조금 더 나아졌다.

대학 때는 여러 아르바이트를 했고, 동기들과 여름 보충 수업도 열었다. 학생 모집과 수강료 수납, 수업을 모두 직접 했다. 그해 여름, 함께한 동기 몇 명은 모두 이듬해 생활비를 벌었다.

대학원 때는 개인 과외를 했다. 이후 센스타임이 막 시작해 사무실이 칭화대 남문 근처 원진호텔 객실 한 칸에 있던 때, 초기 창업 직원으로 합류했다.

겉으로는 이 일들에 공통점이 없어 보인다. 하지만 내게 성취감을 준 방식은 같았다. 현실의 문제를 해결하고, 내가 참여했기 때문에 무언가 달라지는 것을 보는 일이었다.

그래서 새로운 범용 지능 시대가 나타났을 때도 나는 본능적으로 응용의 편에 섰다. 내가 궁금한 것은 기술이 더 강하다는 사실을 어떻게 증명할지가 아니라, 그것이 결국 구체적인 한 사람에게 무엇을 해 줄 수 있는가이다.

뛰어든 뒤

다음 강에 들어갔다고 곧바로 어디를 향해 헤엄쳐야 할지 알게 된 것은 아니다.

센스타임을 떠난 뒤 첫 몇 달 동안 나는 여전히 가장 익숙한 곳에서 본능적으로 기회를 찾았다. 친구와 함께 이미지 관련 제품을 몇 가지 시도했다. 거의 10년 동안 컴퓨터 비전을 다뤘으니, 그곳에서 출발하는 것이 가장 자연스러워 보였다.

하지만 한동안 해 보자 방향이 맞지 않는다는 느낌이 점점 강해졌다. 반드시 제품 자체에 문제가 있었던 것은 아니다. 우리가 사용자가 정말 무엇을 필요로 하는지가 아니라, 우리가 무엇을 할 줄 아는지에서 출발하고 있다는 점이 문제였다.

10년 동안 망치를 들고 있으면, 방을 바꾸어도 눈에 보이는 것은 여전히 모두 못이 되기 쉽다.

새로운 분야에 들어간다는 것은 장소만 바꾸고 과거에 성공한 방법을 계속 쓰는 일이 아니라는 것을 깨달았다. 진정으로 다시 시작하려면 내가 가장 잘 아는 답을 잠시 내려놓아야 했다.

그래서 스스로 물었다. 지난 10년의 기술 축적을 고려하지 않는다면, 내가 가장 갖고 싶은 AI 제품은 무엇일까?

내 답은 노트였다.

내가 가장 원한 제품

중학교 때부터 나는 ‘붓을 움직이지 않고는 책을 읽지 않는다’는 습관을 지켜 왔다. 내게 노트는 자료를 보관하는 곳에 그치지 않는다. 기억의 연장이자 생각의 한 부분이다.

사람들은 흔히 노트를 ‘두 번째 뇌’라고 부른다. 하지만 이른바 두 번째 뇌는 실제로 지능적이지 않다.

무언가를 넣고 나서도 직접 정리하고, 찾고, 연결하고, 다시 꺼낼 방법을 생각해야 한다. 또 하나의 뇌라기보다 외장 하드디스크에 가깝다.

이번 세대의 대규모 모델을 보고 나는 처음으로 이 일이 근본적으로 달라질 수 있다고 믿었다. 미래의 노트는 한 사람이 쓴 것을 보관할 뿐 아니라 그 내용을 이해하고, 서로의 연결을 찾아내며, 필요할 때 기억을 돕고, 심지어 생각에 참여할 수도 있다.

내가 만들고 싶은 것은 AI 기능 몇 개를 더한 노트 소프트웨어가 아니다. 진정으로 지능적인 두 번째 뇌다.

범용 지능은 내가 뛰어든 다음 강이다. 지능형 노트는 그 안에 들어간 뒤 가장 먼저 헤엄쳐 가기로 정한 방향이다.

아직 건너편에 닿지 않았다

그전에도 창업의 성격을 띤 일을 많이 했다. 대학 때 보충 수업을 연 것은 비공식적인 창업이었고, 막 시작한 센스타임에 합류한 것은 창업에 참여한 일이었다. 센스타임 안에서 생체 탐지와 산업 비전 팀을 만든 것도 한 회사 안에서 창업하는 것과 비슷했다.

하지만 이번에는 달랐다. 올해 6월, 나는 처음으로 한 회사를 떠나 나 자신을 온전히 시장에 두고 진정한 의미의 전업 창업을 시작했다.

오늘은 2023년 12월 31일이다. 센스타임을 떠난 지 반년이 지났다.

아직 모든 문제의 답을 찾지 못했고, 성공이라 부를 만한 어떤 건너편에도 닿지 못했다. 제품을 만드는 일, 시장을 이해하는 일, 그리고 둘을 맞추는 일처럼 과거에는 잘하지 못했던 많은 것을 배우고 있다.

많은 사람에게는 고통스러운 상태일 수 있다. 내게는 오히려 오래간만에 느끼는 익숙함이 있다. 답을 알 수 없는 곳으로 다시 돌아왔기 때문이다.

이 글은 내 개인 블로그의 첫 번째 글이다. 여정이 끝났기 때문에 쓰는 것이 아니다. 진정으로 시작하는 순간, 내가 왜 출발했는지를 기록하고 싶었다. 앞으로도 이곳에 기술과 제품, 사람에 관한 생각과 내가 만들고 있는 것들을 계속 쓸 것이다.

이 강이 결국 어디로 흐를지는 모른다.

그러나 돌이켜 보면 내 인생의 몇몇 중요한 변화는 모두 같은 선택에서 시작했다. 충분히 오랜 시간을 쏟은 뒤 내가 조금씩 안락지대에 들어가고 있음을 발견하면, 다음 강을 찾기 시작하는 선택이었다.

올해 6월, 나는 다시 그 선택을 했다.

나는 지금도 물속에 있다.