라이더 기술에 대해 많은 사람들이 오해하고 있는 부분부터 지적하고 싶다라이더 vs 카메라가 아니라 실제로는 HD맵 vs 딥러닝에 가깝다.
라이더는 light(laser) detecting andranging의 약자로, 주변의 사물을 감지하고 그와의 거리를 재는 기술로 알고 있을 것이다. 맞는 말이지만 반만 옳다. 실제로 자율주행에서 라이더는 HD맵 활용을 위한 고정밀 로켓츠에 주로 사용되고 있다. 고정밀 GPS로 이용되고 있다는 것이다.
이건 자율주행으로 라이더 기술이 쓰이게 된 역사를 좀 되새겨볼 필요가 있다 라이더(LIDAR)는 이름이 레이더(RADAR)와 비슷하지만 처음에는 군용차량의 자율운전을 위해 먼저 사용됐다. 미군은 2004년부터 DARPA(Defense Advanced Research Projects Agency) 그랜드 챌린지를 개최, 군용 차량의 자율주행 기술에 대한 기업과 대학의 참여를 유도하였다. 그것은 라이더를 메인센서로 삼아 사막에서의 자동운전을 겨루는 대회였다. 그리고 이 기술로 시내에서의 자율주행도 가능하지 않은가. 하여 주최하게 된 것이 바로 2007 DARPA 어반챌린지이다.
2007 DARPA 어번챌린지는 많은 주목을 받아 구글, GM 등 다양한 기업의 후원이 들어오고 미국 내 유명 대학의 인재들이 참여하게 되었다. 이때 처음으로 시내 자율주행자동차 개발에 성공했는데 여기서 주요 우승팀이 구글에 영입돼 Waymo가 되고 부진했던 트위치 수석 엔지니어가 Cruise라는 기업을 설립해 나중에 GM에 인수된다.
이때 개발된 놀라운 시내 자율주행을 가능하게 한 핵심 기술인 라이어다.로케이션+HD매핑기술이다. 방법은 이렇다. 한정된 지역의 3d HD맵을 미리 찍은 상태에서 차선, 신호등, 표지판 등의 인식을 ai가 하는 것이 아니라 사람이 노지에서 HD맵상에 모두 집어둔다. 이후 라이더를 활용해 HD맵상에서 현재 차량의 위치를 정밀하게 촬영하면서 운전하면 주변 환경을 인공지능을 통해 인식할 필요 없이 매우 정밀한 자율운전이 가능하다는 사실을 확인했다. 이를 통해 자율주행기술 발전을 이룰 수 있었다. 하지만 이 기술은 2007년, 즉 아직 딥러닝 기술이 화두로 떠오르기 전에 개발된 기술이다. 이때의 AI 기술은 매우 처참해 주변 환경 인식이 애당초 불가능했다.
그러나 상황은 조금 달라지고 있으나 2010년경 GPU 컴퓨팅 파워의 증가로 이전에 머신러닝으로 멸시받던 뉴럴 네트워크(neural network)가 딥러닝으로 발전하여 학계에서 놀라운 성과를 보이기 시작한다. 세르게이브린과 제프딘이 구글 X랩에서 일하던 시절 딥러닝이 실제로 받아들여지고 있음을 알고 놀란 게 이 정도였다고 한다. Demisha Service 딥마인드가 2010년 설립되었으며 초기 투자자로 일론마스크가 참여한다. 이후 2014년 구글이 600M달러에 딥마인드를 인수한다. (구글의 세르게이브린, 래리 페이지와 일론 머스크는 이때 절친한 친구였던 것으로 알고 있다) 그리고 일론 머스크는 2015년 Open AI를 설립해 딥 마인드와는 별개로 인공지능 연구소를 만든다.
이 시점에서 일론마스크는 카메라+딥러닝만으로 (인간의 눈과 뇌에 해당하는) 라이더나 HD맵 없이 자율주행이 충분히 가능하다고 믿기 때문에 구글 웨이모와는 다른 길을 걷게 된다. 테슬라는 2015년경 모빌아이와 협력해 ADAS 기반으로 시작해, LV2로부터 학습시키면서 카메라 기반의 딥러닝으로 LV5 자율주행을 실현하려 하고 있다. 그러나 일론마스크는 딥러닝 기술을 과신하며 매번 이제 곧 LV5 자율주행이 나올 것이라고 장담했지만 실패한다. 이를 통해 모빌아이와 사이가 나빠지기 시작한다.
모빌아이의 창업자 겸 CEO 암논 샤슈아는 1993년 MIT에서 컴퓨터 사이언스/뇌과학/AI 관련 박사학위를 받은 바 있어 기술에 대한 이해도가 높았다. 그는 예전부터 일론마스크처럼 카메라+딥러닝으로 자율주행을 구현할 수 있다고 생각해 왔지만 현실적으로 아직도 10년은 더 걸릴 것으로 보고 일론마스크의 과장과 과장이 테슬라 차량 사고로 이어진다고 봤다. 결국 2016년 테슬라와 모빌아이는 결별, 모빌아이는 인텔에 15B라는 거액에 인수되고 테슬라는 또 다른 유명인사 Andrej Karpathy를 영입해 자체적으로 모빌아이를 대체할 카메라+딥러닝 기반의 자율주행을 개발한다. 이후 테슬라는 엔비디아와도 싸우고 자율주행 하드웨어도 자체 제작해 자율주행을 수직계열화하려 한다. 그리고 2020 현재의 FSD beta로 이어진다.(이러한 일론마스크의 행보는 스페이스X에서도 흔히 볼 수 있는 행동으로 일론마스크는 협력사에게 매우 높은 목표를 요구하고 만족할 만한 결과를 보여주지 못할 경우 협력을 깨고 수직계열화하는 경우가 많았다.)
이것에 대해서 웨이모 진영에서는 이미 라이더인+HD맵 기반을 기본으로, 많은 진전을 이루고 있어 이것을 포기하는 것은 곤란했다고 생각된다. 딥러닝을 기반으로 처음부터 다시 시작하는 것이 아니라 2007 DARPA 챌린지에서 개발한 라이더즈이다.+ HD맵 기술을 그대로 기반으로 유지하면서 deeplearning을 보조적으로 사용해 자율주행 LV5를 구현하고자 한다.
그렇게 시간이 흘러 2015년 웨이모의 핵심 인물 중 한 명인 Chris Urmson 씨가 TED 콘퍼런스에서 웨이모의 라이더 기반 자율주행 기술을 소개해 눈길을 끈다. 그러다 2016년 3월 딥마인드의 알파고가 이세돌과의 대국에서 승리하면서 구글의 인공지능 기술이 큰 주목을 받기 시작한다. 상당수 자동차회사는 그동안 무시해 온 구글의 waymo를 경계하기 시작했고 waymo를 분석해 자율주행 기술을 따라잡으려 시도하고 있다. 많은 라이더 기반의 자율주행 아류 기업이 이 시점에서 생겨나고 있다. 이 시점에서 모빌아이와 테슬라의 전략은 다른 기업의 안중에도 없었다고 본다.
그리고 2019년 4월 일론마스크는 autonomyday부터 수직계열화한 카메라+딥러닝 기반의 자율주행을 소개하며 라이더에 의존하는 회사는 망할 것이라고 도발했다. 그리고 올해 안에 로보택시를 완성할 것이라고 한다. 이것은 모두가 예상했던 것처럼 또 실패한다. 하지만 2020년 후반에 출시된 FSD beta가 상당히 발전된 모습을 보여 기대를 모으고 있다.
웨이모 창업자 겸 주요 인물 3인, Chris Urmson, Sebastian Thrun, Anthony Levandowski의 행보는 어떨까. 이들은 현재 모두 waymo를 나왔다. Chris Urmson은 별라인에서 한 관련 회사를 설립했다. 그는 언젠가는 카메라+딥러닝만으로 자율주행이 가능하겠지만 라이더는 이제 필요하고 추가 안전을 제공해 앞으로 싸질 테니 안 쓸 이유가 없다고 믿는다고 최근 Lex Fridaman 인터뷰에서 밝혔다. Anthony Levandowskis는 waymo의 라이더 기술을 훔쳐 Uber에게 제공한 혐의로 기소되어 현재는 라이더.베이스 접근법은 틀렸고 이란 마스크 방식이 옳다고 생각한다며 카메라 기반의 자율주행 트랙스터츠업을 시작했다.
그리고 2020년 3월 구글은 waymo의 첫 외부 투자를 유치한다. 기업가치는 30B로 2.25B의 자금을 외부에서 수혈한다. 부자인 구글이 외부 자금을 유치하는 것은 좋지 않기 때문에 이는 구글 내부에서도 waymo에 대한 좋지 않은 평가가 있는 게 아닌가 하는 의구심을 갖게 한다.
정보를 수집하면서 느낀 내 생각은 어떨까. 라이더+HD맵은 자전거 보조바퀴 같다고 느꼈다. 결국 본래 딥러닝으로 해결해야 할 문제들을 우회적으로 해결한 것이다. 보조바퀴를 이용해 자전거를 타면 누구나 넘어지지 않고 자전거를 탈 수 있다. 하지만 자전거 실력은 늘지 않는다. 라이더+HD맵을 사용하면 매우 어려운 문제인 vision & 딥러닝을 풀지 않고도 자율주행을 구현할 수 있다. 하지만 이런 편법은 결국 나중에 문제가 된다.
보조바퀴가 없는 자전거 같은 카메라+딥러닝 기반 자율주행 기술은 당연히 초반에 부실하다. 많이 넘어지고 실수도 많이 해. 하지만 원래 자전거는 넘어져서 배우는 법이다. 카메라+딥러닝은 결국 언젠가는 발전하고 정체된 라이이다.+HD맵 기술을 넘어설 것이다.
현재 테슬라의 자율주행 기능이 다른 기업보다 실수와 사고율이 높아 기술력이 낮다고 말하는 것은 보조바퀴를 달고 자전거를 타는 아이가 보조바퀴 없이 자전거를 연습하는 아이보다 넘어지지 않아서 좋다고 말할 정도로 포인트를 잘못 잡은 생각이다.
라이더를 이용해 자율주행을 하면 결국 처음에는 잘해도 서서히 걸림돌이 된다. 비싼 비용도 문제가 되고(앞으로 매우 싸지겠지만) 그것은 별도로 laser를 발사하는 라이더의 특성상 에너지 사용이 크기 때문에 전기차 주행거리의 약 1020%를 날리고 있다. 라이더를 쓰는 차간 래스카의 간섭이나 안구에 나쁜 영향도 언젠가 라이더 차가 한 거리에 수십 대씩 매일 돌아다니는 상황이 되면 문제가 될 수 있다. 이것은 물리적으로 해결하기 어려운 문제이다. 또한 전 세계의 고화질 HD맵을 입수하여 매일의 변화를 업데이트하는 것도 돈이 많이 든다.
이런 관점에서 보면 일론 머스크가 왜 라이더를 무료로 제공해도 쓰지 않겠다고 했는지 이해할 수 있다. 공짜로 준다고 해도 자기 자전거에 보조바퀴를 달고 타는 사람은 없다.
마지막으로 FSD beta는 상당히 나쁘지 않아 보인다. 개인적으로는 발전 속도를 봐서 LV4까지는 생각보다 쉬워도 2023년 이내에 도달하지 않을까? 는 생각도 든다.
그러나 대부분의 상황에서 모든 지역을 놀라울 정도로 유연하게 운전하는 LV5는 매우 어렵다고 믿는다. 운전 중에 접하는 edgecase 중에서 휴먼레벨 vision perception이 필요한 부분이 꽤 있다고 생각한다. 이들은 아직 물리적으로 해결이 불가능하다. 컴퓨팅 파워 자체가 더 필요하다. 인간은 뇌의 약 10%를 vision perception에 사용하는 것으로 알려져 있다. 그 때문에, 적어도 인간 뇌의 0.1%수준의 양적 파라메타를 실장 가능한 슈퍼컴퓨터를 자동차에 짜넣어야 한다고 생각한다. 테슬라의 hardware 3.0 칩은 현재로서는 이 1/1000에도 미치지 못할 것이다. 이는 NPU설계/파운드리기술이 비약적