XAI (eXplainable AI)에 대한 단상

XAI가 유망하다는 말은 전공자라면 누구나 들어봤을 겁니다.

하지만 현실적으로는 문제와 목표 정의부터 실패하고 있는 상황입니다. 논문이 쏟아져 나오고 있지만, 현업의 수요 방향과 괴리도 심하고요.

나오는 논문마다 어떤 파라미터값이 뭘 뜻하며, 이걸 가지고 어떤 식으로 시각화를 하거나 어떤 모듈을 거쳐 어떻게 해석할 수 있다 식의 서술도 많아서 읽고 나면 그래서 어쩌라는 거지? 값을 추출해줄테니 활용은 내가 알아서 하란 건가? 싶은 때도 자주 있습니다.

큰 줄기로 꼽히는 interpretability, transparency, explainability, fairness 등의 분야와 용어도 저자마다 다른 맥락을 가져서 해석이 달라지는 경우도 빈번합니다. "설명가능한 인공지능"이라는 표현에서 연상되는 "일반인에게 설명하는 것"과는 천지차이입니다. 오히려 아직까지는 전공자들끼리 "이렇게 추출한 값은 어떻게 해석할 수 있다"를 주장하는 분야에 가깝습니다.


그럼에도 불구하고,

결국 연구는 시장의 수요를 따라가게 되어 있습니다. 다시 말해 결국 기업과 대중이 원하는 방향으로 분야가 정립될 가능성이 높습니다. 그리고 이런 방향은 결국 전공자가 아닌 일반 대중을 사용자로 삼기에 HCI적 요소들이 접합되어야 합니다. 예를 들어 시각적으로 나타내주는 프레임워크라던지(자율주행의 홀로그램 경로 표시 기술이 대표적), AI 대출 심사 프로그램의 탈락 사유 분석 보고서 생성 기술 등이 있습니다.

따라서, XAI를 연구하려는 사람은 cv, nlp 등의 대표적인 타 ai 분야 대비 조금 다른 역량이 요구됩니다. 흔히 말하는 '인문학적 소양'뿐 아니라 엔지니어링 스킬과 타 분야에 대한 넓은 지식이 있어야 문제를 비로소 올바르게 정의하고 해결할 수 있습니다. 문제는 공학적 사고와 인문학적 사고방식을 동시에 가진 사람이 흔치 않다는 것이겠지요.


결과적으로 XAI는 반드시 필요한 기술이지만 여타 비슷한 분야 대비 공부와 연구의 방향이 꽤 다를 뿐 아니라 요구하는 역량도 상대적으로 까다로운 편이라고 할 수 있습니다. (다른 분야가 쉽다는 의미가 아닙니다.)

XAI에 관심이 있는 분이 계시다면 이러한 점들을 다시 한번 진지하게 고려해보시길 권합니다.