좋은 VA(Virtual Assistant)를 가려내는 일은 생각보다 훨씬 어렵습니다. 이력서에 적힌 경력과 한 번의 인터뷰만으로는, 막상 함께 일했을 때 드러나는 실제 역량을 예측하기 어렵습니다. 영어 메일을 빠르고 정확히 이해하는지, 일정과 숫자를 다루는 데 실수가 없는지, 지시가 모호할 때 스스로 합리적으로 판단하는지, 이런 것들은 자기소개서 어디에도 적혀 있지 않습니다.
그래서 우리는 직접 적성검사를 만들기로 했습니다. 이름은 SAAT(Sapienta Aptitude Test). 만들기 전에, 먼저 세상에 이미 있는 검사들부터 공부했습니다.
기존의 적성검사들, 그리고 그것을 그대로 쓸 수 없었던 이유
채용용 적성검사의 역사는 깁니다. 미국의 원더릭 테스트(Wonderlic Test**)**는 50문항을 12분에 푸는 인지능력 검사로, 빠른 학습력과 문제해결력을 측정해 오랫동안 기업 채용에 쓰여 왔습니다(NFL 신인 평가에 쓰인 것으로도 유명하죠). 스타트업과 IT 기업이 즐겨 쓰는 CCAT(Criteria Cognitive Aptitude Test)는 50문항 15분으로 비판적 사고와 논리를 봅니다. 글로벌 기업들이 표준처럼 쓰는 SHL ****검사는 수리추론·언어추론, 귀납추론을 직무별로 정교하게 측정합니다.
한국도 다르지 않습니다. 삼성의 GSAT, SK의 SKCT를 비롯한 대기업 인적성검사는 수리, 추리, 언어 능력에 인성검사를 결합해 수십만 명의 지원자를 객관적으로 거릅니다.
이 검사들을 들여다보며 두 가지를 깨달았습니다. 첫째, 잘 만든 검사는 공통적으로 인지능력(빠르고 정확한 사고)과 일관된 태도(신뢰성)를 본다는 것. 둘째, 그러나 이들 대부분은 대기업 사무직, 신입 공채를 위해 설계됐다는 것입니다.
우리가 필요한 건 조금 달랐습니다. 우리의 VA는 원격으로, 비대면으로, 영어로, 한국 클라이언트를 지원합니다. 영어 독해력은 필수이고, 한국 비즈니스 문화에 대한 감각도 필요하며, 누가 지켜보지 않아도 비동기로 신뢰할 수 있게 일해야 합니다. 기존 검사 어느 하나도 이 조합을 그대로 담고 있지 않았습니다. 그래서 우리는 검증된 원리는 빌리되, 우리 직무에 맞게 새로 설계하기로 했습니다. 영어, 한국어, 타갈로그 세 언어로 응시할 수 있게 만든 것도 그래서입니다.
SAAT는 무엇을 어떻게 측정하는가 - 6개 영역
SAAT는 55문항, 40분, 6개 영역으로 구성됩니다. 각 영역은 분명한 목적을 가집니다.
A1. 영어 독해 (출제 8문항) - VA 업무의 핵심은 결국 영어 커뮤니케이션입니다. 이메일과 업무 문서를 읽고 핵심을 정확히 파악하는지를 봅니다. 길게 읽고 빠르게 이해하는 능력입니다.
A2. 수리력 (6문항) - 일정 계산, 청구·환율, 간단한 데이터 처리. 숫자에서의 작은 실수가 곧 업무 사고로 이어집니다. 기본 연산과 비율, 표 해석 능력을 봅니다.
A3. 논리적 사고 (6문항) - 주어진 규칙과 조건을 적용해 올바른 결론에 도달하는지. 모호한 지시를 스스로 구조화하는 능력으로, 우리가 데이터상 가장 변별력이 높다고 확인한 영역입니다.
B. 상황 판단(SJT, 10문항) - 실제 업무에서 마주치는 딜레마를 제시하고 "가장 적절한 대응"을 고르게 합니다. 우선순위 설정, 전문적인 커뮤니케이션, 문화적 감수성을 봅니다.
C. 직무 시뮬레이션 (5문항) - 클라이언트의 야근 시간 긴급 요청, 제3자의 기밀 정보 요구, 일정 충돌 같은 실전 시나리오에서 최선의 판단을 고르게 합니다. 정답/오답이 아니라 적절성에 따라 5점부터 1점까지 차등 채점합니다.
D. 성실성·일관성 (20문항) - 앞선 답변들과 일관된 태도를 유지하는지, 자신을 과장하지는 않는지(사회적 바람직성)를 봅니다. 이 영역은 점수가 아니라 신뢰도 플래그로만 활용합니다(이유는 뒤에 설명합니다).
매 응시마다 500개가 넘는 문항 풀에서 사람마다 다른 세트를 무작위로 출제합니다. 같은 시험을 두 번 봐도 문제가 겹치지 않게 하여, 사전 유출과 반복 응시의 영향을 줄이기 위해서입니다.
만들면서 배운 것들 - 측정은 정직해야 한다
시험을 '만드는 것'과 '잘 가려내는 시험을 만드는 것'은 전혀 다른 일이었습니다.
제일 긴 보기가 정답이었다. 처음 객관식 문항을 완성했을 때, 가장 적절한 답이 늘 보기 중 제일 길다는 걸 발견했습니다. 내용을 전혀 몰라도 "제일 긴 보기"만 찍으면 97%가 정답이었습니다. 시험의 의미가 사라지는 순간이죠. 우리는 모든 보기를 다시 써서, 길이가 정답을 암시하지 않도록 균형을 맞췄습니다. 공정한 평가는 이런 디테일에서 갈립니다.
모두가 잘 보는 영역은 사람을 가르지 못한다. 결과를 통계로 분석하니, 어떤 영역은 거의 전원이 90점을 받았습니다. 변별이 안 된다는 뜻입니다. 반대로 수리, 논리는 점수가 33점부터 100점까지 넓게 퍼졌습니다. 그래서 "쉬워서 다 같이 잘 보는 영역"의 비중은 낮추고, "실제로 실력 차가 드러나는 영역"의 비중을 높였습니다. 배점을 감이 아니라 데이터(섹션별 점수 분산)로 정한 것입니다.
정직함이 능력 점수를 부풀려선 안 된다. 성실성 영역은 정직한 사람이라면 대부분 높은 점수를 받습니다. 이를 능력 점수에 그대로 더하면 정직하기만 해도 총점이 올라갑니다. 그래서 이 영역은 점수 합산에서 빼고 신뢰도 플래그로만 썼습니다. 능력과 태도를 섞지 않는다. 측정의 기본 원칙입니다.
가장 중요한 질문 - 이 시험은 정말 실력을 예측하는가
검사는 결국 하나의 질문으로 검증됩니다. "점수가 높은 사람이 실제로 일을 더 잘하는가?"
그래서 우리는 이미 함께 일하고 있는 필리핀 VA들에게 직접 SAAT를 응시하게 했습니다. 그리고 수개월간 함께 일하며 파악해 온 그들의 실제 업무 능력, 결과물의 정확도, 근무 태도와 시험 등급을 나란히 놓고 비교했습니다.
결과는 고무적이었습니다. 대체로 등급이 높은 VA가 실제 업무에서도 뛰어났습니다. 우리가 이미 신뢰하던 팀원들이 상위 등급에, 보완이 필요했던 경우가 하위 등급에 자연스럽게 자리했습니다. 우리가 사람을 보며 느꼈던 것과 데이터가 같은 곳을 가리켰다는 점에서, 이 도구의 방향이 맞다는 확신을 얻었습니다.
다만 우리는 정직하게 말합니다. 이 시험이 절대적인 지표는 아닙니다. 등급이 다소 낮게 나왔지만 현장에서 훌륭하게 일하는 VA도 분명히 있습니다. 시험 한 번이 사람의 모든 것을 담을 수는 없으니까요. 성실함, 책임감, 고객과의 신뢰처럼 점수로 환산되지 않는 가치는 여전히 사람이 직접 봐야 합니다.
그래서 우리는 SAAT를 '최종 합격 도구'가 아니라 '1차 스크리닝 도구'로 씁니다. 기본적인 영어 독해력, 수리 능력, 답변의 일관성 같은 토대를 객관적으로 확인하는 첫 관문으로 활용하고, 이를 통과한 분께는 실제 업무에 가까운 과제를 따로 드려 점수가 진짜 실력인지 한 번 더 확인합니다.
채용은 정교한 기술입니다
측정하고, 분석하고, 편향을 제거하고, 다시 측정합니다. 우리는 채용을 엔지니어링하듯 접근합니다. 완벽한 시험은 없지만, 더 공정하고 더 정확한 시험은 만들 수 있다고 믿기 때문입니다.
좋은 인재와 좋은 회사가 만나는 일에는 그만한 정성이 필요합니다. 저희는 데이터와 정성으로, 함께 일할 최고의 VA를 찾아드립니다.
