버즈니 검색팀의 미션은 명확하다.
‘우리만 할 수 있는 홈쇼핑 검색을 제공해, 홈쇼핑 유저들에게 필수가 되도록 하자’는 것이다. 이를 위해 검색팀은 FE, BE, PM, KM이 주축이 돼 자발적으로 과제를 만들고 검색 서비스를 개선하고 있다. 최근에는 ‘베스트탭’을 포함한 검색결과 화면을 개선했다. 성과가 좋았다. 이러한 결과를 내기 위해 검색팀은 ‘문제-가설-검증-학습’을 반복한다. 이 과정이 고되보인다. 하지만 그들은 아무리 고민을 많이하고 준비를 오래해도 가설은 틀릴 수 있음을 인정하고, 실패하더라도 더 자주, 더 많이 시도하는 것을 추구한다. 그 지향하는 과정을 따라가본다.
그 첫 번째 이야기다. 버즈니 검색팀의 소개부터 문제 인지와 가설 설정, 첫 번째 검증 테스트, 그리고 검증 결과, 아쉬운점을 살펴봤다.
1부 :
버즈니 검색팀 소개 / 문제 인지와 가설 설정 / 생각보다 쉽지 않은 구현 방법 / 첫번째 검증 테스트 / 검증결과 및 아쉬운점
2부 :
두번째 검증 계획 / 의견 마찰과 계획 변경 / 두번째 검증 테스트 / 두번째 검증 결과, 엄청난 성과! / 최소 기능 구현이 놓치는 부분들 / 정식 서비스를 위해 해야할 일들 / 마무리
버즈니 검색팀은 최근 모바일 홈쇼핑 포털 앱 ‘홈쇼핑모아’의 ‘베스트탭’ 을 포함한 검색 결과화면을 개선하며 상품 클릭률 약 10% 증가, 구매하기 클릭수 약 30% 증가를 이끌어냈다. 검색 서비스에서 상품 클릭률은 1~2% 의 증감도 큰 변화인데 10% 증가는 굉장히 큰 성과다. 이러한 지표 상승은 검색팀이 지향해온 ‘문제 — 가설 — 검증 — 학습’ 반복의 과정에서 나온 결과다. 이 과정이 책이나 미디어에서 소개하는 것처럼 물 흐르듯 간단하지는 않았다. 매번 어려움도 있었고 또 큰 성과도 있었다. 버즈니 검색팀은 어떻게 이 과정을 수행했는지 실제 프로젝트 진행 내용과 일하는 방식을 소개하고 공유하고자 한다.
검색팀 소개
버즈니 검색팀은 ‘문제 — 가설 — 검증 — 학습’을 반복하며 점진적인 개선을 지향한다.
‘우리만 할 수 있는 홈쇼핑 검색을 제공해, 홈쇼핑 유저들에게 필수가 되도록 하자’ 홈쇼핑모아 검색팀의 미션이다. 검색팀은 FE, BE, PM, KM이 주축이 돼 자발적으로 과제를 만들고 검색 서비스를 개선해나가고 있다.
자발적의 의미는 미션을 달성하기 위해 각자의 분야에서 해야할 일을 스스로 정한다는 것이다. 왜 해야하는지가 명확하다면 팀내의 합의로 각자의 업무 범위가 정해진다. 보통 미션과 현재 사이에서의 괴리가 문제 인지로 이어지며 과제가 시작된다.
문제가 정해지면 서비스 내외부의 데이터를 근거로 가설을 세우고 팀내 합의를 거친다.
가설을 검증하기 위해 백프로세스, 로직, 정책, UI/UX, AI 기술등 범위를 가리지 않고 가능한 모든 방법을 검토한다. 아무리 고민을 많이 하고 오래 준비를 해도 가설은 언제나 틀릴 수 있음을 인정한다. 검색팀은 실패비용을 줄이기 위한 방법으로 ‘최소기능구현 — 검증 — 학습 — 개선’ 의 반복을 택했다.
‘가설 — 검증’의 시간이 단축되면 더 빠르게 학습 할 수 있고 더 많이 시도할 수 있다.
실패하더라도 더 자주 더 많이 시도하는 것을 추구한다. 이런 과정을 통해 실제로 많은 실패와 학습, 그리고 예상보다 큰 성과를 만들어 내기도 했다.
상품 클릭률 10% 증가시킨 프로젝트 진행 과정
배경
홈쇼핑모아의 검색결과는 크게 2개의 상품 그룹으로 구성돼 있다.
- TV에 방영한 홈쇼핑사 상품만으로 구성된 그룹
: 편성 시간순 가로 스와이프 방식으로 노출 - TV 방영 상관없이 홈쇼핑사에서 판매하는 상품 + 오픈마켓 상품
: 인기순 세로 무한 스크롤 방식으로 노출
문제 인지
홈쇼핑모아의 검색결과는 홈쇼핑 유저들에게 필수가 될 만한 정보를 제공하고 있는가?
‘TV에서 방영한 상품’ 그룹은 편성 정보는 있지만 18개 홈쇼핑 및 T커머스 채널의 상품중 어떤 상품이 인기 있는지, 각 상품별 가격, 사은품, 구성품 등의 비교가 어려웠다.
데이터 확인
‘TV에서 방영한 상품’ 그룹의 클릭률과 클릭 비중이 상단 영역이 가진 장점만큼 나와주지 않았다.
원인 분석
1번 상품 그룹은 TV 홈쇼핑에서 방영한 상품들을 편성시간 순으로 편성 정보만 제공하고 있다. 편성 시간순 나열은 아래와 같은 아쉬운점을 포함하고 있었다.
편성정보만 노출되면,
- 구매 불가 상품 노출 :
방송 중에만 구매 가능 상품, 품절 상품 등도 편성 순서대로 노출 - 상품 중복 노출 :
1개 상품이 여러번 편성 되거나 같은 상품이 여러 쇼핑사에서 판매되는 경우에도 편성 순서대로 노출 - 인기상품 확인 불가 :
편성 시간에 대한 정보 외에 어떤 상품이 인기가 있는지 알 수 없음
즉, ‘TV에서 방영한 상품’ 영역은 검색결과 최상단이라는 가장 좋은 위치에서 편성표 검색 외에는 사용자의 클릭을 유도할 수 있는 장치가 부족했다.
가설 설정
구매 불가 상품, 중복 상품등이 노출되는 단순 편성정보를 넘어 사용자가 다양한 상품을 비교하고 선택하는데 용이한 검색결과를 제공해야 한다.
즉, TV방영 상품을 인기순으로 노출하고, 동일한 상품들은 하나의 그룹으로 묶어서 쇼핑사별로 구성품, 사은품, 가격등의 비교가 가능하도록 만들면 ‘TV에서 방영한 상품’ 그룹의 클릭률이 오를 것이다.
검증 방안
검색팀은 가설 합의, 구현 방법 논의, 검증 계획 등의 과정에서 BE, FE, PM, KM 모두가 참여한다.
기획 의도와 그에 맞는 최소화된 기능 구현 방법 등을 자유롭게 논의한다. 서로의 업무 영역을 따지기보다 목표 달성을 우선적으로 고민한다. 서로 간의 업무를 빠르게 이해하고 공감대를 형성한다.
검증을 하기 위해 크게 아래 3가지가 필요 했다.
- 동일상품 분류 로직 개발(가격비교엔진) :
구성, 사은품만 다른 동일 상품을 중복 없이 노출 하기 위해 - UI/UX 변화 :
편성순 기능을 유지하면서 어떻게 인기순으로 노출할것인 - 랭킹 로직 :
인기순의 기준과 점수화를 어떻게 할 것 인지
3가지 모두 쉬운 일이 아니었다.
1번 동일상품 분류를 위해서는 텍스트/이미지 유사도에 따른 자동 분류 모델을 개발하거나 수작업으로 분류했어야 했다. 다행히 유사한 기능을 개발한 이력으로 빠르게 구현해 볼 수 있었다. 하지만 품질이 높지 않았다. 제대로 만들기 위해선 많은 시간과 노력이 필요했다. 검색팀은 검증 기간동안 가설의 유효성을 판단할 수 있을 정도의 수준을 목표로 품질을 높였다.
3번의 랭킹 로직 역시 홈쇼핑 상품의 특수성을 반영한 랭킹 스크립트를 만들어 내려면 꽤 많은 시간의 연구와 개발이 필요했다. 이번에도 검증 기간에만 사용할 수 있도록 간소화된 랭킹 로직을 적용했다.
2번 역시 만만치 않았다. 아무리 검증기간에 A/B 테스트로 일부 사용자에게만 변화된 화면을 보여준다고 하더라도 사용자에겐 불편할 수 있었다. 화면상의 큰 변화가 낯설것이고 학습하는데 드는 시간이 필요할것이다. 그뿐 아니라 결과가 안좋아서 화면 복구 후 또 다른 새로운 화면을 봐야 한다면 사용자에게는 큰 스트레스와 혼란을 가중 시킬 것 이었다.
사용자 혼란을 최소화하면서 검증 목표를 달성하기 위한 방법이 필요 했다.
그 해결안으로 인기순으로 정렬한 ‘TV에서 방영한 상품’ 그룹 화면을 독립적으로 만들고 원하는 사용자들만 체험할 수 있는 통로를 제공했다.
위에서 언급한 3가지 주요 업무는 사실 하나하나가 큰 과제로 상당기간의 기획과 개발이 필요한 과정이었다.
검색팀은 3가지 주요 업무를 모두 완벽하게 구현하고 서비스에 적용하기 보다 위와 같이 가설의 검증 용도로 최소 기능 구현을 한것이다.
우리가 세운 가설이 틀릴수도 있는데 잘될것이라는 희망만 가지고 시간과 노력을 쏟을 순 없었다.
첫번째 검증 테스트
1차 테스트는 위의 화면과 같이 화면내 최소한의 변화만 적용했다. 사용자의 검색어에 해당하는 인기상품을 볼 수 있는 배너를 제공했다. A/B 테스트로 인기상품을 볼 수 있는 배너가 노출되는 그룹과 그렇지 않은 그룹을 비교 했다. 주요 목적과 검증 지표는 아래와 같았다.
- 테스트 목적 :
방송 상품을 인기순으로 제공하는 경우의 반응 확인(사용자의 니즈가 있는지 검증) - 주요 지표 :
진입 대비 클릭률 - 테스트 기간 :
약 2주
검증 결과
인기순 정렬을 제공한 화면 진입 대비 상품 클릭률이 약 107%가 나왔다.
기존 화면에서의 유사한 depth에 있는 편성순 상품 정렬과 지표를 비교 하여도 약 9% 이상의 클릭률 상승이었다.
추가적으로 인기순 상품 정렬에서는 상세페이지내 구매 버튼 클릭률도 약 10% 이상 높았다.
테스트 결과를 통해 ‘TV에서 방영한 상품’ 인기순 제공이 유효하다는 것을 알 수 있었다.
하지만 약한 확신 이었다. 아쉬운 결과도 포함되어있었기 때문이다.
아쉬운 결과
테스트 결과가 항상 모든 점에서 좋기를 바라지만 더 냉철하게 데이터를 분석하지 않으면 이유도 모른채 더 큰 실패를 맞닥뜨리게된다.
인기순 상품 정렬 페이지로 진입하는 배너 버튼 클릭률 자체가 굉장히 낮았다. 배너 버튼도 테스트 그룹에만 노출 되었는데 그 중에서도 아주 일부 사용자만이 검증 지표에 영향을 준것이다.
소수 사용자의 반응으로 전체 유저의 니즈를 대변할 수 있을까? 라는 의문이 들었다.
배너버튼 클릭률이 낮은 이유를 팀원들과 아래와 같이 예상해보았다.
- 친절하게 안내문을 작성해도 어떤 화면이 나올지 예상하기가 어려워 클릭하지 않았을 것이다.
- 배너의 형태와 위치가 너무나 익숙한 광고의 모습이어서 클릭하지 않았을 것이다.
- 사용자들은 ‘TV에서 방영한 상품’ 의 인기순 제공을 원치 않는다.
결과적으로 상품 클릭률은 높았지만 진입률 자체가 낮아 가설을 완벽하게 검증했다고 보기 어려웠다.
가설을 검증하기 위한 화면과 기능의 접근성이 너무 낮으면 아무리 수치가 좋아도 확신 하기 어렵다.
검색팀은 1차 테스트 결과를 학습하고 2차 테스트 계획을 세우기 시작했다. 버즈니 검색팀 고민의 결과와 이후 진행 과정은 다음 글에서 공유하겠다.
