스토어 등록정보 실험: Play Store A/B 테스트 가이드

오늘은 Google Play에서의 스토어 등록정보 실험 (Store Listing Experiment)이 ASO 실무자들에게 훌륭한 리소스가 될 수 있다는 점을 강조하고 싶습니다. Google Play 스토어 등록정보 실험을 사용하면 A/B 테스트를 통해 앱 스토어 등록정보 페이지의 크리에이티브 또는 메타데이터 요소를 결정하여 전환율을 늘릴 수 있습니다.

많은 분들이 이 기능에 대해서 이미 알고 계시겠지만, 일부 사람들에게는 여전히 새로운 도구입니다.

Google은 최근 ASO 실무자들이 앱의 요구에 맞는 맞춤형 A/B 테스트를 만들기 위한 더 많은 권한 및 세부 정보를 제공하는 새로운 기능을 스토어 등록정보 실험에 추가했습니다.

이 블로그에서는 Google Play에서 A/B 테스트를 위한 모범 사례와 Google이 스토어 등록정보 실험 (Store Listings Experiment)에서 구현한 새로운 기능에 대해 설명합니다.

Google Play 스토어 등록정보 실험 이점

자세한 내용을 살펴보기 전에 먼저 Google Play의 앱 스토어 최적화 (ASO) 전략에 스토어 등록정보 실험을 통합함으로써 얻을 수 있는 이점을 이해하는 것이 중요합니다.

Google Play 스토어 등록정보 실험을 통해 A/B 테스트를 실행하여 잠재 유저에게 가장 큰 영향력을 끼치는 크리에이티브 및 메타데이터 요소에 대한 데이터 기반의 인사이트를 얻을 수 있습니다. Google Play의 A/B 테스트를 통해 다음을 수행할 수 있습니다:

• 스토어 등록정보 페이지에 통합할 수 있는 가장 효과적인 메타데이터 및 크리에이티브 요소 식별
• A/B 테스트를 통해 얻은 인사이트로 앱의 설치, 전환율 및 유지율 증대
• 언어 및 지역 기준으로 대상 시장에 어떤 영향을 미치는지 파악
• 스토어 등록정보 페이지에 적용할 수 있는 계절별 트렌드 및 주요 요점 파악

Google Play 스토어 등록정보 실험으로 테스트할 수 있는 항목

다음은 Google Play 실험을 통해 테스트할 수 있는 크리에이티브와 메타데이터 요소에 대해 살펴보겠습니다.
다음 앱 스토어 요소는 최대 5개 언어로 A/B 테스트가 가능합니다.

• 아이콘:
  앱의 아이콘은 잠재 유저가 보는 첫 번째 크리에이티브 요소입니다. Google Play에서 아이콘은 검색 결과에 표시되는 유일한 크리에이티브이며 앱 전환율에 직접적인 영향을 미칠 수 있기 때문에 굉장히 중요합니다.
• 간단한 설명:
  최대 80자까지 가능하며 앱 제목 다음으로 표시되는 메타데이터 요소입니다 (테스트 불가). 스토어 등록정보 페이지의 미리보기 동영상과 스크린샷 바로 아래에 나타나며, 키워드 인덱싱을 위해 제목 다음으로 구글 알고리즘에서 두 번째로 가중치가 높은 항목입니다. 따라서 앱의 간단한 설명은 앱의 가시성과 전환에 직접적인 영향을 미칩니다.
• 피쳐 그래픽 및 미리보기 동영상 기능:
  앱의 미리보기 동영상은 앱의 주요 가치를 강조하는 짧은 비디오입니다. 피처 그래픽은 미리보기 동영상을 오버레이하고 앱 스크린샷 앞에 나타나 장치 보기의 대부분을 차지합니다. 그러므로 전환의 주요 요소입니다.
• 스크린샷:
  앱의 주요 가치 제안을 강조하고 사용자가 앱을 다운로드한 후 기대할 수 있는 경험을 제공합니다.
• 상세 설명
  4,000자 제한이 있으며 키워드 인덱싱에 중요합니다. 일부 사용자만 상세 설명을 읽지만 이는 해당 사용자의 전환율에 직접적인 영향을 미칠 수 있습니다.

맥도날드 스토어 등록정보 실험 페이지 스크린샷 (Google Play, 미국).

스토어 등록정보 실험에 대한 모범 사례

Google Play 스토어 등록정보 실험의 목표와 기능을 이해했으니 이제 실험을 본격적으로 실행해 볼 시간입니다.
그 전에 Google Play에서 A/B 테스트 전략에 대해 다음과 같은 모범 사례를 짚고 넘어가 보겠습니다.

1) 적합한 타겟층을 목표로 합니다

테스트를 설정할 때 최대 5개 언어를 선택할 수 있습니다. 일반적인 실수의 예시로 “EN-US”를 선택하여 테스트가 미국 사용자에게만 표시된다고 가정하는 것입니다. 실제로 앱이 미국에서만 사용 가능하다면 맞는 가정입니다. 하지만 다른 영어를 사용하는 다른 국가에도 사용이 가능한 앱일 경우에는 미국을 제외한 다른 국가 사용자에게도 테스트가 적용됩니다.

특정 국가에 대한 테스트를 실행하기 위해서는 사용자 지정 스토어 등록정보을 설정하고 해당 사용자 지정 목록에 대한 A/B 테스트를 수행해야 합니다. 귀사의 A/B 테스트에 가장 적합한 언어 또는 지역을 선택해야하는 것을 잊으시면 안됩니다.

또한 가능한 한 많은 타겟층을 대상으로 하는 것이 좋습니다. 타겟층이 클수록  테스트 결과가 정확하고 가능한 한 빠른 결과를 얻을 수 있습니다.

2) 명확한 가설을 세웁니다

명확한 가설을 통해 A/B 테스트가 성공적이었는지 판단할 수 있고 이후 테스트에 변형을 적용해야 하는지 여부를 쉽게 확인할 수 있습니다. 예를 들어, 앱의 첫 번째 스크린샷에서 가치 제안 B보다 가치 제안 A를 더 강조하면 전체 전환율이 증가한다는 명확한 가설이 제시될 수 있습니다.

3) 한 번에 하나의 요소를 테스트합니다

위 명확한 가설 세우기와 연관성이 있습니다. 한 번에 하나의 크리에이티브 또는 메타데이터 요소만 테스트해야 합니다. 만약에 한꺼번에 많은 요소를 테스트하게 된다면 테스트 결과의 원인을 찾을 때 어떠한 변경 사항이 영향을 끼쳤는지 확신할 수 없습니다.

4) 테스트 결과가 정확한지 확인합니다

테스트 결과의 정확성을 확인하여 적용된 변경 사항이 전환율에 긍정적인 영향을 미쳤는지 확인합니다. 보다 정확한 A/B 테스트를 위해서는 더 큰 표본 크기가 필요합니다. 다만 최신 또는 소형 앱의 경우 항상 가능한 것은 아닙니다. 이럴 때 적용할 수 있는 해결 방법은 A/B/B 테스트를 실행하는 것입니다. 그러면 동일한 B 변형을 두 개 생성하여  결과가 참인지 거짓인지 더 명확하게 평가할 수 있습니다.

5) 테스트를 반복합니다

이전 테스트의 학습 내용을 새로운 테스트에 구현하여 테스트 전략을 더욱 개선할 수 있습니다. 테스트 중인 변형이 혹여나 성공적이지 않더라도 데이터를 분석하고 다음 테스트 적용시 소스로 사용하실 수 있습니다.

6) 최소 1주일 동안 테스트를 실행합니다

이렇게 하면 앱의 주간 트렌드 효과를 반영할 수 있습니다. 다음 이미지는 미국 게임의 주간 트렌드 추세를 보여줍니다. 미국 게임은 일반적으로 더 많은 사용자가 자유 시간을 갖는 주말에 더 많은 다운로드를 받습니다. 주간 트렌드 추세를 고려하지 않으면 표본의 정확도가 떨어지고 A/B 테스트 결과에 영향을 줄 수 있습니다.

미국 게임(무료)의 주당 평균 다운로드 변동, Google Play.

Google Play 스토어 등록정보 실험의 새로운 기능 (2022 기준)

스토어 등록정보 실험을 위해 Google에서 구현한 새로운 기능을 통해 개발자와 ASO 실무자는 A/B 테스트를 더 잘 제어할 수 있으며, A/B 테스트를 실행할 때 통계적으로 더 신뢰할 수 있는 결과 값을 얻을 수 있습니다.

A/B 테스트 결과를 기반으로 정확한 결정을 내리려면 오류 및 실패의 확률을 줄이고 결과가 긍정일 가능성을 높여야 합니다. ASO 실무자들은 관리 변형과 승리 변형 간의 차이가 우연이 아니라 구현한 변경 때문에 발생했는지 확인하려고 합니다. 따라서 A/B 테스트 방법론은 이 두 요소에 모두 의존하기 때문에 사용 중인 통계 분석과 확률 계산이 가능한 한 정확한지 확인하는 것이 중요합니다.

Google Play 스토어 등록정보 실험의 새로운 기능에 대해 자세히 알아보겠습니다:

올바른 메트릭을 목표로 합니다

A/B 테스트 결과가 참인지 확인하기 위한 첫 번째 단계는 올바른 메트릭을 선택하는 것입니다. 이전에는 Google Play에서 컨트롤 및 각 변형으로 전송할 트래픽의 양만 선택할 수 있었지만 해당 트래픽에서 수신한 전환으로 간주할 트래픽을 지정할 수는 없었습니다.

새로운 목표 메트릭 기능을 통해 개발자는 이제 실험 결과를 결정하는 데 사용할 메트릭을 더 많이 제어할 수 있습니다. 두 메트릭은 다음과 같습니다:

• 유지중인 최초 설치 사용자: 처음 앱을 설치하고 최소 1일 동안 설치를 유지한 사용자 수
• 처음 설치하는 사용자: 유지 여부와 상관없이 앱을 처음 설치한 사용자 수

삭제율이 높으면 Google Play에서 앱의 가시성에도 직접적인 영향을 미칠 수 있으므로 Google은 “유지중인 최초 설치 사용자”를 선택할 것을 권장합니다. 사용자가 앱을 다운로드하지만 하루 안에 제거하는 경우, 스토어 등록정보 페이지가 앱을 정확하게 나타내지 않거나 사용자의 기대를 충족시키지 않을 수도 있기 때문일 수 있습니다. 한 가지 명심해야 할 점은 “유지중인 최초 설치 사용자”를 선택하면 정확한 결과를 얻기 위해 더 큰 샘플 크기가 필요하다는 것입니다.

신뢰수준

앞에서 언급했듯이, 가긍정적 (false positives) 판단을 줄이는 것이 Google Play가 스토어 등록정보 실험에 통합한 새로운 기능의 주요 목표입니다. 새로운 신뢰 수준 기능이 이에 직접적인 도움이 될 것입니다. 먼저, 신뢰 수준과 신뢰 구간 간의 차이를 강조하는 것이 중요합니다:

• 신뢰 수준: 테스트를 여러 번 반복하는 경우 동일한 결과에 근접할 것으로 예상되는 횟수의 백분율입니다.
• 신뢰 구간: 범위에 실제 결과가 포함되어 있는지 확인합니다. 90% 신뢰 구간을 사용하여 A/B 테스트를 실행하면 전환율이 1.1% 감소하고 전환율이 최대 0.3% 증가할 가능성이 있는 경우 실제 전환 감소 또는 상승이 해당 범위에 포함될 것이라고 90% 신뢰할 수 있습니다.

이 새로운 도구를 사용하면 신뢰 수준을 조정하여 가긍정적 판단의 가능성을 줄일 수 있습니다. 90%, 95%, 98% 또는 99%의 신뢰 수준을 선택할 수 있습니다. 신뢰 수준이 높을수록 처음 설치한 사용자가 더 많이 필요합니다.

Google Play 신뢰 수준입니다. 출처: Google Play Developer Console.

필요한 “처음 설치하는 사용자의 수”는 대상 메트릭, 변형, 실험 대상자 및 선택한 최소 탐지 가능 효과에 따라 달라집니다. 일반적으로 95% 이상의 신뢰 수준을 유지하려고 합니다. 다운로드 횟수가 많지 않은 작은 앱이 있는 경우 대상 메트릭 “처음 설치하는 사용자”를 선택하고 하나의 변형만 테스트하면 처음 설치하는 사용자의 수가 줄어듭니다.

스토어 등록정보 실험에서 탐지 가능한 최소 효과

탐지 가능한 최소 효과(MDE)는 A/B 테스트에서 가긍정적 판단의 수를 줄이는 데 도움이 되는 또 다른 새로운 기능입니다. Google은 MDE를 “어떤 것이 더 나은 성능을 발휘하는지 선언하는 데 필요한 변형과 제어 간의 최소 차이로 정의합니다. 차이가 이보다 작으면 실험은 무승부로 간주될 것입니다.”

예를 들어, MDE를 5%로 설정하고 컨트롤에서 전환율을 45%로 설정하는 경우 변형이 승자로 선언되려면 47.25% 이상의 전환율이 필요합니다(45% x 1.05% = 47.25%).

현재 0.5%에서 6% 사이의 MDE를 선택할 수 있습니다. MDE가 작을수록 변화를 탐지하기 위해 표본 크기가 커집니다. 여러분이 컨베이어 벨트 위에 있는 펜의 품질을 확인하고 있다고 상상해 보세요. 펜의 50%가 기준 미만임을 증명하려면 결론을 도출하기 전에 검사해야 하는 최소 펜의 양은 얼마입니까? 아마도 펜의 2%만이 낮은 품질이라는 것을 증명하고자 하는 경우보다 더 적을 것입니다.

앱이 새 제품이고 설치 횟수가 많지 않은 경우 필요한 샘플 크기가 작을 수 있으므로 MDE를 더 높게 설정하는 것이 좋습니다. 더 성숙한 앱이 있고 이미 많은 다운로드를 받은 경우 보다 정확한 결과를 위해 MDE를 낮게 설정하는 것이 좋습니다.

완료 조건

Google Play 스토어 등록정보 실험의 마지막 신기능은 완료 조건입니다. 이 기능은 다른 설정에 대해 설정한 값을 기반으로 실험이 완료될 가능성이 높은 시기에 대한 추정치를 제공합니다. 이러한 통찰력을 통해 특히 A/B 테스트에 대한 특정 일정이 있는 경우 요구 사항에 맞게 A/B 테스트를 조정할 수 있습니다.

Google Play 완료 조건은 A/B 테스트의 예상 완료 조건을 강조 표시합니다. 출처: Google Play Developer Console.

Google Play 실험 설정 방법

Google Play가 스토어 등록정보 실험에 통합한 새로운 기능을 강조했습니다. 이제 A/B 테스트를 설정할 때 이러한 새로운 기능을 어떻게 활용할 수 있는지 알아보겠습니다.

1단계

스토어 개요 섹션 아래에서 “스토어 목록 실험”을 선택합니다. 페이지의 오른쪽 상단 모서리에 있는 “실험 만들기”를 클릭합니다. 이 페이지에서 이전에 실행한 모든 실험을 찾을 수 있습니다. 그러면 아래에 표시된 페이지로 이동합니다.

출처: Google Play Developer Console

여기서 실험 이름을 지정하고, A/B 테스트를 실행할 스토어 등록정보을 선택하고, 현지화된 테스트 또는 글로벌 테스트 중에서 선택할 수 있습니다.

1. 현지화된 테스트: 최대 5개 언어를 테스트할 수 있습니다. 크리에이티브 요소와 메타데이터 요소를 모두 테스트합니다.
2. 글로벌 테스트: 전 세계 사용자를 한 가지 언어로만 테스트합니다. 크리에이티브 요소만 테스트합니다.

현지화된 테스트를 활용하는 것이 좋습니다. 사용자에게 가장 큰 영향을 일으키는 것은 언어마다 크게 다를 것입니다. 글로벌 테스트는 특정 영역에 적용할 수 있는 모든 학습을 제거하기 어려울 것입니다. 가장 큰 지역의 언어를 선택하면 가장 중요한 시장의 사용자 행동에 대한 더 나은 통찰력을 제공할 수 있습니다.

2단계

첫 번째 부분이 완료되면 다음 페이지로 이동합니다.

출처: Google Play Developer Console

• “목표 메트릭”은 첫 번째로 작성할 설정입니다. 여기서 ” 유지중인 최초 설치 사용자” 또는 ” 처음 설치하는 사용자 “를 선택할 수 있습니다
• 컨트롤에 대해 테스트할 변형의 수(최대 3개)를 선택합니다. 변형이 많을수록 실제 결과를 얻기 위해 충분한 표본 크기를 얻는 데 더 많은 시간이 걸리기 때문에 테스트가 더 오래 실행됩니다.
• 그런 다음 현재 목록 대신 실험 변형을 볼 스토어 등록정보 방문자의 비율을 선택할 수 있습니다. 방문자는 테스트 버전에 따라 균등하게 분할됩니다. 테스트 결과가 빨라지므로 방문자를 현재 스토어 등록정보과 사용자의 변형으로 균등하게 나누는 것이 좋습니다.
• 테스트에 대해 탐지 가능한 최소 효과를 선택합니다. MDE가 낮을수록 테스트에서 실제 결과를 선언하기에 충분한 표본 크기를 얻는 데 시간이 더 걸립니다. 만약 앱이 많은 다운로드를 받지 못한다면, 이미 많은 다운로드를 받은 앱보다 MDE를 더 높게 설정하는 것이 좋습니다.
• 마지막으로, A/B 테스트에 대해 원하는 신뢰 수준을 선택합니다. 일반적으로 95% 신뢰 수준이 선호됩니다. 95% 신뢰 수준에 필요한 처음 설치하는 사용자가 앱에 비해 너무 높은 경우 대상 메트릭을 “처음 설치하는 사용자”로 변경하고 하나의 변형만 테스트하여 필요한 처음 설치하는 사용자 수를 줄일 수 있습니다.

참고: 모든 단계가 완료되면 완료 조건 섹션에서 실험이 완료될 가능성이 높은 시기를 추정합니다. 이 정보는 필요한 처음 설치하는 사용자 또는 예상 테스트 기간이 너무 많거나 너무 긴 경우 A/B 테스트 설정을 추가로 편집하는 데 도움이 됩니다.

3단계

마지막 단계에서는 테스트할 항목을 선택할 수 있습니다(한 번에 하나씩 테스트해야 함). 테스트할 항목을 선택했으면 최대 3개의 메타데이터 또는 크리에이티브 변형을 업로드할 수 있습니다. 그런 다음 “실험 시작”을 선택하고 결과가 들어오는대로 추적할 수 있습니다.

출처: Google Play Developer Console

결론

사용자에게 가장 잘 공감되는 크리에이티브 및 메타데이터 요소를 이해하는 것은 앱의 전환율을 높이는 데 매우 중요합니다. 모든 앱이 Google Play 스토어 등록정보 실험을 활용할 것을 권장하는 이유입니다. 이렇게 하면 스토어 등록정보 페이지에 적용할 수 있는 특정 사용자 기반에 대한 인사이트를 얻고 설치, 전환율 및 보존율을 높일 수 있습니다. Google에 의해 구현된 새로운 기능은 A/B 테스트 요구에 맞게 스토어 등록정보 실험을 조정할 수 있고 훨씬 더 강력하고 유연합니다.

앱 스토어 최적화를 한 단계 업그레이드할 준비가 되셨습니까?  지금 바로 체험판을 시작하여 우리 앱을 더욱 성장시켜 보세요!

무료 체험판 시작하기