목차
8월에는 광고 성과 숫자가 실제를 보여 주는지부터 의심했습니다. 들여다보니 채널마다 착시가 하나씩 있었어요.
구글: 브랜드 검색어가 CPA를 떠받치고 있었습니다
8월 11일 검색어를 진단해 보니 전환의 70%가 브랜드 검색어 하나에서 나왔습니다. 비용의 94%는 비브랜드로 나가는데 전환은 30%뿐이었어요. 구글 CPA가 좋아 보였던 이유는 브랜드가 떠받친 데 있었습니다.
그래서 유료 브랜드 광고를 막고 증분을 쟀습니다. 첫 주 테스트는 제외 목록이 새서 무효였고, 8월 19일부터 다시 걸었어요. 유료 브랜드를 끈 뒤에도 브랜드 오가닉 클릭은 오히려 늘었습니다. 8월 26일에 “증분 없음, 순수 잠식”으로 확정했고, 구글의 실제 전환 기여는 기존 집계의 약 30%로 다시 계산됐어요.
네이버: 입찰가가 성과와 거꾸로 걸려 있었습니다
키워드 도구로 전수 조회해 보니 등록 키워드의 89%가 검색량 하한값이었습니다. 처음엔 이걸 정지 근거로 쓰려다가 8월 13일에 바로잡았어요. 하한값이 수요가 없다는 뜻은 아니기 때문입니다. 그래서 니치 키워드는 최저가로 깔고 노출×CTR로 판정해요.
네 가지 데이터를 합친 수요 지도로 보니 전환은 전부 조합형 키워드에서 나왔고 단독 명사는 0건이었습니다. 입찰가는 성과와 거꾸로 걸려 있었어요. 전환이 0인 탐색 그룹에 가장 높은 입찰가가 붙어 있었습니다.
키워드를 3계층으로 나눠 이 구조를 뒤집었고, 확장검색은 그룹별 기여를 보고 골라 껐어요. 한 그룹은 일치검색 CPA가 약 43% 내려갔는데 전환 손실은 없었습니다.
메타: 증액은 통했고 영상 추정치는 버렸습니다
7월 28일 회의에서 주간 예산을 52주 평균보다 34% 올리기로 했습니다. 증액은 통했어요. 전환은 44% 늘었고 CPA는 거의 그대로였습니다.
다만 영상 소재가 계정에서 전환을 가장 비싸게 사 오고 있었어요. 앞서 낸 영상 한계 CPA는 기여 창이 덜 찬 추정치라 폐기했습니다. LAL 부진의 원인은 소재 피로로 판정했어요. 노출은 유지되는데 클릭이 40% 줄고 전환율은 오른 패턴이었습니다.
분석 방법: 작은 A/B는 일별 부호부터 봅니다
방법도 이때 다졌습니다. 한 제품의 이미지 A/B에서 “CPA 2.57배”라는 근거는 7일 창만 골라 본 숫자였어요. 18일 전체로 보면 1.43배였습니다.
여기서 “표본이 작은 A/B는 일별 대응 부호검정부터 본다”는 원칙이 나왔어요. 날짜별로 A와 B를 짝지어 B가 나빴던 날만 셉니다. 아래 데이터는 예시예요.
from scipy.stats import binomtest
# 날짜별로 A·B의 CPA를 짝지은 값 (예시 데이터)
pairs = [(4200, 5100), (3900, 3600), (4500, 6200)] # ... 18일치
b_worse = sum(b > a for a, b in pairs)
n = sum(a != b for a, b in pairs) # 같은 날은 제외
print(binomtest(b_worse, n, 0.5).pvalue)
# 18일 중 12일 B가 나빴다면 양측 p ≈ 0.24기간 합계로 보면 커 보이는 차이도 일별 부호로 다시 보면 우연과 구분되지 않을 수 있습니다. 며칠의 큰 값이 합계를 끌고 가는지 바로 드러나요.
분석을 맡기는 깊이 기준도 7월 7일에 정했습니다. “우리는 마케팅팀이니까 실행에 도움 되는 정도인지만 봐달라”는 기준이에요.
다른 서비스: 유입을 고치자 병목이 폼으로 옮겨 갔습니다
함께 운영하는 다른 서비스도 같은 패턴이었습니다. 구글 전환 0은 켜져 있던 디스플레이 네트워크 탓이었어요. 세션의 77%가 거기서 왔습니다. 네이버 부진은 기본 입찰가가 너무 낮아서였고, 입찰가를 올리자 51위에서 6.3위로 올라왔어요.
유입을 고치자 병목은 폼으로 옮겨 갔습니다. 모바일 폼 시작률이 데스크톱의 10분의 1이었어요.