Post on 16-Aug-2015
Review :“Real Time Bid Optimization with Smooth Budget Delivery in Online
Advertising”
JUJU
1. Introduction 2. Background and Related Work
1. Problem Setup 3. Online Bid Optimization
1. Smooth Delivery of Budget 2. Selection of High Quality Ad Requests - Flat CPM Campaigns 3. Selection of High Quality Ad Requests - Dynamic CPM Campaigns 4. Estimation of CTR and AR (CVR)
4. Practical Issue 1. Cold Start Problem 2. Prevention of Overspending
5. Experimental Results 1. Comparison of Pacing Strategies 2. Evaluation of Real Campaign Performance
6. Conclusions
Agenda
1. Introduction• RTBにおける最適化プロセス
“予算スケジュール内の予算制約下において、Campaignのパフォーマンスの最大化を図る”こと
• パフォーマンスの計測指標 • CPCとCPAの最小化 • CTRとAR(CVR)の最大化
• 予算配信制約の平滑化 • 設定時間より前に、興味のあるimpの一部以上を購入しないようにする • スケジュール途中に予算が尽きることや、過剰な購入を防ぐ
• 本研究における提案・検討 • 各Campaignのための平滑な配信制約を満足させる間の
パフォーマンスMetricsを最適化するためのオンラインアプローチを提案 • 平滑化配信制約を課すための未来の消費率を繰り返し推定ためにコントロール・フィードバック・ループを検討
2. Background and Related Work 1. Problem Setup
time slot 毎の予算の課題
goal 指標と制約条件
獲得した価値
入札回数
広告主のコスト
time slot 毎の予算
time slot t で消費された予算
eCPMの上限値
“ε-δ論法”
3. Online Bid Optimization 1. Smooth Delivery of Budget
消費予算
time slot 毎の投資率の更新
time slot t の広告リクエスト総数
次のtime slot t+1のad request数とwinning rateの予測値
Feed Back Control を可能にする
time slot t で消費された予算
time slot t の1期先の予算の算出
予算が一様配分の場合 予算が一様配分ではない場合
L(t)がtによって異なる場合
L(t)が各tで一様な場合
time slot t の時間的な長さ(sec) Click or CVの予測確率
日予算の残額 time slotの長さの比click or conversion確率が
高いCampaignに多くの予算を割く
* このロジックだけでは、click or conversion確率がゼロのCampaignには予算が割かれないため、2つの戦略を両方扱う
*
3. Online Bid Optimization 2. Selection of High Quality Ad Requests - Flat CPM Campaigns
goal:
現在のslotのpacing rate を考慮し、投資すべきリクエストを選択すること
固定された入札価格 =
time slot 毎の c_i の統計量を算出するために使用データの日数の平均値
過去の実績データから算出
(参考)
膨大なad request量から、Click or CVし易いad requestを選択する必要性
CTR, CVRに基づいたtime slot tにおけるad requestの分布
CTR, CVRを基準としたフィルターで考慮し、選択する
q_t(s)が過去の実績データから算出されるため、正確なデータとは言い難い
対策として、τ(t)に信頼区間を設ける
time slot t における閾値
1.96(95% confidence interval)
• τ(t)に信頼区間(閾値)
過去の実績データから統計量を計算するためのデータ日数
Ad request 採択上限 Ad request 採択下限
信頼区間を元にbid priceを算出
µ(t) + ��⌧ (t)p
dµ(t)� �
�⌧ (t)pd
τ(t)はガウス分布を仮定
τ(t)が信頼区間内であれば、pacing_rate(t)の確率で入札
* 信頼区間の閾値計算式以下の数式を用いて、τ(t)を計算
* “ t -1 ” という過去のtime slotを用いて算出
3. Online Bid Optimization 3. Selection of High Quality Ad Requests - Dynamic CPM Campaigns
1. bid price c* の算出
2. base bid priceの算出
ui = AR ⇥ G
base bid price 予測値 (CVR) 目標とするCPA
3. pacing_rate(t)によって入札価格を調整
固定された入札価格 =
time slot 毎の c_i の統計量を算出するために使用データの日数の平均値
CPA Campaignにフォーカス
pacing rate(t)は、biddingの頻度をコントロールする
ci = ✓⇤ui ✓ =cici
bidprice ci = ui
ci = ⇢⇤ui
(1) Safe region : pacing rate(t) <= β1
ヒストグラムθの下位1~2% 落札価格
データを蓄積し、ヒストグラムを作成
(2) Critical region : β1 <= pacing rate(t) <= β2
(3) Danger region : β2 <= pacing rate(t) 1. リクエストをリジェクトしすぎている
2. 入札価格が低すぎる
ターゲティングの制約が厳しすぎる
以下の式を適用
入札価格の上限
3. 適切な入札価格で入札するため、pacing_rate(t)を3領域に分けて、入札
入札価格
3. Online Bid Optimization 4. Estimation of CTR and AR (CVR)
4. Practical Issue 1. Cold Start Problem
✴ 解決策 • 類似したCampaignデータを使用
4. Practical Issue 2. Prevention of Overspending
✴ 予算枯渇の防止策 • 各time slotの予算を超えた場合は次のtime slotまで入札を中止
理想値との乖離(予算の一様配分を理想とした場合)
dailyの誤差は約1%
x : time slot
y : t
otal
bud
get s
pend
5. Experimental Results 1. Comparison of Pacing Strategies
the ideal uniform spend and the actual spend using our uniform pacing strategy の場合
x : time slot
y : t
otal
bud
get s
pend
x : time slot
y : relative performance in term of 1/eCPA
dailyの誤差は約2.3%
理想の投資配分
理想値との乖離
(各time slotで予算が異なる場合)
the ideal spend and the actual spend using performance based pacing strategy の場合
5. Experimental Results 2. Evaluation of Real Campaign Performance
the entire bid optimization framework
1. Flat CPM campaign • CTRの最大化
2. Dynamic CPM campaign • CPC, CPAの最小化
• Compare with baseline model (in Flat CPM campaign)Baseline modelとは、time slot tにおけるpacing rateに基づくCTR(t)の閾値から算出する 簡単な適応フィードバック制御アルゴリズムである。
平均で123%のパフォーマンス改善が見られる
• Detail of Evaluation
• 異なる広告主カテゴリーからランダムに選択した7つのFlat CPM campaignを使用 • それら7つのcampaignを扱い、提案するアプローチと既存のアプローチを評価 • 各Methodは、1週間稼働させた後、2週間分のデータを利用して比較
• Compare with baseline model (in Dynamic CPM campaign)Baseline modelとは、pacing rateを一様に調整した既存のモデル
• Detail of Evaluation
• 異なる広告主カテゴリーからランダムに選択したDynamic CPM campaignを
目標設定毎に配置(CPC/CPA)し、評価 • 提案するアプローチと既存のアプローチのLiftを評価
平均してCPCは19.02%、CPAは30.87%のパフォーマンス改善が見られる
6. Conclusion• リアルタイムでの予算配分の最適化手法を提案 • “配信効果の改善”と”予算配分の平滑化”の両方を達成 • million of ad request per secondものデータ量をハンドル可能 • 予算のunderpacingやoverpacingを考慮したアルゴリズムを考案 • 今後は、もっと処理できるデータ量を増やす