用科技贏戰! AWS亞馬遜的個人化與預測
-
Upload
khangminh22 -
Category
Documents
-
view
0 -
download
0
Transcript of 用科技贏戰! AWS亞馬遜的個人化與預測
© 2021, Amazon Web Services, Inc. or its Affiliates.
Sam Tu
Territory Business Development Manager
用科技贏戰!
AWS亞馬遜的個人化與預測
Alex Cheng
Startup Accelerator Manager
2021.05.12
© 2021, Amazon Web Services, Inc. or its Affiliates.
1994 公司成立
1995 Amazon.com
1998 開始販售CDs & DVDs
2006 成立AWS
2007 推出Kindle
2011 推出Video
2012 開始販售雜貨
2014 推出Alexa/Echo
2015 推出線下實體書店
2017 推出Amazon Go
http://phx.corporate-ir.net/phoenix.zhtml?c=176060&p=irol-corporatetimeline
© 2021, Amazon Web Services, Inc. or its Affiliates. 7
Amazon Go是一種無需結帳的新型商店,使用計算機視覺,傳感器融合和深度學習的“ Just Walk Out Technology”技術,徹底跳過傳統收銀結帳的過程。
© 2021, Amazon Web Services, Inc. or its Affiliates. © 2021, Amazon Web Services, Inc. or its Affiliates.
機制 架構
文化 組織
轉化各種行為來促進創新思考
以客戶為中心,招募“Builders”,然後提供可以信賴的系統,讓他
們持續創造
支持快速增長和變化的結構
擁有創造力的小型授權團隊
How does Amazon organize for innovation?
Faster innovation cycles Faster, deeper insights AI
我們如何持續創新
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS一直致力於將更多的服務與功能提供給不同行業及垂直領域的雲服務需求,已提供超過175種服務,橫跨計算,存儲,網路,資料庫,資料分析,企業應用服務,自動化運維與管理,以及移動應用等領域。自2006年誕生以來,AWS已累積發佈超過8,500項新服務與功能。
基於客戶需求的高速創新
24 48 61 82 159 280
516
722
1,017
1,430
1,957
2,345
2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS連續10年被選為
雲端服務領導者
Gartner, Magic Quadrant for Cloud Infrastructure & Platform Services, Raj Bala, Bob Gill, Dennis Smith, David Wright, Kevin Ji, 1 September 2020. Gartner does not endorse any vendor,
product or service depicted in its research publications, and does not advise technology users to select only those vendors with the highest ratings. Gartner research publications
consist of the opinions of Gartner's research organization and should not be construed as statements of fact. Gartner disclaims all warranties, expressed or implied, with respect to this
research, including any warranties of merchantability or fitness for a particular purpose. The Gartner logo is a trademark and service mark of Gartner, Inc., and/or its affiliates, and is
used herein with permission. All rights reserved.
© 2021, Amazon Web Services, Inc. or its Affiliates.
Vpon 加快了開發人員更新服務版本的時間,從 60 分鐘到10 分鐘
挑戰Vpon 在北京,台灣和日本的數據中心使用地端伺服器設備與資料中心展開運營。但是,數據量和廣告需求的快速增長使公司的基礎架構不堪重負。
解決方案DSP 端使用 Amazon Redshift
數據倉儲來幫助向客戶提供即時準確的報告,同時數據存儲在 Amazon Simple Storage
Service(Amazon S3)中,讓Vpon 的數據科學家進行詳細分析。Vpon 同時使用了AWS
Lambda 自動執行重複性的任務、並儲存歷史數據資料。
優勢• 每秒的客戶請求數量增加五倍
• 將平均網絡延遲從 100 毫秒減少到 200 毫秒
“ AWS has enabled us to automate testing and staging.
Developers can now see the impact of code committed to
production in 10 minutes, versus 60 minutes in the previous
environment.
Kevin Jong, Senior Architect, Vpon
公司: Vpon
國家: Taiwan
網站: https://www.vpon.com/
關於 VponVpon 威朋專注於透過數據分析尖端技術,為客戶提供亞洲最廣泛的行動裝置數據,運用於數據導向的解決方案。憑藉每月可觸及的 9 億行動裝置以及每日 210 億次可競價流量,並集合覆蓋亞太地區優質的媒體資源,為客戶提供最有效的數據核心解決方案,包括數據分析服務、品牌推廣、跨境行銷、成效優化等解決方案。”
© 2021, Amazon Web Services, Inc. or its Affiliates.
Smaato 借助 Amazon SageMaker 將網路成本降低了 75%
挑戰Smaato 希望降低發送給廣告合作夥伴的站外競標請求的網絡成本。
解決方案該公司開發了一種流量過濾服務,該服務將機器學習與Amazon SageMaker 和 Amazon
EMR 結合使用,以預測廣告合作夥伴競標的機率。
優勢• 更精準地預測合作夥伴的廣告請
求
• 站外競標網路成本降低 75%
“ Thanks to machine learning, we’ve been able to predict
effectively which demand partners are going to be interested
in specific ad requests and only send the request to a specific
subset of the demand partners.
François Guerraz, Systems Architect
公司: Smaato
國家: Germany
網站: Smaato
關於 SmaatoSmaato 是一個行動應用內的廣告獲利平台,其核心廣告競標平台允許行動應用開發人員與廣告需求合作夥伴聯繫,以程序化的方式產生廣告收入。
”
© 2021, Amazon Web Services, Inc. or its Affiliates.
AppsFlyer 的行動廣告防詐機制在 AWS 上面每天執行了 1,000
億次,幫助廣告主每一天成本節省了 810 萬美金
挑戰廣告詐欺的存在讓許多廣告主跟行銷人員花費大量時間跟金錢在預防廣告詐欺行為。
為了打擊行動廣告的詐騙手法,AppsFlyer 想要管理、評估、確認、並且主動阻擋假的下載行為。
解決方案AppsFlyer 使用 AWS 運算資源,包含 EC2 Spot Instances
去執行每天 1,000 億次的活動,應用在 Protect360 防詐解決方案上,每一天都幫助客戶們節省了 810 萬美金。
優勢• 因為 AppsFlyer 的防詐解決方
案,每一天幫助客戶們節省了810 萬美金
• 每天儲存了 30 TB 的資料
• 應用 EC2 Spot 與 On-Demand
運算資源搭配,節省了 75-80%
的雲端成本
“ If we reach a certain threshold, we can provision more
Amazon EC2 Spot Instances immediately, and we’re able to
handle the load.
Ido Berkovitch, Research and Development Director
公司: AppsFlyer
國家: US
網站: AppsFlyer.com
關於 AppsFlyerAppsFlyer 成立於 2011 年,是一個SaaS 的行動廣告分析和歸因平台。AppsFlyer 在全球 18 個辦事處中運營,幫助超過 12,000 個客戶追蹤最終用戶如何通過各種平台,渠道和終端設備與品牌進行互動。
”
© 2021, Amazon Web Services, Inc. or its Affiliates.
Harvard Business Review, McKinsey Global Institute
https://www.mckinsey.com/business-functions/mckinsey-analytics/our-
insights/most-of-ais-business-uses-will-be-in-two-areas
精確度提高 20%
庫存減少 5%
收入增加 3%
客戶想要得更多樣化,他們想要馬上擁有,而且能夠更便宜地取得。
關鍵是如何準確而靈活的預測。 但是,傳統方法無法掌握越來越多的需求和越來越高的複雜性
市場領導者正在對機器學習驅動的預測進行投資,來更有效地滿足需求
現況
© 2021, Amazon Web Services, Inc. or its Affiliates.
Historical demand Actual Demand Forecasted Demand
FORECASTING OVERVIEW
基於歷史趨勢的預測科學
預測行為用意在最大程度地減少:
低估導致機會錯失
高估導致資源浪費
HISTORICAL TRENDS FORECAST HORIZON
A
B
AB
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS 上的機器學習與人工智慧
部署 Deploy訓練 Train
Amazon
Comprehend
Elastic
Inference
Amazon
Forecast
Amazon
Lex
Amazon
Personalize
Amazon
Polly
Amazon
Rekognition
Amazon
SageMaker
Amazon
SageMaker
Ground Truth
Amazon
Textract
Amazon
Transcribe
Amazon
Translate
Apache MXNet
on AWS
AWS Deep
Learning AMIs
TensorFlow
on AWS
Jupyter
Notebook
Model Train Deploy
影像識別 文字擷取 聊天機器人 語音朗讀 語音轉文字 語言翻譯 語意辨識 智慧預測 智慧推薦
建立 Build
• 一鍵式模型
訓練與優化
• 強化學習
• 一鍵模型部署
• 彈性伸縮
機器學習架構
GreengrassEC2 G4 EC2 P4 Amazon
EMR
基礎架構
AI
應用服務
ML
平台服務
機器學習
基礎架構
© 2021, Amazon Web Services, Inc. or its Affiliates.
提升商業成果
“預測”工具能應用的範圍
More effectively staff to meet varying demand levels
Improve utilization, time to serve, and customer satisfaction
人力調度
Improve demand planning at granular levels
Reduce waste, increase inventory turns,and improve in-stock availability
庫存管理
Make longer term decisions with more confidence
Improve capital utilization
產能規劃
Plan for sales and top-line revenue
Effectively manage cash flows
財務規劃
© 2021, Amazon Web Services, Inc. or its Affiliates.
基於建立起AMAZON.COM背後的技術
“預測”對於兌現客戶的承諾至關重要
產品供貨情況 快速的交付低廉的價格
© 2021, Amazon Web Services, Inc. or its Affiliates. 23© 2020 Amazon Web Services, Inc. or its affiliates. All rights reserved |
基於建立起AMAZON.COM背後的技術
超過20年的預測模式演變
STATISTICAL METHODS ML METHODS ML + DEEP LEARNING
適合很少或獨立的數據(例如總體需求)
• 總體需求
• 日常家居用品
• 基本趨勢
• 重複的季節性模式
最適合複雜和相互關聯的數據
(例如,數百家商店中的數千個SKU)
• 區域需求 vs 國家需求
• 細微的季節變化
• 產品之間的關係
• 新產品
• 銷售緩慢的產品
• 更改價格或促銷
• 外部事件
1995 2000 2005 2010 20202015
© 2021, Amazon Web Services, Inc. or its Affiliates.
Customized
forecasting
API
Inspect
Data and
f i l l gaps
Identify
features
Add built-
in data
sets
Select
hyper-
parameters
Train
and
optimize
models
Select from
multiple
algorithms
Host
models
Amazon Forecast
Fully-managed by Amazon Forecast
Related data
Price, promotions, in-stock,
weather data, custom events
Item metadata
Color, city, category, brand,
author, size
Historical data
Sales, inventory, call volume,
resource demand
Amazon Forecast的背後原理
© 2021, Amazon Web Services, Inc. or its Affiliates.
Amazon Forecast
Customized
forecasting
API
Related data
Price, promotions, in-stock,
weather data, custom events
Item metadata
Color, city, category, brand,
author, size
Historical data
Sales, inventory, call volume,
resource demand
Amazon Forecast的運作方式
© 2021, Amazon Web Services, Inc. or its Affiliates.
通過改進需求預測來優化工廠資源分配
富士康利用Amazon Forecast將其產品需求預測
提高了8%,從而使他們能夠更好地計劃和分配
專業資源和熟練的員工。借助Amazon Forecast
,他們降低了製造成本、提高了資本利用率,並
改善了人員配備和招募。
© 2021, Amazon Web Services, Inc. or its Affiliates.
將ML預測整合到需求計劃平台中
Anaplan已將Forecast整合到其智慧規劃平台
PlanIQ中,以為財務,供應鏈,銷售和HR領域的
業務決策者提供預測見解。借助Forecast,他們
可以為客戶提供更準確,敏捷和可靠的預測。
© 2021, Amazon Web Services, Inc. or its Affiliates.
推薦系統對消費者及零售業者是雙贏策略
消費者
零售業者
Source:
Salesforce, RedPoint Global and Harris Poll Survey, Everage and Researchscape (2020)
• 63% 認為個人化推薦是企業需提供的基礎服務
• 52% 會轉換品牌到有提供客製及個人化推薦的企業
• 74% 企業決策者認為推薦系統必須是組織優先執行項目
© 2021, Amazon Web Services, Inc. or its Affiliates.
打造推薦系統對零售業者的價值
打造良好且
相關的顧客體驗
獲取顧客及
提升顧客留存率
增加公司商品銷售及營收
• AWS客戶如樂天超市導入推薦系統後,客戶未購買過的商品銷量提升40%
• 麥肯錫研究推測亞馬遜約35%銷售來自推薦系統效益
• 吸引更多使用者到企業提供的互動渠道等• 協助培養對企業或品牌的忠誠粉絲,降低流失率
• 顧客主動搜尋時能快速取得產品/內容• 消費者(會員)接受的推播訊息具個性化
© 2021, Amazon Web Services, Inc. or its Affiliates.
Amazon.com — 累積超過20多年的推薦經驗
NOW
1998
• 成立P13N團隊,數據推薦 vs 編輯推薦
• 以協同過濾(Collaborative Filtering)作推薦- Customers who bought this item also bought
• 約35%營收來自於搜尋及推薦系統
• Amazon Prime會員留存率超過90%
• 應用在Amazon.com, Prime Video,
Kindle, Amazon Music, and so on)
持續監控及優化模型
加入深度學習進行推薦
© 2021, Amazon Web Services, Inc. or its Affiliates.
過往建立推薦系統並沒有想像中容易
建立與企業相適的演算法需專業、長期服務的機器學習專家
已購買或熱門商品不斷重複推播,失去個人化意義
如何執行即時推薦,且新商品或使用者具冷啟動(Cold Start)問題
基於規則(Rule-based)的推薦直觀但無法有效擴展且管理困難
執著於尋找仙丹演算法實際上 NO one size fit all的超級演算法
© 2021, Amazon Web Services, Inc. or its Affiliates.
從Amazon.com淬煉出的推薦服務 – Amazon Personalize
“We had three big ideas at Amazon that we have
stuck with for 20+ years, and they are the reason we
are successful: put the customer first, invent, and
be patient.”Jeff Bezos
Founder and Chief Executive Officer
Amazon.com, Inc.
Amazon Personalize
即時的個人化推薦系統採用與Amazon.com同樣的機器學習技術
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS 上的機器學習與人工智慧
部署 Deploy訓練 Train
Amazon
Comprehend
Elastic
Inference
Amazon
Forecast
Amazon
Lex
Amazon
Personalize
Amazon
Polly
Amazon
Rekognition
Amazon
SageMaker
Amazon
SageMaker
Ground Truth
Amazon
Textract
Amazon
Transcribe
Amazon
Translate
Apache MXNet
on AWS
AWS Deep
Learning AMIs
TensorFlow
on AWS
Jupyter
Notebook
Model Train Deploy
影像識別 文字擷取 聊天機器人 語音朗讀 語音轉文字 語言翻譯 語意辨識 智慧預測 智慧推薦
建立 Build
• 一鍵式模型
訓練與優化
• 強化學習
• 一鍵模型部署
• 彈性伸縮
機器學習架構
GreengrassEC2 G4 EC2 P4 Amazon
EMR
基礎架構
AI
應用服務
ML
平台服務
機器學習
基礎架構
© 2021, Amazon Web Services, Inc. or its Affiliates.
Amazon Personalize 的三大類應用
用戶推薦User personalization
搜尋排序推薦Personalized ranking
相似物品推薦Similar items
© 2021, Amazon Web Services, Inc. or its Affiliates.
Amazon Personalize的背後原理
Customized
personalization
API
Item metadata
(details of articles,
products, videos, etc.)
User metadata
(age, location, etc.)
User events/interactions
(views, signups,
conversions, etc.)
Inspect
dataIdentify
features
Select
hyper-
parameters
Train
modelsOptimize
models
Host
modelsReal-time
feature
store
Amazon Personalize
Fully-managed by Amazon Personalize
© 2021, Amazon Web Services, Inc. or its Affiliates.
Amazon Personalize的運作方式
Amazon Personalize
Customized
personalization
API
Item metadata
(details of articles,
products, videos, etc.)
User metadata
(age, location, etc.)
User events/interactions
(views, signups,
conversions, etc.)
© 2021, Amazon Web Services, Inc. or its Affiliates.
客戶案例:樂天超市瞄準「會員折價券」執行推薦專案
公司簡介• 全球189間分店,每日客流量超過60萬人• 2019年營收超過51億美金 (1500億新台幣)
• 數百萬種商品類別,如生鮮、雜貨、服飾及家電等
面臨挑戰• App折價券僅能推薦消費者已購買的商品• 既有折價券推薦給消費者未購買商品時,轉換率極低• 部門同仁分身乏術,若要自建新的推薦系統太耗時
選擇Amazon Personalize的理由• 公司只需上傳資料及選擇配方,直觀又快速• 能嘗試多種專家演算法,開發時間驟降50%
• 採用API可與既有行銷推播系統溝通,整合性高• 上傳至AWS的資料有權限及加密機制,安全受控
© 2021, Amazon Web Services, Inc. or its Affiliates.
客戶案例:樂天超市瞄準「會員折價券」執行推薦專案
“與之前方案相比,消費者對於Amazon
Personalize 推薦的商品接受度增加 5 倍衝高每個月的公司收入。尤其使用Amazon Personalize 之後,客戶未購買過的產品銷量增加 40 %”
大數據團隊負責人 Jaehyun Shin
Lotte Mart
© 2021, Amazon Web Services, Inc. or its Affiliates.
全球多間客戶攜手Amazon Personalize並獲得可量化成效
aws.amazon.com/personalize/customers