微軟 AB Testing EXP 實驗管理平台

2021-09-22 19:29:19 字數 1364 閱讀 6030

conference ***** · may 2018 the anatomy of a large-scale online

experimentation platform。

因為工作負責和abtest相關的事情,所以對abtest系統理論與工程落地情況一直在調研,根據上面這篇**,我們一起來學習下微軟exp系統的工程實現。摘要及其相關工作啥的廢話略過,先放一張架構圖:

整個系統包含四部分:

portal屬於乙個實驗管理後台系統,為實驗者與實驗系統之間提供互動介面,實驗者可以方便的在系統中建立,配置,執行並分析實驗。其中系統包含三個重要的元件:

1. experiment management

實驗管理介面應具有以下功能:

這個是abtest的核心服務,為各個接入ab的服務分配實驗變數。每個變數v是乙個引數集合,實驗可以表示為e, 如v1實驗組,v2對照組。isolation group 會切分成多個變數,如下圖:

每個變數都會被關聯上乙個或多個isolation group,比如存在兩個實驗e1, e2,e1關聯隔離組g1,g2。同時e2的變數也關聯g1,g2。 會發現兩個實驗變數所關聯的隔離組是有交集的,那麼這時候說明兩個實驗是會相互影響的,不能同時進行。

列舉了三種實驗組引數配置下發方式:

總之都是從experiment execution service拿到實驗組引數配置並快取在本地。

可以通過應用程式在啟動時直接通過服務介面呼叫,去請求實驗組引數配置,這樣做到使用者在session內有一致的使用者體驗。服務端和客戶端均可採用這種方式

edge node可以模擬nginx,可以負載均衡服務, 它和experiment execution service互動,對請求進行加強(填充改次請求 所對應的實驗引數配置)。這種方式不適合客戶端實驗, 因為客戶端使用者操作很多都是本地行為,沒有發生網路互動

第三種方式通過為ab實驗打包乙個專門的lib, 客戶端實驗不需要將實驗引數在各個元件傳來傳去,而是每次都從這個lib去拿就可以了。lib負責和experiment execution service週期**互

還有個配置管理服務 去控制experiment execution service進行乙個實驗下不同的變數分配的開關, 該開關配置應該放到lib裡

微軟實訓 Win8應用檔案操作新概念

上回說到要把乙個控制台程式搬運到win8平台上來,原本以為後台應該沒大問題,結果檔案一貼過來就報錯了。引用都是一樣的,但是類卻找不到了。用到xml檔案的資料查詢的地方,大片大片地上了紅色波浪線。總之又是一段糾結的除錯 查資料過程按下不表。結論是,1.win8應用中需要使用xdocument xele...

實變函式 實分析總結

一 概述。實變函式,又叫實分析,整本書滿滿的證明就講了乙個勒貝格積分。最為大家所熟知的是用牛頓 萊布尼茨公式算的黎曼積分。但是黎曼積分本身依賴於函式的連續性,像不連續的狄利克雷函式就無法積分了。為了解決這一問題,勒貝格利用分割值域的方法,使得函式可積。但是分割出來的值域,只能放在一起,形式集合。如果...

跳過微軟商店安裝微軟應用

注 本機電腦微軟暫時無法更新,所以microsoft store也無法使用 這裡我們使用 nvidia contro panel 舉例 網上應用商店 如圖所示複製鏈結,並在新視窗開啟 如圖所示,複製連線 輸入microsoft store中的鏈結,然後單擊提交 以獲取所有可用鏈結。步驟如下 開啟系統...