STEMMA 幫助你信任你的資料

2022-09-13 16:36:12 字數 1944 閱讀 4027

今天,我們很高興宣布推出stemma - 乙個完全託管的資料目錄,由amundsen提供動力,是具有最大的社群和最廣泛地採用的領先的開源資料目錄。我們在semoia領導的seed資金中籌集了4.8億美元,以將領先的開源資料目錄的力量帶到每個組織。

問題:資料太多,信任太少

在過去十年的公司中,首先捕獲了更多的資料,然後使公司內部的越來越多的人提供。

每個人都可以訪問資料,但很少知道存在什麼,是什麼值得信賴的,以及如何使用它。

這導致公司的生產力損失和巨大風險。這個問題不僅影響了組織。它對資料分析師,資料科學家和商業使用者和資料生產商等資料消費者來說是深入的內容,如產品和資料工程師。它每天都會影響它們。

分析師和資料科學家提供不準確的報告和模型,因為他們無意中使用錯誤的**或不正確的邏輯。更糟糕的是,資料在它們下面保持不變。資料延遲,已棄用或完全關閉,分析師和資料科學家是最後乙個找出的。

另一方面,資料工程師不斷陷入困境,並使每個人都通知當前狀態並即將到來的資料更改。資料業主不知道更改會影響什麼,因此他們噴灑和祈禱。他們用電子郵件地毯式轟炸他們的使用者,沒有人讀,更不用說記住。

第一次嘗試:gossip協議

第一次將感覺帶到這種缺乏信任的企圖是自然的人類反應 - 閒話和肩部攻絲的gossip協議。

您可以建立乙個slack的頻道#adk-analytics,使用者提出問題,如「x的真相源是什麼?」。答案可能需要幾天時間,但隨著時間的推移,你會得到重複的問題。在他們一遍又一遍地詢問同樣的問題之前,您希望人們在鬆弛渠道中搜尋。

它變得更糟。資料演變。現在,您希望人們永遠不會搜尋鬆弛頻道,以免他們發現過時的資訊。你正在考慮將保留限制在幾周內。

但它變得更糟。錯誤的資料導致得出錯誤的結論:兩個不同的部門在董事會會議期間顯示了兩個不同的預報總量出貨量,突然間每個人都意識到這不起作用,必須做些什麼!

第二次嘗試:策劃資料目錄

第二次嘗試是策劃和記錄有關資料的資訊 - 描述,專家,依賴關係,更新頻率,外來鍵,樣本查詢以及列表繼續。您可以在wiki中記錄這一點,或者購買完整的產品,只需乙個簡單只是乙個資料感知的wiki。

有時你試圖讓一支志願者隊進入這個維基的檔案。如果您很幸運,您將獲得第一組文件,但它開始旋轉它的寫入,因為寫入文件要求使用者留下其現有流程。

有時,您會發現某人(aka資料管家),其工作是確保輸入此文件並保持最新狀態。但這不起作用,因為資料管家,而超級有價值,沒有上下文的資料,所以他們最終依靠資料專家,讓我們回到與志願者軍隊相同的問題。

策展不起作用。

amundsen - 領先的開源資料目錄

在經歷gossip協議和策劃資料目錄的故障後,我共同建立了lyft的資料目錄,amundsen,以通過自動化解決資料信任的挑戰。amundsen在lyft廣泛採用 - 每週750個使用者使用,每週有75%的資料分析師,資料科學家和資料工程師每週使用它。至今,amundsen是lyft中排名最高的資料和分析產品。

amundsen是具有最大社群和採用的領先開源資料目錄。它由35 +公司使用,包括廣場,instacart,ing,brex,asana,irobot等許多公司。您可以加入amundsen的日益增長的社群,並在此閱讀有關該項目的更多資訊。

今天,我們很高興地推出stemma

的產品 - 將amundsen的力量和更多給您所有人。

stemmma - 將amundsen的力量帶給您

stemma在amundsen之上建立,並以兩種方式增加價值:a)企業管理 - 使用企業級安全性超輕鬆部署。b)智慧型 - 自動化文件,如公共過濾器,加入條件,相關的slack對話,以及基於使用者角色和活動的個性化體驗。

我們有很多令人興奮的東西即將到來,我們將以無數的方式更好地製作stemmma和amundsen。更多的是在後來的部落格文章中。訂閱我們的部落格,保持聯絡。我們深深致力於為需要現代資料目錄的任何人製作amundsen,並使組織能夠通過用stemmma的按鈕來利用它的電力。

dorian和我開始在2023年開始,幫助將自動資料目錄的力量帶到市場上。今天,我們也非常興奮地宣布從紅杉獲得種子資金。

幫助你很好的理解使用者畫像

使用者畫像首先的是商業目的下的使用者標籤的集合,例如 猜使用者是男是女,人,工資多少,有沒有談戀愛,喜歡什麼,準備剁手購物嗎?這些是沒有意義的。而 是男是女如何影響消費決策,工資多少影響消費能力,有沒有談戀愛會否帶來新的營銷場景,剁手購物怎麼精準推薦,這些才是使用者畫像背後的邏輯。精準營銷 這是運營...

Linux安全策略 你能信任你的ps命令嗎?

找出rootkit的首個竅門是執行ps命令。有可能對你來說一切都看來很正常。圖示是乙個ps命令輸出的例子。真正的問題是,真的一切都正常嗎?黑客常用的乙個詭計就是把ps命令替換掉,而這個替換上的ps將不會顯示那些正在你的機器上執行的非法程式。為了測試個,應該檢查你的ps檔案的大小,它通常位於 bin ...

區塊鏈如何幫助你通過自己的個人資料獲利?

個人資料有時很難定義,但在最基本的層面上,它的資訊可以直接或間接地識別乙個人。關於隱私,最重要的法律之一是 通用資料保護條例 general data protection regulation 該條例於5月25日在歐盟生效。根據歐盟委員會,你的個人資料報括你的名字 住址 電子郵件位址 手機收集的位...