大資料 物聯網和雲計算市場上的經驗和規律

2021-09-25 02:33:56 字數 1612 閱讀 3986

最近,orionx net的聯合創始人shahin khan就發表了一篇文章,介紹了他的團隊從大資料、物聯網和雲計算市場上總結的經驗和規律。

大資料正在改變我們的生活,影響我們思考和解決問題的方式,為了適應時代的潮流,組織必須學會用資料說話,如果坐擁大量的資料卻束手無策或無動於衷,那和沒有資料是一樣的。但是,在進行資料分析時,完全的自我創造是不可取的,因為有大量可以遵循和借鑑的經驗能節約大量的時間和成本。最近,orionx.net的聯合創始人shahin khan就發表了一篇文章,介紹了他的團隊從大資料、物聯網和雲計算市場上總結的經驗和規律。

1、保留資料的成本要比刪除資料的成本低。另外,還要有多個備份。

正因為保留了足夠多的資料,大資料才成為可能,因此無論如何都不要刪除資料,因為你不知道什麼時候會用到它,刪除這些資料會有哪些法律風險。保留資料的成本很低,另外,如果將來發生了什麼事情,你也能從這些資料中找到證據。

2、無論開始收集資料的動機是什麼,它們都會導致你收集更多的資料。

大部分資料收集工作關注於正在進行的活動,但一旦知道了如何使用這些資料,獲取更多資料的意願就會增加。

3、大資料系統開始較小,但慢慢會變大,沒有中間大小。

很少有中等規模的大資料系統,一旦某個專案的理念被證明是有前景的,那麼它很快就會變大,並在迅速發展的同時孵化新專案。

4、資料必須流向有價值的地方,要考慮功能的上下文有什麼價值。

未使用的資料是一種閒置的資產,很有可能會造成價值的貶值。如果將大資料看做是工作流,那麼必須將資料流向最有價值的地方。

5、永遠都不要假設你知道原因是什麼,有什麼影響。

大資料的大部分應用場景都是有價值的,值得付出努力,但是它的因果關係非常複雜,資料的不完整、使用者的偏見不可避免。

6、有關資料與無關資料之間的比率將逐漸趨向於零。

資料有很多,但通常情況下大部分都是無用的,只有一少部分有價值。收集的資料越多,這種現象越明顯,也就是說無關資料的增長速度要遠高於相關資料的增長速度。

7、分析的最終目的是合成。

分析完成之後便需要合成,當然這需要引入機器學習和認知演算法。

8、時間=金錢=資料。

資料是一種資產,雖然它可以公升值,但大多數時候隨著新資料替代老資料,歷史資料的價值會越來越低,因為它的相關性會越來越差。所以必須知道資料的「利率」,知道它貶值的速度有多快。

9、容量大—速度快—種類多—價值密度低 vs. 不可再現—不相關—不完整—不正確。

資料的質量直接影響資料探勘的質量。

10、給你足夠的資料,你就能證明事物的「正反兩面」。

資料量越大,從中找到有價值資訊的難度就越大,資料的複雜性、不合理的動機和無知都可能會造成無效的結論;但另一方面,資料越多,支援假設的證據就會越充分,通過完全科學的方法,有時這種支援率甚至會逐漸接近100%。

11、大資料的結論開始通常是有趣但無用的,但最終會變成有效且有用的。

在新**時代,有趣但膚淺的內容要比深刻有見地的內容多得多,價值挖掘需要對資料有深刻的理解,但這需要時間。

12、隨著資料量的增長,大資料和高效能計算(hpc)需要結合在一起。

如果有200行資料,可以使用電子**;但如果有20億行資料,就必須使用hpc。此外,隨著資料量的增長,還需要數學和科學的知識將資料轉換成模型。

推薦閱讀

大資料教程:sparkshell和idea中編寫spark程式

認識物聯網系列 物聯網與雲計算 大資料

物聯網與雲計算 全球資料和資訊服務企業ihs報告稱,到2030年,將有1250億台連網裝置成為我們日常生活的一部分,物聯網的規模正在變得越來越大。在解決了效率與計算問題之後,人們漸漸發現這個能力也可以提供給外部使用,因此就出現了公共雲計算 把計算機的計算能力直接放在網上賣出去。雲計算相當於人的大腦,...

物聯網 雲計算 大資料 人工智慧

物聯網iot internet of things 萬物聯網 應用創新是物聯網發展的核心,物聯網大致分為以下幾個層級 感知層,網路層,應用層。雲計算 cloud 雲計算可以認為包括以下幾個層次的服務 基礎設施即服務 iaas 平台即服務 paas 和軟體即服務 saas 大資料 dig data 具...

目前市場上提供雲災備 雲容災服務的雲計算公司名稱

災備與容災的實現原理 制定合理備份和災難恢復計畫,備份關鍵工作負載,並實施恢復訓練以確保災難恢復準備工作能夠覆蓋有需要的各個方面。合理的備份和災難恢復計畫的乙個要素是,將備份資料異地遷移至安全位置 另乙個要素是提供乙個單獨的災難恢復站點。異地遷移備份資料可幫助企業防範原始工作負載損壞 暫停 不可用的...