我對未來新型資料庫的一點想法

2021-07-27 06:25:20 字數 1513 閱讀 6709

戰勝李世石以後,轉成了人工智慧。人工智慧的基礎依然是資料,資料量和計算速度的飛速提成是人工智慧發展的保障。我(乙個業外人士)了解到市場上沒有乙個合適的資料庫來適合這個場景的,為了迎合時代發展,資料庫功能向這方面傾斜是必然趨勢,也許已經了有很多產品,只是目前我沒聽過。這裡我說說我對新型資料庫的一點想法:

1.支援gpu

運算(必要)

未來的資料庫不僅僅是資料儲存,更多的是資料處理。這些資料處理涉及到大量數學密集型的運算任務。而gpu

擅長的就是處理需要大量數學密集型運算的任務,比如視覺模擬、超快資料庫事務、計算視覺和機器學習等任務。目前好像有個mapd

的資料庫支援gpu。2.

高維計算的效率提高或者更好的支援(必要)

隨著資料維度的增大,對資料的分析越來越複雜,對資料的需求也不可能僅僅侷限於傳統的運算了,複雜的運算更多的涉及到高維度資料之間的運算。我現在目前接觸到的東西,僅僅知道python

裡面的numpy

包對高維度運算做了很好的支援。

3.查詢條件複雜化(必要)

查詢條件不僅僅是以前的用傳統方法可以資料化的條件,他將是一些更抽象的條件。比如和某段文字最相似的文字,和某張相同的,某張中包含的,某個高維資料完全相同的資料等,這些用深度學習技術都可以大大較少查詢的時間負責度和空間複雜度。我認為以後對這些資料的儲存模式是高維資料利用som

等網路訓練出合理的模型,對應相應的低惟空間,再對應相應的分割槽。

4.儲存方式多樣化(必要)

以前的資料庫都是對資料的機械儲存,但是以後會更多的從資料中抽取一些特徵,然後用這些特徵再做相應的邏輯,這些特徵一般是多維降維後的高維度資料,目前的資料庫對這些資料的機械儲存絕對不可能迎合未來需求。

5.支援機器學習(這裡不包括深度學習,不是太必要)

hadoop

有mahout,spark

有mllib

,我就不說什麼了

6.支援深度學習即神經網路(非常必要)

隨著深度學習的理論的發展和深度學習工程技術的發展,深度學習慢慢的會深入到各個公司。深度學習往往涉及到大規模的資料,目前caffe

使用的乙個叫lmdb

的資料庫,theano,torch,tensorflow

好像是對檔案的直接操作,在這個場景仍沒有乙個較好的資料庫,所以迫切的需要乙個符合深度學習場景的資料庫。

深度學習的資料**於資料庫,結果儲存在資料庫,所以資料庫需要對深度學習演算法有很好的支援。在以後效率決定一切,還有一些儲存和查詢都會設計到一些神經網路來縮短時間複雜讀和空間複雜度,所以從原始碼層次上支援深度學習也是必要的。

7.支援深度學習的中間資料儲存(必要)

現在我接觸到到的都是深度學習的結果,更深的應用都是對學習過程中中間資料的進一步處理,具體我現在還不太了解。

最後總結下,其實這些功能都是互相依存的,高維資料使用gpu

高效計算,深度學習使用gpu

,抽象資料的查詢,和多樣化資料的儲存依靠神經網路完成,神經網路又依賴深度學習。

這是我昨天思考資料庫的一些想法,也許不切合實際,也許會您早已經想過,也許會幫助您有更好的想法,寫下來給您分享一下。

對Cache和資料庫設計的一點想法

做web開發離不開資料庫的設計,一般的小專案資料庫多數要自己設計的。最近的乙個專案除了介面由美工來做之外,其餘全是自己完成的。專案完成後開始的時候還順利,因為訪問量不是很大,沒出現什麼問題。但沒過多久,日誌中的錯誤就頻繁出現,而且經常是同樣的錯誤,資料庫也有大量死鎖。有問題當然要想辦法解決,所有我把...

我的一點點想法

我現在為網際網路公司服務,專注於程式的開發 邏輯方面 初音未來是2007年8月31日由crypton future media以yamaha的vocaloid系列語音合成程式為基礎開發的音源庫,音源資料資料取樣於日本聲優藤田咲。那麼,我就想幹什麼不能用程式書寫曲呢?首先,通過大量的曲來判斷人最大承受...

對創業團隊的一點想法

本人 沒有強大的技術,沒有廣闊的人脈,沒有超前的遠見,只因在創業團隊中待過一年,有了一些想法,即記錄下來。這裡對給我這次機會的公司表示感謝!這裡說提網際網路及軟體方向的創業團隊。1.不宜過早制度化 當然,對於打卡這樣的制度並不排斥。但是對於對上百人團隊的管理方法,不宜過早產生。比如詳細區分不同部門,...