折騰了一段時間Mongodb後終於放棄了

2021-06-16 10:33:31 字數 499 閱讀 5304

我折騰這個的原因:

大資料量的儲存;

海量資料的分析

但是目前看來,儲存的問題上不大,但是mongdb那些特性對於我的#大資料#上沒有適配的地方

而另外乙個重中之重就是資料統計和分析,這是我的需求核心,我需要對海量資料進行查詢統計,太多的group by之類的了

而mongodb似乎不能滿足我的要求(或者我不知道),我只是在各種mongodb的資料中只是看到了簡單的條件型select

我需要的是海量資料的真正分布式計算型資料庫!例如我有1tb資料。可能同時同步儲存在4個資料節點上,當我要做某個統計分析的時候,我需要這個統計分析可以被轉化下去到這四個節點上然後再彙總。這樣的分布式計算提公升我單節點計算的效能!

ps,我對於那個map/reduce還是有點搞不清楚狀態!我再去查查資料!

查了一下資料,好像所謂的mapreduce可以滿足我的分布式需求,可是group之類的呢?

事務我是不需要的。但是mongodb的查詢確實太麻煩了!

Redis訂閱了一段時間後訂閱失效了

程式發布了幾個月都沒有重啟,突然間就收不到訂閱訊息了 敲發布指令發現沒有訂閱者了,重啟解決問題但不知道什麼原因。檢視redis配置tcp keepalive,是否要傳送心跳包 publish channel message 檢視是否有訂閱者 client list 檢視redis連線的客戶端 確認是...

用了一段時間Gamebryo了

用了一段時間gamebryo了 做了2個月的demo,由於一些不可抗拒的因素,demo被迫喊停,我和另外乙個同事被調到了專案組,做了2個月的東西完全被否決掉,心頭總是有些失落的。最近在反思的同時也想把使用gamebryo的感受記錄下來。首先說明,在3d方面我就是一打醬油的,也就知道那麼點基礎概念,所...

最近一段時間

嗯。乙個是從那時候開始忙了一段時間,然後就沒有時間寫博,而且那段時間也緊張,還有就是人的劣根性 惰性。從那時候開始,大概過了一周5.30號的進候辭職了,因為拿到了南京一家公司的offer,很快,大概是週三面試,周五面試,周五下午發offer。然後周一去辭職的。一切都是這麼快。其實為什麼決定這麼快,因...