基於物聯網的資料接入與資料儲存的一些思考

2021-10-23 20:44:21 字數 2197 閱讀 5179

基於物聯網的資料接入和資料儲存

一、邊緣計算

二、物聯網通訊協議

網路協議:

基於配電網裝置的物聯網通訊首先排除有線協議(usb、m-bus)和無線近距離協議(nfc、藍芽、wifi)。目前滿足要求的就只有遠距離無線通訊協議。

遠距離無線通訊協議有蜂窩通訊協議和非蜂窩通訊協議。蜂窩通訊協議主要是2/3/4/5g、nb-iot等技術下的各電信運營商採用的制式、協議。非蜂窩通訊協議主要是zigbee技術和lora技術。

首先zigbee用於連線10-100公尺範圍內的裝置,不太適合。2g/3g面臨退網。4/5g傳輸距離遠且速率高,但成本是否過高。lora也是不錯的遠端資料通訊的技術,但其資料傳輸速率是0.3kbps至50kbps,需要考慮傳輸速率是否夠用的問題。

然後就剩下nb-iot了,這裡介紹一下nb-iot:

nb-iot,全稱為narrow band internet ofthings,也稱窄帶物聯網,是3gpp專為運營商定製的lpwa蜂窩解決方案,採用超窄帶、重複運輸、精簡網路協議等設計,以犧牲一定速率、時延、移動效能等獲取面向lpwa物聯網的承載能力。

從接入網路上看,nb-iot的上行傳輸方案支援單頻音傳輸和多頻音傳輸兩種形式。單頻音方案支援更好的覆蓋、容量與終端功耗;多頻音方案可用於支援更大的峰值速率。

從技術特點上看,nb-iot的部署方式較為快捷、靈活。從功耗和效能上看,nb-iot終端的功耗低。從成本和市場推廣上看,因為nb-iot可直接部署於2g/3g/4g網路,現有無線網路基站的射頻與天線可以復用。

與傳統2g、3g、4g蜂窩通訊模式相比,nb-iot自身具備的低功耗、廣覆蓋、低成本、大容量等優勢,使其可以廣泛應用於多種垂直行業,如遠端抄表、資產跟蹤、智慧型停車、智慧型農業等。

裝置-雲端通訊協議:mqtt協議開源產品emq的相關簡介:

三、資料接入

首先需要智慧型採集裝置將採集到的資料上傳到伺服器,採集來的資料以何種形式落地到磁碟是影響資料接入的關鍵。mqtt協議接入到emq,進而接入到kafka/influxdb等。

四、時序資料儲存

時序資料庫的技術要求:

(1)海量資料儲存(分布式儲存)

(2)高併發高吞吐寫入

(3)多維度聚合查詢

(4)olap分析

時序資料庫元件:

influxdb主流時序資料庫,單機免費、集群收費。

timescaledb基於postgresql, 可能適合資料量不太大的情形, 但提供豐富的sql功能。

kairosdb基於cassandra, 運維應該比較簡單, 擴充套件性也應該不錯, 寫入效能估計也不錯,但不支援 sql。

cratedb基於elasticsearch,支援ansi sql,寫入效能應該很好,擴充套件性也應該不錯,估計 sql支援度和讀取效能會差一些。

opentsdb底層使用hbase作為其分布式儲存引擎,具有hbase的相關優勢,不支援sql。

kudu列式儲存(基於hbase),支援sql,比較贊的是支援 update/insert,可以通過 impala 或spark來支援sql查詢。

kudu是cloudera開源的新型列式儲存系統,是apache hadoop生態圈的成員之一,專門為了對快速變化的資料進行快速的分析。kudu的大部分場景和hbase類似,其設計降低了隨機讀寫效能,提高了掃瞄效能,在大部分場景下,kudu在擁有接近hbase的隨機讀寫效能的同時,還有遠超hbase的掃瞄效能,填補了以往hadoop儲存層的空缺。

區別於hbase儲存引擎,kudu有如下優勢:

①快速的olap類查詢處理速度。

②與mapreduce、spark等hadoop生態圈常見系統高度相容,其連線驅動由官方支援維護。

③與impala深度整合,相比hdfs+parquet+impala的傳統架構,kudu+impala在絕大多數場景下擁有更好的效能。

④能夠同時支援oltp和olap請求,並且兩者都擁有良好的效能。

⑤支援結構化的資料,純粹的列式儲存,省空間的同時,提供更高效的查詢速度。

基於AWS工業物聯網的資料收集方案

aws提供的方案是aws iot greengrass,它是乙個軟體,它相當於乙個虛擬機器,可以執行aws lamnda和docker。這greengrass 需要有邊緣裝置中,而這裡有aws合作商提供ig900邊緣閘道器,我們可以將greengrass部署在閘道器中,而這個閘道器由於支援多種介面協...

認識物聯網系列 物聯網與雲計算 大資料

物聯網與雲計算 全球資料和資訊服務企業ihs報告稱,到2030年,將有1250億台連網裝置成為我們日常生活的一部分,物聯網的規模正在變得越來越大。在解決了效率與計算問題之後,人們漸漸發現這個能力也可以提供給外部使用,因此就出現了公共雲計算 把計算機的計算能力直接放在網上賣出去。雲計算相當於人的大腦,...

物聯網 物聯網資料分析與視覺化

什麼是物聯網資料分析 物聯網資料分析,又稱link analytics,是阿里雲為物聯網開發者提供的裝置智慧型分析服務,全鏈路覆蓋了裝置資料生成 管理 儲存 清洗 分析及視覺化等環節。有效降低資料分析門檻,助力物聯網開發工作。更多關於物聯網資料分析內容 物聯網資料分析與視覺化 物聯網資料分析的主要能...