java資料庫層面大資料量處理方式 面試

2021-08-26 12:35:13 字數 311 閱讀 6101

1:nginx 分發到各個伺服器上

2:接下來到伺服器端,通過dubbo實現查詢服務

3:使用zokkeeper 進行服務註冊

4:對資料庫的操作,使用mycat實現資料庫路由

5:資料庫層面使用分庫分表

這四點不展開寫,這五個部分連起來就可以搭建乙個分布式的系統,這個只是主要流程,還需要考慮很多其他方面的,我暫時只能了解這些,這五個方面每個裡面都有大量的知識點,需要乙個長時間的積累,我想對這些有實際的操作過,應該就可以做個架構師了,這個也是我後面努力的方向,說多了,回到標題想寫的東西

當業務資料量大的時候,我們要採取

大資料量處理

看看這個,異曲同工,永遠不超時 該程式是針對非常龐大的資料庫開發的,沒有用迴圈 用途 對過萬條資料的資料庫字段內容批量替換 資料庫連線 dim beeyee dbname,connstr,conn,intsn1 dim content,num,intsn,intidno,strcodea,strco...

航測大資料量處理 大資料量處理及優化措施

1 首先考慮垂直拆分庫,不同的表拆分到不同的庫中,例如使用者庫 產品庫 支付庫 2 然後考慮水平拆分庫,將乙個表的資料放到多張表中,例如按照使用者 時間 訂單號 3 插入資料的時候不建立索引 4 待資料已經插入完成後,建立索引 5 正確的指定索引字段 6 使用批量插入資料庫的方式代替單條資料的插入 ...

WebService處理大資料量資料

在通過webservice處理大資料量資料時出現如下錯誤 soap fault 執行配置檔案中指定的擴充套件時出現異常。超過了最大請求長度。解決方法 因為上傳的檔案大於系統預設配置的值,asp.net web service預設的請求長度是4m。1 針對單個專案,只需修改web.config就可以了...