1．研究的目的及意義
以石油鑽井系統數位化建設為基礎，利用石油鑽井系統的資料庫、資料處理模型等，依據大資料技術和人工智慧建模技術，構架具有全面感知、生產量化、科學指導決策、視覺化鑽井過程的鑽進優化系統。通過統一的集中執行以及實時高效的科學化模擬、分析、**與優化，對海量鑽井資料進行分析處理，從而優化鑽進過程，提高鑽井效率，降低鑽井成本，為實現智慧型化鑽井奠定基礎。
石油鑽井資料**於鑽井過程的各個環節，且種類繁多，數量巨大，因而存在海量鑽井資料的儲存及管理不一致的問題。且鑽井過程中鑽進引數及地下環境等的複雜性和多樣性，以及鑽井過程很多因素的不確定性，如：地下環境、地質引數等的不確定，使得鑽井決策更多地依賴於專家經驗，以至於決策的科學性差。為了提高決策的科學性，鑽井工作人員和研究人員對鑽井過程做了很多優化工作，提出了很多的優化模型和改進方法。但是，隨著鑽井行業資料量的不斷增長，傳統的資料處理模型對於非結構化資料的處理具有一定的侷限性，因此如何利用先進的技術和管理手段，收集、整合、優化石油鑽井各類資料對於提高鑽井效率具有重要意義。
在石油鑽井數位化建設的基礎上，結合大資料技術和人工智慧建模技術，對鑽井勘探、開發、生產管理等領域的各項資料，進行統一儲存、分析與優化，實現海量鑽井大資料的共享化、一體化、鑽井生產視覺化和分析決策科學化，以優化鑽井過程，達到降低鑽井成本的目的。
2．研究內容
（1）建立鑽井大資料採集及儲存平台
鑽進引數是指鑽進過程中可控制的引數，主要包括鑽壓、轉速、鑽井液效能、幫浦量、幫浦壓、幫浦率及其他水力引數。鑽進引數種類繁多，資料量巨大，將鑽進引數統一採集儲存到分布式資料庫中，為鑽井大資料的分析挖掘提供資料基礎。
（2）海量鑽井資料的預處理方法
常用的資料預處理方法包括資料降維和資料歸一化等，它能在使用某種優化方法之前先將資料整理為適合該優化方法的格式，將資料維度互相統
一、標準化，刪除部分異常資料，以提高優化方法運算結果的準確度。
（3）鑽進引數的演算法優選、演算法適用性分析
鑽井資料的優化方法包括：神經網路、聚類、歸納學習等，每種方法都有其在處理資料上的特長，如果處理方法選擇不當，則既不能發揮方法的長處，也不能達到處理資訊的目的。只有選擇正確的優化方法才能實現對海量資料進行分析，建立相應模型，優化鑽進引數的目的。
（4）最終實現鑽進引數優化和人工智慧建模
根據演算法，通過程式執行生成對應的模型，可以將地質引數、環境因素等資訊進行綜合分析處理，經過優化模型的分析，確定最優的鑽進引數，確定優化的目標值，通過調整鑽進過程中的引數等及時地對鑽進過程採取優化控制，以降低鑽井成本。
基於大資料的精準營銷
在大資料時代到來之前，企業營銷只能利用傳統的營銷資料，包括客戶關係管理系統中的客戶資訊 廣告效果 展覽等一些線下活動的效果。資料的 僅限於消費者某一方面的有限資訊，不能提供充分的提示和線索。網際網路時代帶來了新型別的資料，包括使用 的資料 地理位置的資料 郵件資料 社交 資料等。大資料時代的企業營銷...
大資料元件優化引數以及其他引數設定總結（不斷更新）
1 設定分桶 set hive.enforce.bucketing set hive.enforce.bucketing true 2 設定嚴格模式 set hive.mapred.mode set hive.mapred.mode strict 3 設定壓縮 3.1 開啟map階段輸出壓縮 開啟輸...
基於pytorch的深度模型引數分別優化與凍結
在深度學習的模型的訓練的過程中，經常會遇到需要對不同的模型引數設定不同的學習策略，比如使用不同的學習率，設定權重衰減等，在pytorch框架中的設定相對來說是比較簡單的。coding utf 8 import torch from torchvision import models 模型初始化 mo...