etl，資料倉儲技術，是英文extract-transform-load的縮寫，用來描述將資料從**端經過抽取（extract）、轉換（transform）、載入（load）至目的端的過程。etl一詞較常用在資料倉儲，但其物件並不限於資料倉儲。
etl是將業務系統的資料經過抽取、清洗轉換之後載入到資料倉儲的過程，目的是將企業中的分散、零亂、標準不統一的資料整合到一起，為企業的決策提供分析依據， etl是bi（商業智慧型）專案重要的乙個環節。
bi，工具商業智慧型（business intelligence）分析工具的英文縮寫。
bi（businessintelligence）即商業智慧型，它是一套完整的解決方案，用來將企業中現有的資料進行有效的整合，快速準確的提供報表並提出決策依據，幫助企業做出明智的業務經營決策。商業智慧型的概念最早在2023年提出。當時將商業智慧型定義為一類由資料倉儲（或資料集市）、查詢報表、資料分析、資料探勘、資料備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。
若class和object同名，則object是class類的伴生物件，object物件可以訪問class類中的私有屬性。
在spark裡每乙個操作生成乙個rdd，rdd之間連一條邊，最後這些rdd和他們之間的邊組成乙個有向無環圖，這個就是dag。
master:9000
hdfs dfs -mkdir -p /csair/data/rule-black-list/
[hadoop@master ~]$ hdfs dfs -mkdir -p /csair/data/rule-computed/ 遞迴建立檔案
[hadoop@master ~]$ hdfs dfs -put a.txt /dmpfiles/
hdfs dfs -ls / 檢視hdfs中的檔案目錄
[hadoop@master conf]$ hdfs dfs -chown -r hadoop /
[hadoop@master ~]$ hdfs dfs -chmod -r 777 /
dataframe中提供了詳細的資料結構資訊，從而使得sparksql可以清楚地知道該資料集中包含哪些列，每列的名稱和型別各是什麼，
dataframe中的資料結構資訊，即為schema。
transform是rdd的轉換運算元，可以將獲取的資料轉換成rdd，或者rdd轉換成新的rdd
action是rdd的行動運算元，得到的是乙個值或者結果，將rdd cache到記憶體中。
是乙個開源、高效的key-value非關係型資料庫
單機版：啟動服務 ./redis-server redis.conf
啟動伺服器：./start-all.sh
建立集群伺服器./redis-trib.rb create --replicas 1 192.168.139.200:7001 192.168.139.200:7002 192.168.139.200:7003 192.168.139.200:7004 192.168.139.200:7005 192.168.139.200:7006
啟動客戶端：../bin/redis-cli -h 192.168.139.200 -p 7001 -c
在集群中:cluster nodes檢視所有節點的情況， set key,get key ,例如：set s1 111 ,get s1
反爬蟲中技術點的定義
是乙個分布式的，容錯的，高效的訊息通到。主要用於做實時的資料流 構建實時應用等。設計目標 為處理實時資料提供乙個統 一 高吞吐量 低延遲的平台。kafka是乙個分布式訊息佇列 生產者 消費者的功能。啟動 先保證zk集群啟動 再啟動kafka root hadoop01 kafka 2.11 1.1....
關於永中技術專利大拍賣（Auction 的猜想
在我國境內，很少見到技術專利進行 公開競價拍賣 的事情。我很好奇，只能猜想，以便娛樂自己。猜想要有根據，但是，根據何在呢？近日，位於加拿大多倫多的 北電 nortel 與無錫永中科技一樣，遭遇破產清算 但不是被法院裁定破產要 其技術專利 算是自己 倒霉 吧。北電擁有許多移動互聯技術專利 6000 多...
專案開發中技術債務的產生原因與避免
由於團隊在開始新專案的時候，舊專案的任何未完成的事情都會形成技術債務。比如 不規範，需要進行 重構的重構債務 比如設計上未完成的設計債務，等等，統歸於技術債務。而之所以以 債務 這個詞來形容，是因為償還技術債務需要花利息，而這個利息就是時間，而且會花費更多的時間才能補上 類似於高利貸，而且可能這個時...