大資料學習筆記（05）
nginx配置
master_processes：只有乙個
worker_processes 1：工作程序數，預設為1，可以改為auto，即啟動與cpu核數相同的worker程序（tengine）
worker_connections：單個worker_processes最大的併發連線數
server：虛擬主機，每個虛擬主機負責乙個專案
location：請求對映（檢視tengine文件）
a. location的執行邏輯
「普通 location 」的匹配規則是「最大字首」，因此「普通 location 」的確與 location 編輯順序無關；
但是「正則 location 」的匹配規則是「順序匹配，且只要匹配到第乙個就停止後面的匹配」
「普通location 」與「正則 location 」之間的匹配順序是？先匹配普通 location ，再「考慮」匹配正則 location ，以下兩種情況不需要再匹配正則location了
當普通 location 前面指定了「 ^~ 」，特別告訴 nginx 本條普通 location 一旦匹配上，則不需要繼續正則匹配；
當普通location 恰好嚴格匹配上，不是最大字首匹配，則不再繼續匹配正則
b. root：目錄的相對路徑
c. index：當訪問資源為路徑時，預設訪問後面檔案
d. proxy_pass：反向**（當沒有配置upstream時，配置為
即伺服器位址及埠）
e. upstream：負載均衡
session共享
安裝memcached
拷貝memcached的jar包到tomcat的lib目錄下
在每個tomcat的conf目錄下的context.txt檔案中加入
其中，這一行，n1為名字，隨便起，後面的ip-port是memcached所在的ip及監聽的埠
注意調整所有伺服器的時間相同 date 07231515（將時間調整為7月23日15點15分）
大資料筆記05 MapReduce
總結mr應用的執行流程 hadoop 2.x 容錯機制 mr主要思想 分久必合 mapreduce是由兩個階段組成 map端 reduce端 mr核心思想 相同 的key為一組，呼叫一次reduce方法，方法內迭代這一組資料進行計算 假設需要處理的檔案存在hdfs中 以block的形式 檔案以spl...
大資料學習筆記
大資料處理是雲計算中非常重要的領域，自google公司提出mapreduce分布式處理框架以來，以hadoop為代表的開源軟體受到越來越多公司的重視和青睞。本文將講述hadoop系統中的乙個新成員 impala。impala架構分析 impala是cloudera公司主導開發的新型查詢系統，它提供s...
大資料學習筆記 1 1 了解大資料
三 bigtable 大表 nosql資料庫 hbase 首先引入兩個個大資料應用場景 從以上兩個例子可以引出大資料的兩個核心問題 資料的儲存 分布式的檔案系統 hdfs hadoop distributed file system 資料的計算 資料的計算 不是演算法 分布式的計算 mapreduc...