Day3 spark基本認識

2022-06-08 13:42:08 字數 514 閱讀 7046

1.spark 是類hadoop mapreduce的通用並行框架, 專門用於大資料量下的迭代式計算.

是為了跟 hadoop 配合而開發出來的,不是為了取代 hadoop,

spark 運算比 hadoop 的 mapreduce 框架快的原因:是因為 hadoop 在一次 mapreduce 運算之後,會將資料的運算結果從記憶體寫入到磁碟中,第二次 mapredue 運算時在從磁碟中讀取資料,

所以其瓶頸在2次運算間的多餘 io 消耗.

spark 則是將資料一直快取在記憶體中,直到計算得到最後的結果,再將結果寫入到磁碟,

所以多次運算的情況下, spark 是比較快的. 其優化了迭代式工作負載

2.rdd(resilent distributed datasets)俗稱彈性分布式資料集,是 spark 底層的分布式儲存的資料結構,可以說是 spark 的核心, spark api 的所有操作都是基於 rdd 的. 資料不只儲存在一台機器上,而是分布在多台機器上,實現資料計算的並行化.彈性表明資料丟失時,可以進行重建

python3 day2 基本回顧

1.作用域 1 外層變數可以被內層變更使用 2 內層變更不可以被外層使用 global nonlocal 2.對於python,一切事物都是物件,物件基於類建立 3.練習 有如下值集合 11,22,33,44,55,66,77,88,99,90.將所有大於66的值儲存至字典的第乙個key中,將小於6...

Day3 CSS 引入及基本選擇器

層疊樣式表,為了使網頁元素的樣式更加豐富,內容與樣式拆分開來。html負責結構與內容,表現形式交給css。css注釋 來注釋 css的語法結構 選擇器選擇器 將樣式與頁面元素關聯起來的名稱。css 引用 1 外鏈式 通過link標籤,鏈結到相應的css檔案,寫在head標籤中 day3.css 內容...

關於3G,一些基本面的認識

2009年初,3g牌照正式發放,中國移動得到 td cdma的牌照,聯通獲得wcdma的牌照,電信獲得cdma2000的牌照,3g年代到來。其實4g在國外已經開始商用 華為已經獲得4g的歐洲牌照 中國運營商3g的投資已經無法回頭,因此運營商會通力合作力推3g,把投資賺回來。3g的投資機會就只有這幾年...