資料基礎 資料以及資料集的操作

2022-09-17 06:48:14 字數 1524 閱讀 7511

資料和資料集

元素-- 物件 -- 容器

資料元素

算數運算

代數運算

邏輯運算

位移運算

增 刪 改 查

初始化 遍歷 排序 iterator

資料型別轉換

包含:

常見keys

刪除 : remove del pop clear delete drop truncate

改 : set

查 : , take() get endswith indexof find

複製 : clone copy

包含與歸屬 : contains in is isinstance() equals exists isempty empty

元素數量: len length count size

邊界: max min sum

符號 : + * : -

資料型別: copytoarray tolist

集合的情況

keys values items

實現方式

資料本身操作 以及內建函式

高階函式
遍歷:      foreach map flatmap 

過濾篩選: filter

聚合: reduce aggregations

檢視: head() tail() first last count() take() lastindexof

關聯: zip union

排序和反轉 reverse order sorted

具體的flink
transformation:資料轉換的各種操作,

map / flatmap / filter / keyby / reduce / fold / aggregations

/ window / windowall / union / window join

/ split / select / project 等

操作型別

檢視檔案內容 cat echo less more head() tail()

檢視各種 : cat /proc/cpuinfo cat /proc/meminfo fdisk -l dmesg

df du

ifconfig uname date

pwd ls ps top

cpu 記憶體 磁碟 網絡卡 檔案 網路 作業系統版本 時間

搜尋查詢類 : find locate which whereis

幫助資訊類: help man info

過濾類: grep

鍵入資料 以及流程控制

scanner input new scanner system.in system.out.println 請輸入乙個數字 int a input.nextint system.out.println 請輸入乙個字串 string b input.next system.out.println a...

大資料以及hadoop的入門介紹

為什麼大資料這幾年才發展起來?隨著網際網路技術的深入發展,產生了越來越多的資料。比如 1 電商 產生了大量的使用者瀏覽,購物行為 2 移動運營商記錄了大量的使用者上網行為 3 金融系統的分析 以上的這些需求,用以前傳統的技術無法勝任,需要有乙個全新的技術體系來支撐。在此背景下就產生了一系列針對海量資...

MySQL匯出表結構表資料以及匯入資料

使用mysqldump命令列下具體用法如下 mysqldump u使用者名稱 p密碼 d 資料庫名 表名 指令碼名 1 匯出資料庫為dbname的表結構 其中使用者名稱root,密碼為dbpasswd,生成的指令碼名為db.sql mysqldump uroot pdbpasswd d dbname...