預處理演算法 4 表堆疊

2022-06-12 06:12:09 字數 2307 閱讀 9354

表堆疊主要是兩個dataframe進行資料合併

#

!/usr/bin/env python

#-*- coding:utf-8 -*-

#def

execute():

#'''

載入模組

'''import

pandas as pd

from sqlalchemy import

create_engine

'''連線資料庫

'''engine = create_engine('

mysql+pymysql:')

'''選擇目標資料

'''params =

inputs =

if params['

left_columns

'] == ''

: left_sql = '

select * from

' + inputs['

table_left']

left =pd.read_sql_query(left_sql, engine)

else

: left_sql = '

select

' + params['

left_columns

'] + '

from

' + inputs['

table_left']

left =pd.read_sql_query(left_sql, engine)

if params['

right_columns

'] == ''

: right_sql = '

select * from

' + inputs['

table_right']

right =pd.read_sql_query(right_sql, engine)

else

: right_sql = '

select

' + params['

right_columns

'] + '

from

' + inputs['

table_right']

right =pd.read_sql_query(right_sql, engine)

#print(left)

#print(right)

'''合併資料

'''data_out = pd.concat([left, right], axis=int(params['

method

']))

#'''

將結果寫出

'''print

(data_out)

'''資料示例

'''"""

id score

0 1 80.0

1 2 20.0

2 3 nan

3 4 5.0

4 5 4.0

id name

0 1 張三

1 2 李四

2 3 王五

3 4 趙六

4 5 馮七

5 6 朱重八

id score id name

0 1.0 80.0 1 張三

1 2.0 20.0 2 李四

2 3.0 nan 3 王五

3 4.0 5.0 4 趙六

4 5.0 4.0 5 馮七

5 nan nan 6 朱重八

*************************=

id score name

0 1 80.0 nan

1 2 20.0 nan

2 3 nan nan

3 4 5.0 nan

4 5 4.0 nan

5 6 20.0 nan

0 1 nan 張三

1 2 nan 李四

2 3 nan 王五

3 4 nan 趙六

4 5 nan 馮七

5 6 nan 朱重八

"""#

if__name__ == '

__main__':

execute()

預處理演算法 8 異常值處理

usr bin env python coding utf 8 def execute import pandas as pd import numpy as np import warnings warnings.filterwarnings ignore from sqlalchemy impo...

模擬LRU演算法 通道處理演算法

最近寫了兩個程式,模擬作業系統的演算法,只是基本實現了課本上的基本功能,實際應該是很複雜的。模擬lru頁面置換演算法 1 include 2 include 3 include 45 define tn 3 分配給該程式的主存頁數 6 define pn 10 位址流7 8 typedef stru...

hash衝突及處理演算法

看了concurrenthashmap的實現,使用的是拉鍊法.雖然我們不希望發生衝突,但實際上發生衝突的可能性仍是存在的。當關鍵字值域遠大於雜湊表的長度,而且事先並不知道關鍵字的具體取值時。衝突就難免會發 生。另外,當關鍵字的實際取值大於雜湊表的長度時,而且表中已裝滿了記錄,如果插入乙個新記錄,不僅...