參考鏈接:http://pandas.pydata.org/pandas-docs/stable/merging.html
用于通過一個或多個鍵將兩個數(shù)據(jù)集的行連接起來,類似于 SQL 中的 JOIN。該函數(shù)的典型應(yīng)用場景是,針對同一個主鍵存在兩張包含不同字段的表,現(xiàn)在我們想把他們整合到一張表里。在此典型情況下,結(jié)果集的行數(shù)并沒有增加,列數(shù)則為兩個元數(shù)據(jù)的列數(shù)和減去連接鍵的數(shù)量。
on=None 用于顯示指定列名(鍵名),如果該列在兩個對象上的列名不同,則可以通過 left_on=None, right_on=None 來分別指定。或者想直接使用行索引作為連接鍵的話,就將 left_index=False, right_index=False 設(shè)為 True。
how=’inner’ 參數(shù)指的是當(dāng)左右兩個對象中存在不重合的鍵時,取結(jié)果的方式:inner 代表交集;outer 代表并集;left 和 right 分別為取一邊。
suffixes=(‘_x’,’_y’) 指的是當(dāng)左右對象中存在除連接鍵外的同名列時,結(jié)果集中的區(qū)分方式,可以各加一個小尾巴。
對于多對多連接,結(jié)果采用的是行的笛卡爾積。
pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False)
默認(rèn)以重疊的列名作為鏈接鍵,默認(rèn)inner
官方關(guān)于how的定義:
how : {‘left’, ‘right’, ‘outer’, ‘inner’}, default ‘inner’
最好是顯示的試用on, pd.merge(df1,df2, on=’key’)
pd.merge(df1,df2, left_on=’lkey’, right_on=’rkey’)
對重復(fù)列名的處理suffixes, 如
pd.merge(left,right,on=’key1’, suffixes=(‘_left’,’_right’)
df1=DataFrame({'key':['a','b','b'],'data1':range(3)}) df2=DataFrame({'key':['a','b','c'],'data2':range(3)})pd.merge(df1,df2)
多鍵連接時將連接鍵組成列表傳入
right=DataFrame({'key1':['foo','foo','bar','bar'], 'key2':['one','one','one','two'], 'lval':[4,5,6,7]})left=DataFrame({'key1':['foo','foo','bar'], 'key2':['one','two','one'], 'lval':[1,2,3]}) pd.merge(left,right,on=['key1','key2'],how='right')
如果兩個對象的列名不同,可以分別指定
df3=DataFrame({'key3':['foo','foo','bar','bar'], 'key4':['one','one','one','two'], 'lval':[4,5,6,7]}) pd.merge(left,df3,left_on='key1',right_on='key3',how='right')
以索引當(dāng)做連接鍵,使用參數(shù)left_index=true,right_index=True (最好使用join)
join方法提供了一個簡便的方法用于將兩個DataFrame中的不同的列索引合并成為一個DataFrame。
join方法默認(rèn)為left。
left = pd.DataFrame({'A': ['A0', 'A1', 'A2'], 'B': ['B0', 'B1', 'B2']}, index=['K0', 'K1', 'K2'])right = pd.DataFrame({'C': ['C0', 'C2', 'C3'], 'D': ['D0', 'D2', 'D3']}, index=['K0', 'K2', 'K3'])
同理可以使用merge來實(shí)現(xiàn),要將left_index=True, right_index=True
result = pd.merge(left, right, left_index=True, right_index=True, how='inner')
left.join(right, on=key_or_keys)pd.merge(left, right, left_on=key_or_keys, right_index=True, how='left', sort=False)
left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3'], 'key': ['K0', 'K1', 'K0', 'K1']})
right = pd.DataFrame({'C': ['C0', 'C1'], 'D': ['D0', 'D1']}, index=['K0', 'K1'])
合并
left.join(right, on='key')pd.merge(left, right, left_on='key', right_index=True, how='left', sort=False)
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)
concat方法相當(dāng)于數(shù)據(jù)庫中的全連接(UNION ALL),可以指定按某個軸進(jìn)行連接,也可以指定連接的方式j(luò)oin(outer,inner 只有這兩種)。與數(shù)據(jù)庫不同的時concat不會去重,要達(dá)到去重的效果可以使用drop_duplicates方法
軸向連接 pd.concat() 就是單純地把兩個表拼在一起,這個過程也被稱作連接(concatenation)、綁定(binding)或堆疊(stacking)。因此可以想見,這個函數(shù)的關(guān)鍵參數(shù)應(yīng)該是 axis,用于指定連接的軸向。
在默認(rèn)的 axis=0 情況下,pd.concat([obj1,obj2]) 函數(shù)的效果與 obj1.append(obj2) 是相同的;
而在 axis=1 的情況下,pd.concat([df1,df2],axis=1) 的效果與 pd.merge(df1,df2,left_index=True,right_index=True,how=’outer’) 是相同的。
可以理解為 concat 函數(shù)使用索引作為“連接鍵”。
舉例:
df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']}, index=[0, 1, 2, 3])
df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'], 'B': ['B4', 'B5', 'B6', 'B7'], 'C': ['C4', 'C5', 'C6', 'C7'], 'D': ['D4', 'D5', 'D6', 'D7']}, index=[4, 5, 6, 7])
df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'], 'B': ['B8', 'B9', 'B10', 'B11'], 'C': ['C8', 'C9', 'C10', 'C11'], 'D': ['D8', 'D9', 'D10', 'D11']}, index=[8, 9, 10, 11])
frames = [df1, df2, df3]result = pd.concat(frames)result
objs 就是需要連接的對象集合,一般是列表或字典;
axis=0 是連接軸向
join=’outer’ 參數(shù)作用于當(dāng)另一條軸的 index 不重疊的時候,只有 ‘inner’ 和 ‘outer’ 可選(順帶展示 ignore_index=True 的用法)
concat 一些特點(diǎn):
- 作用于Series時,如果在axis=0時,類似union。axis=1 時,組成一個DataFrame,索引是union后的,列是類似join后的結(jié)果。
- 通過參數(shù)join_axes=[] 指定自定義索引。
- 通過參數(shù)keys=[] 創(chuàng)建層次化索引
- 通過參數(shù)ignore_index=True 重建索引。
通過keys創(chuàng)建層次化索引
result = pd.concat(frames, keys=['x', 'y', 'z'])
result.ix['y']
下面來演示axis
pd.concat([df1, df4], axis=1)
pd.concat([df1, df4], axis=1, join='inner')
指定自定義索引join_axes
pd.concat([df1, df4], axis=1, join_axes=[df1.index])
df1.append(df4)
df1.append([df2, df3])
好了,有些累了,具體請參考
http://pandas.pydata.org/pandas-docs/stable/merging.html
聯(lián)系客服