中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

打開APP
userphoto
未登錄

開通VIP,暢享免費電子書等14項超值服

開通VIP
pandas中的數(shù)據(jù)處理利器-groupby
在數(shù)據(jù)分析中,常常有這樣的場景,需要對不同類別的數(shù)據(jù),分別進行處理,然后再將處理之后的內(nèi)容合并,作為結(jié)果輸出。對于這樣的場景,就需要借助靈活的groupby功能來處理。

groupby的操作過程如下

  1. split,  第一步,根據(jù)某一個或者多個變量的組合,將輸入數(shù)據(jù)分成多個group
  2. apply, 第二步, 對每個group對應(yīng)的數(shù)據(jù)進行處理
  3. combine, 第三步,將分組處理的結(jié)果合并起來,形成一個新的數(shù)據(jù)

圖示如下

上述例子在python中的實現(xiàn)過程如下

>>> import numpy as np
>>> import pandas as pd
>>> df = pd.DataFrame({'x':['a','a','b','b','c','c'],'y':[2,4,0,5,5,10]})
>>> df
   x y
0 a 2
1 a 4
2 b 0
3 b 5
4 c 5
5 c 10


>
>> df.groupby('x').mean()
     y
x
a 3.0
b 2.5
c 7.5

上述代碼實現(xiàn)的是分組求均值的操作,通過groupby方法,首選根據(jù)x標(biāo)簽的內(nèi)容分為a,b,c3組,然后對每組求均值,最后將結(jié)果進行合并。

groupby函數(shù)的返回值為為DataFrameGroupBy對象,有以下幾個基本屬性和方法

>>> grouped = df.groupby('x')
>>> grouped
<pandas.core.groupby.generic.DataFrameGroupBy object at 0x06E94FA0>
# groups屬性,返回值為字典,key是分組的類別
>>> grouped.groups
{'a': Int64Index([0, 1], dtype='int64'), 'b': Int64Index([2, 3], dtype='int64'), 'c': Int64Index([4, 5], dtype='int64')}
# len函數(shù)可以獲得分組后的組別數(shù)
>>> len(grouped.groups)
3
# get_group方法可以獲得每個group對應(yīng)的數(shù)據(jù)框
>>> grouped.get_group('a')
   x y
0 a 2
1 a 4
>>> grouped.get_group('b')
   x y
2 b 0
3 b 5

#
 遍歷group
>>> for name, group in grouped:
... print(name)
... print(group)
...
a
   x y
0 a 2
1 a 4
b
   x y
2 b 0
3 b 5
c
   x y
4 c 5
5 c 10

pandas中的groupby實際上非常的靈活且強大,具體的操作技巧有以下幾種

1. 分組方式

分組的依據(jù)既可以是單個標(biāo)簽,也可以是多個標(biāo)簽的組合,示例如下

>>> df = pd.DataFrame({'id':[1, 2, 3, 4],
... 'class':['a','a','b','b'],
... 'sex':['male', 'female', 'male', 'female'],
... 'age':[26, 16, 28, 30],
... })
>>>
>>> df
   id class     sex  age
0   1     a male 26
1   2     a female 16
2   3     b male 28
3   4     b female 30

# 單個列標(biāo)簽進行分組
>>> df.groupby('class')

# 多個列標(biāo)簽的組合,用列表的形式聲明
>>> df.groupby(['class','sex'])

# 用行標(biāo)簽分組
>>> arrays = [['Falcon', 'Falcon', 'Parrot', 'Parrot'],
... ['Captive', 'Wild', 'Captive', 'Wild']]
>>> index = pd.MultiIndex.from_arrays(arrays, names=('Animal', 'Type'))
>>> df = pd.DataFrame({'Max Speed': [390., 350., 30., 20.]},
... index=index)
>>> df
                Max Speed
Animal Type
Falcon Captive 390.0
       Wild 350.0
Parrot Captive 30.0
       Wild 20.0

# 針對行標(biāo)簽為multiindex的情況,用level指定分組的標(biāo)簽
# 既可以是數(shù)字索引
>>> df.groupby(level=0).mean()
        Max Speed
Animal
Falcon 370.0
Parrot 25.0
# 也可以是name屬性
>>> df.groupby(level="Type").mean()
         Max Speed
Type
Captive 210.0
Wild 185.0
2. 分組處理

分組處理就是對每個分組進行相同的操作,groupby的返回對象并不是一個DataFrame,   所以無法直接使用DataFrame的一些操作函數(shù)。

針對一些常用的功能,groupby提供了一些函數(shù)來直接操作DataFrameGroupBy對象, 比如統(tǒng)計個數(shù),求和,求均值等,示例如下

# 計算每個group的個數(shù)
>>> df.groupby('x').count()
# 計算每個group的個數(shù)
>>> df.groupby('x').size()
# 求和
>>> df.groupby('x').sum()
# 求均值
>>> df.groupby('x').mean()
# 求中位數(shù)
>>> df.groupby('x').median()
# 求方差
>>> df.groupby('x').var()
# 求標(biāo)準(zhǔn)差
>>> df.groupby('x').std()
# 求最小值
>>> df.groupby('x').min()
# 求最大值
>>> df.groupby('x').max()

這里只是列舉了部分函數(shù),完整列表請參見API。通過aggregate方法則可以靈活的使用各種函數(shù),用法如下

>>> df = pd.DataFrame({'x':['a','a','b','b','c','c'],'y':[2,4,0,5,5,10]})
# 一次使用一個函數(shù)進行處理
>>> df.groupby('x').aggregate(np.mean)
     y
x
a 3.0
b 2.5
c 7.5
# agg是aggregate的簡寫
>>> df.groupby('x').agg(np.mean)
     y
x
a 3.0
b 2.5
c 7.5
# 一次使用多種函數(shù)進行處理
>>> df.groupby('x').agg([np.sum, np.mean])
    y
  sum mean
x
a 6 3.0
b 5 2.5
c 15 7.5
# 自定義輸出的列標(biāo)簽
>>> df.groupby('x').agg([np.sum,np.mean]).rename(columns={'sum':'cus_sum','mean':'cus_mean'})
        y
  cus_sum cus_mean
x
a 6 3.0
b 5 2.5
c 15 7.5


>
>> df = pd.DataFrame({'x':['a','a','b','b','c','c'],'y':[2,4,0,5,5,10],'z':[4.0,2.1,3.5,4.2,3.8,4.7]})
>>> df
   x y z
0 a 2 4.0
1 a 4 2.1
2 b 0 3.5
3 b 5 4.2
4 c 5 3.8
5 c 10 4.7
# 同一列用不用函數(shù)進行處理
>>> df.groupby('x').agg(min=('y', 'min'), max=('y', 'max'))
   min max
x
a 2 4
b 0 5
c 5 10
# 不同列用不同函數(shù)進行處理
>>> df.groupby('x').agg(min=('y', 'min'), max=('z', 'max'))
   min max
x
a 2 4.0
b 0 4.2
c 5 4.7
# 不同列用不同函數(shù)進行處理
>>> df.groupby('x').agg({'y':'mean','z':'sum'})
     y z
x
a 3.0 6.1
b 2.5 7.7
c 7.5 8.5

3. 分組過濾

當(dāng)需要根據(jù)某種條件對group進行過濾時,可以使用filter方法,用法如下

>>> df = pd.DataFrame({'x':['a','a','b','b','c','c'],'y':[2,4,0,5,5,10]})
>>> df
   x y
0 a 2
1 a 4
2 b 0
3 b 5
4 c 5
5 c 10

>
>> df.groupby('x').filter(lambda x: x.mean() > 2.5)
   x y
0 a 2
1 a 4
4 c 5
5 c 10

4. 匯總數(shù)據(jù)

transform方法返回一個和輸入的原始數(shù)據(jù)相同尺寸的數(shù)據(jù)框,常用于在原始數(shù)據(jù)框的基礎(chǔ)上增加新的一列分組統(tǒng)計數(shù)據(jù),用法如下

>>> df = pd.DataFrame({'x':['a','a','b','b','c','c'],'y':[2,4,0,5,5,10]})
>>> df
   x y
0 a 2
1 a 4
2 b 0
3 b 5
4 c 5
5 c 10

#
 輸出結(jié)果的行數(shù)和輸入的原始數(shù)據(jù)框相同
# 內(nèi)容為分組統(tǒng)計的結(jié)果
>>> df.groupby('x').transform(lambda x:x.count())
   y
0 2
1 2
2 2
3 2
4 2
5 2
# 通過索引操作符,在原始數(shù)據(jù)框的基礎(chǔ)上添加匯總列
>>> df['mean_size'] = df.groupby('x').transform(lambda x:x.count())
>>> df
   x y mean_size
0 a 2 2
1 a 4 2
2 b 0 2
3 b 5 2
4 c 5 2
5 c 10 2

5. apply

apply相比agg, 更加的靈活,用法如下

>>> df = pd.DataFrame({'x':['a','a','b','b','c','c'],'y':[2,4,0,5,5,10]})
>>> df
   x y
0 a 2
1 a 4
2 b 0
3 b 5
4 c 5
5 c 10

>
>> df.groupby('x').apply(lambda x:x.count())
   x y
x
a 2 2
b 2 2
c 2 2

>
>> df.groupby('x').apply(lambda x:x - x.count())
   y
0 0
1 2
2 -2
3 3
4 3
5 8

pandas中的groupby功能非常的靈活強大,可以極大提高數(shù)據(jù)處理的效率。

·end·

本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊舉報。
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
Python 數(shù)據(jù)分析——Pandas 分組運算
總結(jié)了這67個pandas函數(shù),完美解決數(shù)據(jù)處理,拿來即用!
DataFrame(14):對比MySQL學(xué)習(xí)“Pandas的groupby分組聚合”(超詳細)
Pandas分組運算(groupby)修煉
用pandas進行數(shù)據(jù)分析實戰(zhàn)
pandas——很全的groupby、agg,對表格數(shù)據(jù)分組與統(tǒng)計
更多類似文章 >>
生活服務(wù)
熱點新聞
分享 收藏 導(dǎo)長圖 關(guān)注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點擊這里聯(lián)系客服!

聯(lián)系客服