Pandas 是基于 NumPy 的一種數(shù)據(jù)處理工具，該工具為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建。Pandas 納入了大量庫(kù)和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型，提供了高效地操作大型數(shù)據(jù)集所需的函數(shù)和方法。
和鯨社區(qū)的@劉早起同學(xué)創(chuàng)作了這個(gè)項(xiàng)目，其中包含Pandas基礎(chǔ)、Pandas數(shù)據(jù)處理、金融數(shù)據(jù)處理、當(dāng)Pandas遇上NumPy、補(bǔ)充內(nèi)容 5個(gè)部分。在深度和廣度上，都相較之前的Pandas習(xí)題系列有了很大的提升。
此前的Pandas系列文章：
10套練習(xí)，教你如何用Pandas做數(shù)據(jù)分析
給Excel重度用戶(hù)準(zhǔn)備的Pandas教程：用Pandas逐幀還原20個(gè)Excel常用操作
以上3套，再加上現(xiàn)在這篇，各種姿勢(shì)，各種體位基本都已經(jīng)集齊了
希望榨干我一個(gè)，滿(mǎn)足大家所有人，靴靴
掃描下方二維碼
進(jìn)入項(xiàng)目頁(yè)面，直接運(yùn)行
掃描下面二維碼獲取配套數(shù)據(jù)集
以下正文
1.將下面的字典創(chuàng)建為DataFrame
data = {'grammer':['Python','C','Java','GO',np.nan,'SQL','PHP','Python'],
'score':[1,2,np.nan,4,5,6,7,10]}
df = pd.DataFrame(data)
df
2.提取含有字符串'Python'的行
#方法一
df[df['grammer'] == 'Python']
#方法二
results = df['grammer'].str.contains('Python')
results.fillna(value=False,inplace = True)
df[results]
3.輸出df的所有列名
print(df.columns)
4.修改第二列列名為'popularity'
df.rename(columns={'score':'popularity'}, inplace = True)
df
5.統(tǒng)計(jì)grammer列中每種編程語(yǔ)言出現(xiàn)的次數(shù)
df['grammer'].value_counts()
6.將空值用上下值的平均值填充
df['popularity'] = df['popularity'].fillna(df['popularity'].interpolate())
df
7.提取popularity列中值大于3的行
df[df['popularity'] > 3]
8.按照grammer列進(jìn)行去除重復(fù)值
df.drop_duplicates(['grammer'])
9.計(jì)算popularity列平均值
df['popularity'].mean()
10.將grammer列轉(zhuǎn)換為list
df['grammer'].to_list()
11.將DataFrame保存為EXCEL
df.to_excel('test.xlsx')
12.查看數(shù)據(jù)行列數(shù)
df.shape
13.提取popularity列值大于3小于7的行
df[(df['popularity'] > 3) & (df['popularity'] < 7)]
14.交換兩列位置
# 方法1
temp = df['popularity']
df.drop(labels=['popularity'], axis=1,inplace = True)
df.insert(0, 'popularity', temp)
df
# 方法2
cols = df.columns[[1,0]]
df = df[cols]
df
15.提取popularity列最大值所在行
df[df['popularity'] == df['popularity'].max()]
16.查看最后5行數(shù)據(jù)
df.tail()
17.刪除最后一行數(shù)據(jù)
df.drop([len(df)-1],inplace=True)
df
18.添加一行數(shù)據(jù)['Perl',6.6]
row={'grammer':'Perl','popularity':6.6}
df = df.append(row,ignore_index=True)
df
19.對(duì)數(shù)據(jù)按照'popularity'列值的大小進(jìn)行排序
df.sort_values('popularity',inplace=True)
df
20.統(tǒng)計(jì)grammer列每個(gè)字符串的長(zhǎng)度
df['grammer'] = df['grammer'].fillna('R')
df['len_str'] = df['grammer'].map(lambda x: len(x))
df
21.讀取本地EXCEL數(shù)據(jù)
import pandas as pd
df = pd.read_excel('pandas120.xlsx')
22.查看df數(shù)據(jù)前5行
df.head()
23.將salary列數(shù)據(jù)轉(zhuǎn)換為最大值與最小值的平均值
#備注，在某些版本pandas中.ix方法可能失效，可使用.iloc，參考https://mp.weixin.qq.com/s/5xJ-VLaHCV9qX2AMNOLRtw
#為什么不能直接使用max，min函數(shù)，因?yàn)槲覀兊臄?shù)據(jù)中是20k-35k這種字符串，所以需要先用正則表達(dá)式提取數(shù)字
import re
# 方法一：apply + 自定義函數(shù)
def func(df):
lst = df['salary'].split('-')
smin = int(lst[0].strip('k'))
smax = int(lst[1].strip('k'))
df['salary'] = int((smin + smax) / 2 * 1000)
return df
df = df.apply(func,axis=1)
# 方法二：iterrows + 正則
import re
for index,row in df.iterrows():
nums = re.findall('\d+',row[2])
df.iloc[index,2] = int(eval(f'({nums[0]} + {nums[1]}) / 2 * 1000'))
24.將數(shù)據(jù)根據(jù)學(xué)歷進(jìn)行分組并計(jì)算平均薪資
print(df.groupby('education').mean())
25.將createTime列時(shí)間轉(zhuǎn)換為月-日
#備注，在某些版本pandas中.ix方法可能失效，可使用.iloc，參考https://mp.weixin.qq.com/s/5xJ-VLaHCV9qX2AMNOLRtw
for i in range(len(df)):
df.ix[i,0] = df.ix[i,0].to_pydatetime().strftime('%m-%d')
df.head()
26.查看索引、數(shù)據(jù)類(lèi)型和內(nèi)存信息
df.info()
27.查看數(shù)值型列的匯總統(tǒng)計(jì)
df.describe()
28.新增一列根據(jù)salary將數(shù)據(jù)分為三組
bins = [0,5000, 20000, 50000]
group_names = ['低', '中', '高']
df['categories'] = pd.cut(df['salary'], bins, labels=group_names)
df
29.按照salary列對(duì)數(shù)據(jù)降序排列
df.sort_values('salary', ascending=False)
30.取出第33行數(shù)據(jù)
df.loc[32]
31.計(jì)算salary列的中位數(shù)
np.median(df['salary'])
32.繪制薪資水平頻率分布直方圖
#執(zhí)行兩次
df.salary.plot(kind='hist')
33.繪制薪資水平密度曲線(xiàn)
df.salary.plot(kind='kde',xlim=(0,80000))
34.刪除最后一列categories
del df['categories']
# 等價(jià)于
df.drop(columns=['categories'], inplace=True)
35.將df的第一列與第二列合并為新的一列
df['test'] = df['education']+df['createTime']
df
36.將education列與salary列合并為新的一列
#備注：salary為int類(lèi)型，操作與35題有所不同
df['test1'] = df['salary'].map(str) + df['education']
df
37.計(jì)算salary最大值與最小值之差
df[['salary']].apply(lambda x: x.max() - x.min())
38.將第一行與最后一行拼接，成一個(gè)新表
pd.concat([df[:1], df[-2:-1]])
39.將第8行數(shù)據(jù)添加至末尾
df.append(df.iloc[7])
40.查看每列的數(shù)據(jù)類(lèi)型
df.dtypes
41.將createTime列設(shè)置為索引
df.set_index('createTime')
42.生成一個(gè)和df長(zhǎng)度相同的隨機(jī)數(shù)dataframe
df1 = pd.DataFrame(pd.Series(np.random.randint(1, 10, 135)))
df1
43.將上一題生成的dataframe與df合并
df= pd.concat([df,df1],axis=1)
df
44.生成新的一列new為salary列減去之前生成隨機(jī)數(shù)列
df['new'] = df['salary'] - df[0]
df
45.檢查數(shù)據(jù)中是否含有任何缺失值
df.isnull().values.any()
46.將salary列類(lèi)型轉(zhuǎn)換為浮點(diǎn)數(shù)
df['salary'].astype(np.float64)
47.計(jì)算salary大于10000的次數(shù)
len(df[df['salary']>10000])
48.查看每種學(xué)歷出現(xiàn)的次數(shù)
df.education.value_counts()
49.查看education列共有幾種學(xué)歷
df['education'].nunique()
50.提取salary與new列的和大于60000的最后3行
df1 = df[['salary','new']]
rowsums = df1.apply(np.sum, axis=1)
res = df.iloc[np.where(rowsums > 60000)[0][-3:], :]
res
51.使用絕對(duì)路徑讀取本地Excel數(shù)據(jù)
#請(qǐng)將下面的路徑替換為你存儲(chǔ)數(shù)據(jù)的路徑
data = pd.read_excel('/Users/Desktop/600000.SH.xls')
52.查看數(shù)據(jù)前三行
data.head(3)
53.查看每列數(shù)據(jù)缺失值情況
data.isnull().sum()
54.提取日期列含有空值的行
data[data['日期'].isnull()]
55.輸出每列缺失值具體行數(shù)
for columname in data.columns:
if data[columname].count() != len(data):
loc = data[columname][data[columname].isnull().values==True].index.tolist()
print('列名：'{}', 第{}行位置有缺失值'.format(columname,loc))
56.刪除所有存在缺失值的行
# 備注
# axis：0-行操作（默認(rèn)），1-列操作
# how：any-只要有空值就刪除（默認(rèn)），all-全部為空值才刪除
# inplace：False-返回新的數(shù)據(jù)集（默認(rèn)），True-在原數(shù)據(jù)集上操作
data.dropna(axis=0, how='any', inplace=True)
57.繪制收盤(pán)價(jià)的折線(xiàn)圖
import matplotlib.pyplot as plt
plt.style.use('seaborn-darkgrid') # 設(shè)置畫(huà)圖的風(fēng)格
plt.rc('font', size=6) #設(shè)置圖中字體和大小
plt.rc('figure', figsize=(4,3), dpi=150) # 設(shè)置圖的大小
data['收盤(pán)價(jià)(元)'].plot()
# 等價(jià)于
import matplotlib.pyplot as plt
plt.plot(df['收盤(pán)價(jià)(元)'])
58.同時(shí)繪制開(kāi)盤(pán)價(jià)與收盤(pán)價(jià)
data[['收盤(pán)價(jià)(元)','開(kāi)盤(pán)價(jià)(元)']].plot()
59.繪制漲跌幅的直方圖
plt.hist(df['漲跌幅(%)'])
# 等價(jià)于
df['漲跌幅(%)'].hist()
60.讓直方圖更細(xì)致
data['漲跌幅(%)'].hist(bins = 30)
61.以data的列名創(chuàng)建一個(gè)dataframe
temp = pd.DataFrame(columns = data.columns.to_list())
62.打印所有換手率不是數(shù)字的行
for i in range(len(data)):
if type(data.iloc[i,13]) != float:
temp = temp.append(data.loc[i])
temp
63.打印所有換手率為--的行
data[data['換手率(%)'].isin(['--'])]
64.重置data的行號(hào)
data = data.reset_index()
65.刪除所有換手率為非數(shù)字的行
k =[]
for i in range(len(data)):
if type(data.iloc[i,13]) != float:
k.append(i)
data.drop(labels=k,inplace=True)
66.繪制換手率的密度曲線(xiàn)
data['換手率(%)'].plot(kind='kde')
67.計(jì)算前一天與后一天收盤(pán)價(jià)的差值
data['收盤(pán)價(jià)(元)'].diff()
68.計(jì)算前一天與后一天收盤(pán)價(jià)變化率
data['收盤(pán)價(jià)(元)'].pct_change()
69.設(shè)置日期為索引
data = data.set_index('日期')
70.以5個(gè)數(shù)據(jù)作為一個(gè)數(shù)據(jù)滑動(dòng)窗口，在這個(gè)5個(gè)數(shù)據(jù)上取均值(收盤(pán)價(jià))
data['收盤(pán)價(jià)(元)'].rolling(5).mean()
71.以5個(gè)數(shù)據(jù)作為一個(gè)數(shù)據(jù)滑動(dòng)窗口，計(jì)算這五個(gè)數(shù)據(jù)總和(收盤(pán)價(jià))
data['收盤(pán)價(jià)(元)'].rolling(5).sum()
72.將收盤(pán)價(jià)5日均線(xiàn)、20日均線(xiàn)與原始數(shù)據(jù)繪制在同一個(gè)圖上
data['收盤(pán)價(jià)(元)'].plot()
data['收盤(pán)價(jià)(元)'].rolling(5).mean().plot()
data['收盤(pán)價(jià)(元)'].rolling(20).mean().plot()
73.按周為采樣規(guī)則，取一周收盤(pán)價(jià)最大值
data['收盤(pán)價(jià)(元)'].resample('W').max()
74.繪制重采樣數(shù)據(jù)與原始數(shù)據(jù)
data['收盤(pán)價(jià)(元)'].plot()
data['收盤(pán)價(jià)(元)'].resample('7D').max().plot()
75.將數(shù)據(jù)往后移動(dòng)5天
data.shift(5)
76.將數(shù)據(jù)向前移動(dòng)5天
data.shift(-5)
77.使用expending函數(shù)計(jì)算開(kāi)盤(pán)價(jià)的移動(dòng)窗口均值
data['開(kāi)盤(pán)價(jià)(元)'].expanding(min_periods=1).mean()
78.繪制上一題的移動(dòng)均值與原始數(shù)據(jù)折線(xiàn)圖
data['expanding Open mean']=data['開(kāi)盤(pán)價(jià)(元)'].expanding(min_periods=1).mean()
data[['開(kāi)盤(pán)價(jià)(元)', 'expanding Open mean']].plot(figsize=(16, 6))
79.計(jì)算布林指標(biāo)
data['former 30 days rolling Close mean']=data['收盤(pán)價(jià)(元)'].rolling(20).mean()
data['upper bound']=data['former 30 days rolling Close mean']+2*data['收盤(pán)價(jià)(元)'].rolling(20).std()#在這里我們?nèi)?0天內(nèi)的標(biāo)準(zhǔn)差
data['lower bound']=data['former 30 days rolling Close mean']-2*data['收盤(pán)價(jià)(元)'].rolling(20).std()
80.計(jì)算布林線(xiàn)并繪制
data[['收盤(pán)價(jià)(元)', 'former 30 days rolling Close mean','upper bound','lower bound' ]].plot(figsize=(16, 6))
81.導(dǎo)入并查看pandas與numpy版本
import pandas as pd
import numpy as np
print(np.__version__)
print(pd.__version__)
82.從NumPy數(shù)組創(chuàng)建DataFrame
#備注 使用numpy生成20個(gè)0-100隨機(jī)數(shù)
tem = np.random.randint(1,100,20)
df1 = pd.DataFrame(tem)
df1
83.從NumPy數(shù)組創(chuàng)建DataFrame
#備注 使用numpy生成20個(gè)0-100固定步長(zhǎng)的數(shù)
tem = np.arange(0,100,5)
df2 = pd.DataFrame(tem)
df2
84.從NumPy數(shù)組創(chuàng)建DataFrame
#備注 使用numpy生成20個(gè)指定分布(如標(biāo)準(zhǔn)正態(tài)分布)的數(shù)
tem = np.random.normal(0, 1, 20)
df3 = pd.DataFrame(tem)
df3
85.將df1，df2，df3按照行合并為新DataFrame
df = pd.concat([df1,df2,df3],axis=0,ignore_index=True)
df
86.將df1，df2，df3按照列合并為新DataFrame
df = pd.concat([df1,df2,df3],axis=1,ignore_index=True)
df
87.查看df所有數(shù)據(jù)的最小值、25%分位數(shù)、中位數(shù)、75%分位數(shù)、最大值
print(np.percentile(df, q=[0, 25, 50, 75, 100]))
88.修改列名為col1,col2,col3
df.columns = ['col1','col2','col3']
89.提取第一列中不在第二列出現(xiàn)的數(shù)字
df['col1'][~df['col1'].isin(df['col2'])]
90.提取第一列和第二列出現(xiàn)頻率最高的三個(gè)數(shù)字
temp = df['col1'].append(df['col2'])
temp.value_counts().index[:3]
91.提取第一列中可以整除5的數(shù)字位置
np.argwhere(df['col1'] % 5==0)
92.計(jì)算第一列數(shù)字前一個(gè)與后一個(gè)的差值
df['col1'].diff().tolist()
93.將col1,col2,clo3三列順序顛倒
df.ix[:, ::-1]
94.提取第一列位置在1,10,15的數(shù)字
df['col1'].take([1,10,15])
# 等價(jià)于
df.iloc[[1,10,15],0]
95.查找第一列的局部最大值位置
#備注 即比它前一個(gè)與后一個(gè)數(shù)字的都大的數(shù)字
tem = np.diff(np.sign(np.diff(df['col1'])))
np.where(tem == -2)[0] + 1
96.按行計(jì)算df的每一行均值
df[['col1','col2','col3']].mean(axis=1)
97.對(duì)第二列計(jì)算移動(dòng)平均值
#備注 每次移動(dòng)三個(gè)位置，不可以使用自定義函數(shù)
np.convolve(df['col2'], np.ones(3)/3, mode='valid')
98.將數(shù)據(jù)按照第三列值的大小升序排列
df.sort_values('col3',inplace=True)
99.將第一列大于50的數(shù)字修改為'高'
df.col1[df['col1'] > 50]= '高'
100.計(jì)算第二列與第三列之間的歐式距離
np.linalg.norm(df['col2']-df['col3'])
101.從CSV文件中讀取指定數(shù)據(jù)
# 備注 從數(shù)據(jù)1中的前10行中讀取positionName, salary兩列
df = pd.read_csv('數(shù)據(jù)1.csv',encoding='gbk', usecols=['positionName', 'salary'],nrows = 10)
df
102.從CSV文件中讀取指定數(shù)據(jù)
# 備注 從數(shù)據(jù)2中讀取數(shù)據(jù)并在讀取數(shù)據(jù)時(shí)將薪資大于10000的為改為高
df = pd.read_csv('數(shù)據(jù)2.csv',converters={'薪資水平': lambda x: '高' if float(x) > 10000 else '低'} )
df
103.從上一題數(shù)據(jù)中，對(duì)薪資水平列每隔20行進(jìn)行一次抽樣
df.iloc[::20, :][['薪資水平']]
104.將數(shù)據(jù)取消使用科學(xué)計(jì)數(shù)法
# 輸入
df = pd.DataFrame(np.random.random(10)**10, columns=['data'])
df
df.round(3)
105.將上一題的數(shù)據(jù)轉(zhuǎn)換為百分?jǐn)?shù)
df.style.format({'data': '{0:.2%}'.format})
106.查找上一題數(shù)據(jù)中第3大值的行號(hào)
df['data'].argsort()[::-1][7]
107.反轉(zhuǎn)df的行
df.iloc[::-1, :]
108.按照多列對(duì)數(shù)據(jù)進(jìn)行合并
# 輸入
df1= pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
'key2': ['K0', 'K1', 'K0', 'K1'],
'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3']})
df2= pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
'key2': ['K0', 'K0', 'K0', 'K0'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']})
pd.merge(df1, df2, on=['key1', 'key2'])
109.按照多列對(duì)數(shù)據(jù)進(jìn)行合并
pd.merge(df1, df2, how='left', on=['key1', 'key2'])
110.再次讀取數(shù)據(jù)1并顯示所有的列
df = pd.read_csv('數(shù)據(jù)1.csv',encoding='gbk')
pd.set_option('display.max.columns', None)
df
111.查找secondType與thirdType值相等的行號(hào)
np.where(df.secondType == df.thirdType)
112.查找薪資大于平均薪資的第三個(gè)數(shù)據(jù)
np.argwhere(df['salary'] > df['salary'].mean())[2]
113.將上一題數(shù)據(jù)的salary列開(kāi)根號(hào)
df[['salary']].apply(np.sqrt)
114.將上一題數(shù)據(jù)的linestaion列按_拆分
df['split'] = df['linestaion'].str.split('_')
115.查看上一題數(shù)據(jù)中一共有多少列
df.shape[1]
116.提取industryField列以'數(shù)據(jù)'開(kāi)頭的行
df[df['industryField'].str.startswith('數(shù)據(jù)')]
117.按列制作數(shù)據(jù)透視表
pd.pivot_table(df,values=['salary','score'],index='positionId')
118.同時(shí)對(duì)salary、score兩列進(jìn)行計(jì)算
df[['salary','score']].agg([np.sum,np.mean,np.min])
119.對(duì)salary求平均，對(duì)score列求和
df.agg({'salary':np.sum,'score':np.mean})
120.計(jì)算并提取平均薪資最高的區(qū)
df[['district','salary']].groupby(by='district').mean().sort_values('salary',ascending=False).head(1)
文末復(fù)讀機(jī)
掃描下方二維碼
進(jìn)入項(xiàng)目頁(yè)面，直接運(yùn)行
聯(lián)系客服
