【Pyhton科学计算（2）】 - pandas库之数据查看、选择¶

pandas 是基于 Numpy 构建的，让以 Numpy 为中心的应用变得更加简单。

平台获取的数据主要是 DataFrame 的形式，它便是 pandas 中的。

除此之外，pandas 还包括 一位数组series 以及三维的Panel。

下面将进行详细介绍：

• Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。

• DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。

• Panel ：三维的数组，可以理解为DataFrame的容器。

Pandas官网，更多功能请参考http://pandas-docs.github.io/pandas-docs-travis/index.html

本节主要讲解 DataFrame 的数据查看与选择

1. Series¶

由一组数据（各种Numpy数据类型），以及一组与之相关的标签数据（即索引）组成。仅由一组数据即可产生最简单的Series，可以通过传递一个list对象来创建一个Series，pandas会默认创建整型索引,更多series内容请参考官网 http://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.html

创建一个Series：

获取 Series 的索引:

由于 Series 的用法在后续的 DataFrame 讲解及涉及，所以这了不做过多介绍，精彩内容请往下看。

2. DataFrame¶

DataFrame是一个表格型的数据结构，它含有一组有序的列，每一列的数据结构都是相同的，而不同的列之间则可以是不同的数据结构（数值、字符、布尔值等）。或者以数据库进行类比，DataFrame中的每一行是一个记录，名称为Index的一个元素，而每一列则为一个字段，是这个记录的一个属性。DataFrame既有行索引也有列索引，可以被看做由Series组成的字典（共用同一个索引）。

更多内容请参考：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.html

2.1 创建一个DataFrame，包括一个numpy array, 时间索引和列名字：¶

2.2 查看数据 ¶

我们以平台获取的数据为例进行讲解：

查看前几条数据：

查看后几条数据：

查看 DataFrame 的索引

查看 DataFrame 的列名

查看 DataFrame 的值

使用 describe() 函数对于数据的快速统计汇总：

对数据的转置：

按列对 DataFrame 进行排序

2.3 选择数据¶

2.3.1 通过下标选取数据:¶

df['open']，df.open

以上两个语句是等效的，都是返回 df 名称为 open 列的数据，返回的为一个 Series。

df[0:3], df['2016-07-05':'2016-07-08']

下标索引选取的是 DataFrame 的记录，与 List 相同 DataFrame 的下标也是从0开始，区间索引的话，为一个左闭右开的区间，即[0：3]选取的为0-2三条记录。

与此等价，还可以用起始的索引名称和结束索引名称选取数据,如：df['a':'b']。有一点需要注意的是使用起始索引名称和结束索引名称时，也会包含结束索引的数据。具体看下方示例：

以上两种方式返回的都是DataFrame。

选择一列数据：

选择多列数据：

选择多行：

或者按 index 选取:

2.3.2 使用标签选取数据：¶

df.loc[行标签,列标签]

df.loc['a':'b'] #选取 a到b 行数据

df.loc[:,'open'] #选取 open 列的数据

df.loc 的第一个参数是行标签，第二个参数为列标签（可选参数，默认为所有列标签），两个参数既可以是列表也可以是单个字符，如果两个参数都为列表则返回的是 DataFrame，否则，则为 Series。

PS：loc为location的缩写。

2.3.3. 使用位置选取数据：¶

df.iloc[行位置,列位置]

df.iloc[1,1] #选取第二行，第二列的值，返回的为单个值

df.iloc[[0,2],:] #选取第一行及第三行的数据

df.iloc[0:2,:] #选取第一行到第三行（不包含）的数据

df.iloc[:,1] #选取所有记录的第二列的值，返回的为一个Series

df.iloc[1,:] #选取第一行数据，返回的为一个Series

PS：iloc 则为 integer & location 的缩写

2.3.4. 更广义的切片方式是使用.ix，它自动根据给到的索引类型判断是使用位置还是标签进行切片¶

df.ix[1,1]

df.ix['a':'b']

2.3.5 通过逻辑指针进行数据切片：¶

df[逻辑条件]

df[df.one >= 2] #单个逻辑条件

df[(df.one >=1 ) & (df.one < 3) ] #多个逻辑条件组合

使用 条件过来更改数据。

观察可以发现，df 中小于 9 的数都变为 NaN。

下面我们就把大于 9 的数赋值为0.

发现大于 9 的数都被替换为了0.

接下来教大家使用isin()方法来过滤在指定列中的数据：

3. Panel¶

平台get_price，如果是多支股票, 则返回pandas.Panel对象。更多内容请参考http://pandas.pydata.org/pandas-docs/stable/api.html#panel

可通过 panel[列标,行标，股票代码] 获取数据.

由打印的结果可以看出：

• 列标(Items axis: close to open)
• 行标(Major_axis axis: 2016-07-12 00:00:00 to 2016-07-15 00:00:00)
• 股票代码(Minor_axis axis: 000001.XSHE to 000002.XSHE)

Panel 操作与 DataFrame 基本相同，下节会为大家讲解 DataFrame 的数据处理与规整。