Python遍历pandas数据方法总结

前言

Pandas是python的一个数据分析包，提供了大量的快速便捷处理数据的函数和方法。其中Pandas定义了Series 和 DataFrame两种数据类型，这使数据操作变得更简单。Series 是一种一维的数据结构，类似于将列表数据值与索引值相结合。DataFrame 是一种二维的数据结构，接近于电子表格或者mysql数据库的形式。

在数据分析中不可避免的涉及到对数据的遍历查询和处理，比如我们需要将dataframe两列数据两两相除，并将结果存储于一个新的列表中。本文通过该例程介绍对pandas数据遍历的几种方法。

for..in循环迭代方式

for语句是Python内置的迭代器工具，用于从可迭代容器对象（如列表、元组、字典、集合、文件等）中逐个读取元素，直到容器中没有更多元素为止，工具和对象之间只要遵循可迭代协议即可进行迭代操作。
具体的迭代的过程：可迭代对象通过__iter__方法返回迭代器，迭代器具有__next__方法，for循环不断地调用__next__方法，每次按序返回迭代器中的一个值，直到迭代到最后，没有更多元素时抛出异常StopIteration（python自动处理异常）。迭代的优点是无需把所有元素一次加载到内存中，可以在调用next方法时逐个返回元素，避免出现内存空间不够的情况。

>>> x = [1,2,3]>>> its = x.__iter__() #列表是可迭代对象，否则会提示不是迭代对象>>> its<list_iterator object at 0x100f32198>>>> next(its) # its包含此方法，说明its是迭代器1>>> next(its) 2>>>next(its) 3>>> next(its) Traceback (most recent call last): File "<stdin>", line 1, in <module>StopIteration

实现代码如下：

def haversine_looping(df):disftance_list = []for i in range(0,len(df)): disftance_list.append(df.iloc[i][‘high']/df.iloc[i][‘open']) return disftance_list

关于上述代码中range的实现方法，我们也可根据迭代器协议自实现相同功能的迭代器（自带iter方法和next方法）应用在for循环中，代码如下：

class MyRange: def __init__(self, num):  self.i = 0  self.num = num def __iter__(self):  return self def __next__(self):  if self.i < self.num:  i = self.i  self.i += 1  return i  else:  raise StopIteration() for i in MyRange(10): print(i) 

我们也可以通过列表解析的方式用更少的代码实现数据处理功能

disftance_list = [df.iloc[i][‘high']/df.iloc[i][‘open'] for i in range(0,len(df))]

iterrows()生成器方式

iterrows是对dataframe行进行迭代的一个生成器，它返回每行的索引及包含行本身的对象。所谓生成器其实是一种特殊的迭代器，内部支持了迭代器协议。Python中提供生成器函数和生成器表达式两种方式实现生成器，每次请求返回一个结果，不需要一次性构建一个结果列表，节省了内存空间。