利用Python进行数据分析（原书第2版）

　　阅读本书可以获得一份关于在Python下操作、处理、清洗、规整数据集的完整说明。本书第二版针对Python 3.6进行了更新，并增加实际案例向你展示如何高效地解决一系列数据分析问题。你将在阅读过程中学习到新版本的pandas、NumPy、IPython和Jupyter。

　　本书由Wes McKinney创作，他是Python pandas项目的创始人。本书是对Python数据科学工具的实操化、现代化的介绍，非常适合刚学Python的数据分析师或刚学数据科学以及科学计算的Python编程者。数据文件和相关的材料可以在GitHub上找到：
　　l 使用IPython shell和Jupyter notebook进行探索性计算
　　l 学习NumPy(Numerical Python)的基础和高级特性
　　l 入门pandas库中的数据分析工具
　　l 使用灵活工具对数据进行载入、清洗、变换、合并和重塑
　　l 使用matplotlib创建富含信息的可视化
　　l 将pandas的groupby功能应用于对数据集的切片、分块和汇总
　　l 分析并操作规则和不规则的时间序列数据
　　利用完整的、详细的示例学习如何解决现实中数据分析问题

　　阅读本书可以获得关于在Python下操作、处理、清洗、规整数据集的完整说明。本书第2版针对Python 3.6进行了更新，并增加了实际案例向你展示如何高效地解决一系列数据分析问题。你将在阅读过程中学习到最新版本的pandas、NumPy、IPython和Jupyter。

　　Wes McKinney是流行的Python开源数据分析库pandas的创始人。他是一名活跃的演讲者，也是Python数据社区和Apache软件基金会的Python/C++开源开发者。目前他在纽约从事软件架构师工作。

版权信息
译者序
前言
第1章 准备工作
1.1 本书内容
1.2 为何利用Python进行数据分析
1.3 重要的Python库
1.4 安装与设置
1.5 社区和会议
1.6 快速浏览本书
第2章 Python语言基础、IPython及Jupyter notebook
2.1 Python解释器
2.2 IPython基础
2.3 Python语言基础
第3章 内建数据结构、函数及文件
3.1 数据结构和序列
3.2 函数
3.3 文件与操作系统
3.4 本章小结
第4章 NumPy基础：数组与向量化计算
4.1 NumPy ndarray：多维数组对象
4.2 通用函数：快速的逐元素数组函数
4.3 使用数组进行面向数组编程
4.4 使用数组进行文件输入和输出
4.5 线性代数
4.6 伪随机数生成
4.7 示例：随机漫步
4.8 本章小结
第5章 pandas入门
5.1 pandas数据结构介绍
5.2 基本功能
5.3 描述性统计的概述与计算
5.4 本章小结
第6章 数据载入、存储及文件格式
6.1 文本格式数据的读写
6.2 二进制格式
6.3 与Web API交互
6.4 与数据库交互
6.5 本章小结
第7章 数据清洗与准备
7.1 处理缺失值
7.2 数据转换
7.3 字符串操作
7.4 本章小结
第8章 数据规整：连接、联合与重塑
8.1 分层索引
8.2 联合与合并数据集
8.3 重塑和透视
8.4 本章小结
第9章 绘图与可视化
9.1 简明matplotlib API入门
9.2 使用pandas和seaborn绘图
9.3 其他Python可视化工具
9.4 本章小结
第10章 数据聚合与分组操作
10.1 GroupBy机制
10.2 数据聚合
10.3 应用：通用拆分-应用-联合
10.4 数据透视表与交叉表
10.5 本章小结
第11章 时间序列
11.1 日期和时间数据的类型及工具
11.2 时间序列基础
11.3 日期范围、频率和移位
11.4 时区处理
11.5 时间区间和区间算术
11.6 重新采样与频率转换
11.7 移动窗口函数
11.8 本章小结
第12章 高阶pandas
12.1 分类数据
12.2 高阶GroupBy应用
12.3 方法链技术
12.4 本章小结
第13章 Python建模库介绍
13.1 pandas与建模代码的结合
13.2 使用Patsy创建模型描述
13.3 statsmodels介绍
13.4 scikit-learn介绍
13.5 继续你的教育
第14章 数据分析示例
14.1 从Bitly获取1.USA.gov数据
14.2 MovieLens 1M数据集
14.3 美国1880～2010年的婴儿名字
14.4 美国农业部食品数据库
14.5 2012年联邦选举委员会数据库
14.6 本章小结
附录A 高阶NumPy
附录B 更多IPython系统相关内容

　　“本书已经是Python数据生态中的一本经典书籍，本次的新版本对Python 3.6到pandas新特性等关键领域都进行了更新，增强了其独特价值。通过解释为什么以及如何使用Python数据工具，本书以新颖、创造性的方式帮助读者高效地学习了这些工具。它是所有现代化数据密集型计算库的重要组成部分“
　　——Fernando Perez，加州大学伯克利分校助理教授、IPython创始人、Jupyter项目联合创始

　　第2版新内容
　　本书第1版出版于2012年，彼时基于Python的开源数据分析库（例如pandas）仍然是一个发展迅速的新事物。在本次更新、拓展的第2版中，我在一些章节内进行了修改，以解释过去5年中发生的不兼容的变更、弃用和一些新特性。此外，我还添加了新内容，用以介绍在2012年还不存在或者不成熟的工具。最后，我会避免把一些新兴的或者不太可能走向成熟的开源项目写入本书。我希望本版的读者能够发现本书内容在2020年或者2021年仍然几乎像在2017年一样适用。
　　第2版中的主要更新包括：
　　所有的代码，包括把Python的教程更新到了Python 3.6版本（第1版中使用的是Python 2.7）
　　更新了Python第三方发布版Anaconda和其他所需Python包的安装指引
　　更新pandas库到2017年的最新版
　　新增一章，关于更多高级pandas工具和一些使用提示
　　新增statsmodels和scikit-learn的简明使用介绍
　　除了以上更新内容，我还重新组织了第1版的部分重要内容，使本书对新手来说更易于理解。
　　本书约定
　　以下印刷约定将在本书中使用：
　　斜体（Italic）
　　表示新的术语、URL、email地址、文件名和文件扩展名。
　　等宽字体（Constant width）
　　用于程序清单以及段落中的程序元素，例如变量名、函数名、数据库、数据类型、环境变量、表达式和关键字等。
　　等宽粗体（Constant width bold）
　　表示命令或其他应当由用户键入的文本。
　　等宽斜体（Constant width italic）
　　表示应当由用户提供的值来替代的文本，或者其他由上下文决定的值。
　　本符号表示提示或建议。
　　本符号表示一般性说明。
　　本符号表示警告。
　　使用代码示例
　　可以通过本书的GitHub仓库获取本书每一章中的数据文件和相关材料。GitHub仓库地址：//github.com/wesm/pydata-book。
　　本书的目的在于帮助你完成工作。一般来说，本书提供的示例代码，你可以在你的程序或文档中使用而无须联系我们获取许可，除非你需要重造大量代码。举例来说，使用本书中的代码段编写程序无须授权许可，但销售或发行O扲eilly图书的CD-ROM代码示例则需要许可。引用本书代码回答问题不需要许可，但在你的产品文档中大量使用本书示例代码则需要许可。
　　我们鼓励注明资料来源的行为，但这并不是必需的。来源注明通常包括书名、作者、出版社及ISBN，例如：“Python for Data Analysis by Wes McKinney(O扲eilly). Copyright 2017 Wes McKinney, 978-1-491-95766-0”。
　　如果你认为你对本书示例代码的使用超过了正常使用范围或者需要以上介绍的授权许可，请联系permissions@oreilly.com。
　　O'Reilly Safari
　　Safari（前身为Safari Books Online ）是一个会员制的培训、参考网站，服务于企业、政府、教育者和个人。
　　会员可以访问数千书籍、培训视频、学习路径、交互教程和超过250家出版商的企划列表，包括O'Reilly Media、Harvard Business Review、Prentice Hall Professional、 Addison-Wesley Professional、Microsoft Press、Sams、Que、Peachpit Press、Adobe、Focal Press、Cisco Press、John Wiley & Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、Adobe Press、FT Press、Apress、Manning、New Riders、McGraw-Hill、Jones & Bartlett、Course Technology等。
　　更多信息，请访问//oreilly.com/safari。
　　如何联系我们
　　对于本书如果有任何意见或疑问，请按照以下地址联系本书出版商。
　　美国：
　　O'Reilly Media, Inc.
　　1005 Gravenstein Highway North
　　Sebastopol, CA 95472
　　中国：
　　北京市西城区西直门南大街2号成铭大厦C座807室（100035）
　　奥莱利技术咨询（北京）有限公司
　　我们为本书准备了一个网页，用于陈列勘误、示例和其他附加信息。访问地址是：//bit.ly/python_data_analysis_2e。
　　针对本书评论或提出技术问题，请发送邮件至：bookquestions@oreilly.com。
　　关于本书的更多信息、课程、会议及新闻，请访问我们的网站：//www.oreilly.com。
　　Facebook联系我们：//facebook.com/oreilly
　　Twitter联系我们：//twitter.com/oreillymedia
　　YouTube观看我们的视频：//www.youtube.com/oreillymedia
　　致谢
　　本书是全世界很多人多年来富有成效的讨论、协作和支持的成果。我想对他们中的一些代表致以谢意。
　　怀念：John D. Hunter（1968—2012）
　　我们亲爱的朋友和同行John D. Hunter在经历了一场与结肠癌的战斗后，于2012年8月28日离开了世界。那时正是我完成本书第1版最终手稿后不久。
　　John对Python科学计算和数据社区的影响之大难以估量，他给我们留下的遗产价值非凡。除了在2000年初期开发matplotlib之外（那时Python还没有当下如此流行），他还帮助塑造了一代核心开源开发者的文化，如今这些开发者已经成为Python生态系统的顶梁柱，而Python生态系统对于现如今的我们来说似乎是理所当然的。
　　在2010年1月，我开源生涯的早期，那时候pandas刚刚发布了0.1版本，我便有幸结识了John。即便在最黑暗的时期，他的才华和指导仍在帮助我推动pandas前进，实现Python成为数据分析第一语言的愿景。
　　John与IPython、Jupyter项目的先锋Fernando Pérez、Brian Granger及其他很多Python社区的倡议人联系紧密。我们四人曾经希望共同写作一本书，但只有我个人时间最为自由，所以这个想法被搁置了。我非常确信他会为过去5年中我们个人及我们社区所取得的成就感到骄傲。
　　第2版致谢（2017）
　　距离我在2012年7月完成第1版手稿已经5年了。很多事情都发生了变化。Python社区获得了极大的成长，围绕Python的开源软件生态系统也十分繁荣。pandas核心开发者孜孜不倦的付出，使得pandas项目高速成长，也使得pandas的用户群体遍布Python数据科学生态系统的各个角落，没有他们本书将不会存在。pandas的核心开发者包括但不限于：Tom Augspurger、Joris van den Bossche、Chris Bartak、Phillip Cloud、gfyoung、Andy Hayden、Masaaki Horikoshi、Stephan Hoyer、Adam Klein、Wouter、Overmeire、Jeff Reback、Chang She、Skipper Seabold、Jeff Tratner和y-p。
　　在第2版的实际写作过程中，非常感谢O扲eilly的工作人员在写作进程中给予的耐心帮助。他们是Marie Beaugureau、Ben Lorica和Colleen Toporek。我再次得到了优秀技术审阅人的支持，他们是Tom Augpurger、Paul Barry、Hugh Brown、Jonathan Coe和 Andreas Müller。感谢你们。
　　本书的第1版已经被翻译成多种语言，包括汉语、法语、德语、日语、韩语和俄语。将本书翻译给外国读者，是一份工作量大且缺少关注的付出。感谢你们帮助全世界更多人士学会如何编程及使用数据分析工具。
　　在过去几年中，Cloudera 和Two Sigma投资公司对我的持续开源开发工作的支持使我感到十分幸运。由于开源项目相对于用户基数的比例越来越小，向重要开源项目提供开发支持变得越来越重要。这是一件值得去做的正确工作。
　　第1版致谢（2012）
　　如果没有众多相关人士的支持，写作本书对我来说将会十分困难。
　　对于O扲eilly的工作人员，我非常感谢我的编辑Meghan Blanchette和 Julie Steele，他们在整个写作过程对我给予指导。Mike Loukides 还在建议阶段与我一起工作，帮助本书付梓。
　　我收到了大量相关人士丰富的技术审阅。尤其是Martin Blais 和Hugh Brown ，他们自始至终在提高本书示例的清晰度、组织度上提供了令人难以置信的帮助。James Long、Drew Conway、Fernando Pérez、Brian Granger、Thomas Kluyver、Adam Klein、Josh Klein、Chang She 和 Stéfan van der Walt 每个人都审阅了本书的一章或多章，从很多角度提供了有效反馈。
　　我从数据社区的朋友和同行那里获得了很多关于示例和数据集的优秀想法，他们是：Mike Dewar、Jeff Hammerbacher、James Johndrow、Kristian Lum、Adam Klein、Hilary Mason、Chang She和Ashley Williams。
　　当然，我也非常感激开源科学Python社区的众多领头人，他们为我的开发工作打下了基础，并在本书写作过程中给予我鼓励：IPython核心团队（Fernando Pérez、Brian Granger、Min Ragan-Kelly、Thomas Kluyver和其他相关人士）、John Hunter、Skipper Seabold、Travis Oliphant、Peter Wang、Eric Jones、Robert Kern、Josef Perktold、Francesc Alted、Chris Fonnesbeck以及其他由于人数太多而无法提及的人们。还有很多人士一直以来提供了支持、想法和鼓励：Drew Conway、Sean Taylor、Giuseppe Paleologo、Jared Lander、David Epstein、John Krowas、Joshua Bloom、Den Pilsworth、John Myles-White以及很多已经忘了姓名的人士。
　　我还要感谢前些年生活中的一些人。首先是在AQR的前同事，他们都曾为我在pandas方面的工作喝彩，他们是：Alex Reyfman、Michael Wong、Tim Sargen、Oktay Kurbanov、Matthew Tschantz、Roni Israelov、Michael Katz、Chris Uga、Prasad Ramanan、Ted Square 和 Hoon Kim，以及我的指导教授Haynes Miller（麻省理工学院）和Mike West（杜克大学）。
　　2014年，我在更新本书代码示例、修正一些由于pandas变更产生的错误时，从Phillip Cloud 和 Joris Van den Bossche 处获得了重要帮助。
　　个人方面，感谢Casey在写作过程中为我提供了无价的日常支持，忍受我的情绪起伏直到我按计划表写出了最终手稿。最后，感谢我的父母 Bill 和Kim ，他们教会我如何去追寻梦想、永不止步。

　　本书关注的是利用Python操作、处理、清洗和操作数据时的基本要点。我的目标是提供一份Python编程语言以及Python面向数据的类库生态系统和工具的指南，该指南将帮助你成为一个高效的数据分析师。尽管“数据分析”出现在书名里，但本书将明确专注于Python语言的编程、类库、工具而不是数据分析方法论。这就是你需要的Python数据分析编程。
　　当我说“数据”时，我想表达的准确含义是什么？主要的关注点是结构化数据，这个有意义的术语包含了众多常见的数据形式，例如：
　　•表格型的数据，每一列可能会包含不同的类型（字符串、数值、日期或其他）。这类数据包含了大部分类型的数据，它们通常存储在关系型数据库或者由制表符、逗号分隔的文本文件中。
　　•多维数组（矩阵）。
　　•由键位列关联的多张表数据（对于SQL用户来说就是主键或外键）。
　　•均匀或非均匀的时间序列。
　　以上是一份大致完整的清单。但该清单有时并不完全准确，很多数据集可以转换为一种更适合分析、建模的结构形式。如果不进行转换，从数据集中提取特征形成一种结构形式也是可行的。例如，一个新闻文章的数据集可以被处理为一个词频表，然后再用于情感分析。
　　大部分表格程序（比如微软Excel，或许是全世界应用最广泛的数据分析工具）的用户对这些类型的数据并不陌生。
　　对很多人来说，Python编程语言拥有强大的吸引力。从1991年面世以来，Python与Perl、Ruby等语言成为最流行的解释型语言。Python和Ruby从2005年之后格外流行，可以基于众多web框架，比如Rails（Ruby）和Django（Python）进行网站搭建。此类语言通常称为脚本语言，因为它们可以用于快速编写小型程序、脚本或对其他任务进行自动化。我并不喜欢“脚本语言”这个术语，因为它的言外之意似乎是“脚本语言”无法构建大型软件。在解释型语言中，由于历史和文化上的原因，Python发展出了一个大型、活跃的科学计算及数据分析社区。在过去十年里，Python已经从一个最前沿或者说“后果自负”的科学计算语言，成为数据科学、机器学习和学术/工业界通用软件开发等领域最为重要的语言之一。
　　在数据科学、交互式计算以及数据可视化等领域，Python经常被拿来和其他开源或商业编程语言、工具进行对比，比如R、MATLAB、SAS、Stata等。近些年，Python提高了对类库的支持（比如pandas和scikit-learn），使得它成为数据分析任务的一个流行选择。再综合考虑Python在通用软件工程上的总体实力，它便成为搭建数据应用的首选语言。
　　Python在科学计算方面的成功部分是因为它很容易整合C、C++和FORTRAN等语言的代码。大部分现代计算环境都拥有相似的存量程序集，这些程序集使用FORTRAN和C的库进行线性代数、调优、积分、快速傅里叶变换等算法运算。很多公司和国家实验室都使用Python将过去数十年产生的存量软件黏合在一起。
　　很多程序中包含了一小部分运行起来要花费大量时间的代码，而大量“胶水代码”却很少运行。很多情况下，胶水代码的执行时间可以忽略不计；精力应当更多地投入优化计算瓶颈的方面，有些时候需要将代码迁移到底层语言，比如C。