【pandas基础】--数据类型

pandas,基础,数据类型 · 浏览次数 : 167

小编点评

**数据类型简介** 在数据分析中,数据类型是用来定义数据的类型,影响数据的存储方式和计算能力。在 pandas 中,常见的数据类型包括: - 字符串类型 `str` - 数值类型 `int`, `float` - 分类类型 `category` - 日期时间类型 `datetime` **字符串类型** `str` 类型用于存储文本数据。它是一个不可变的字符串类型,表示一个特定的字符串。 **数值类型** `int` 和 `float` 类型用于存储数字数据。`int` 类型用于存储整数,而 `float` 类型用于存储浮点数。 **分类类型** `category` 类型用于存储分类数据,它可以分为有限的可能取值。 **日期时间类型** `datetime` 类型用于存储日期和时间信息。它包含两个独立的日期和时间部分。 **其他数据类型** 除了以上基本类型之外, pandas 还支持以下数据类型: - `int8`, `int16`, `int32` 和 `int64`:指定大小的整数类型 - `float16` 和 `float32`:表示 16 或 32 位浮点数 - `bool`:表示布尔值 - `datetime`:表示日期时间类型

正文

数据类型是计算机编程中将不同类型的数据值分类和定义的方式。
通过数据类型,可以确定数据的存储方式和内存占用量,了解不同类型的数据进行各种运算的能力。

使用pandas进行数据分析时,最常用到的几种类型是:

  1. 字符串类型,各类文本内容都是字符串类型
  2. 数值类型,包括整数和浮点数,可用于计算
  3. 日期类型,日期在统计中非常重要,相关内容放在下一篇单独介绍
  4. category 类型,这个类型对于数据分类非常有用

1. 字符串类型

pandas字符串类型主要用于处理文本数据或包含文本数据的列。
它可以快速、方便地对文本数据进行操作,比如:

  • 字符串连接、分割、替换、提取等操作,例如将多个字符串合并成一个、将字符串按照特定分隔符拆分为多个子字符串等;
  • 数据清洗和预处理,例如去除空格、标点符号、数字等非文本内容,将文本转换为小写或大写,统一格式等;
  • 文本匹配和模式识别,例如使用正则表达式从文本中提取特定模式的内容等;
  • 筛选和排序,例如筛选包含特定字符或模式的数据行,对数据行按照字符串排序等;

字符串在python中是str类型。

In [1]: s = "hello"

In [2]: type(s)
Out[2]: str

但是在pandasDataFrame中则是object类型。

import pandas as pd

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "age": [12, 15, 13],
        "score": [80.5, 98.5, 80],
    },
)

df.dtypes

image.png

为什么在pandas中,字符串是object类型呢?
因为pandas中的数据类型继承自numpyndarrayndarray的每个元素都必须明确占用内存的大小。

对于int64float64来说,它们都占用8个字节的内存,而字符串由于长度不固定,无法确定占用内存的大小,所以都用object类型,这个object类型可以看做是一个指向实际存储字符串位置的的指针。

2. 数值类型

数值类型有两种,一种是整数,一种是浮点数(也就是平时说的小数)。
一般来说,各类分析算法以及可视化展示需要的都是数值类型,数值类型是我们分析数据时使用最多的部分。

上面的示例中,agescore列分别是整数和浮点数类型。

import pandas as pd

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "age": [12, 15, 13],
        "score": [80.5, 98.5, 80],
    },
)

df.dtypes

image.png

DataFrame中数值类型默认是64位的,可以存储更大的数字。

3. catagory 类型

pandas中的category类型是一种用于处理分类变量的数据类型。
它可以大大提高数据处理和计算效率,并减少内存占用。

在某些情况下,数据中的一些变量只包含有限的可能取值,例如“性别”、“地区”等,这些变量可以归类为分类变量。
如果将这些变量存储为字符串或数字形式,则可能会浪费大量的内存,因为每个变量都会占据大量的空间。
这就是category类型的用处:使用category类型可以将这些变量存储为原始数据的唯一值的散列表,从而大大减少了内存占用。

除了内存优化外,category类型还提供了一些便捷的方法来处理分类变量,例如自动排序和类别之间的比较。
因此,如果数据中包含分类变量,则应该使用category类型来优化数据处理和计算效率。

下面的示例,使用中国人口统计的相关数据,默认导入之后数据情况如下:

import pandas as pd

fp = "http://databook.top:8888/pandas/cn-people.csv"
df = pd.read_csv(fp)

df

image.png
各个列的默认类型如下:

df.dtypes

image.png
其中【指标编码】和【指标中文】列的类型其实是字符串。

各个列实际占用的内存大小:

df.memory_usage(deep=True)

image.png
Index表示索引所占用的内存大小,可以看出【指标编码】和【指标中文】占用的内存比较多,而且这两列重复数据也比较多。

尝试将【指标编码】和【指标中文】两列转换为catagory类型之后,看看内存占用是否减少。

df["指标中文"] = df["指标中文"].astype("category")
df["指标编码"] = df["指标编码"].astype("category")
df.dtypes

image.png
类型已经转换成功,看看pandas是如何给catagory类型编码的。

df["指标中文"].values.codes

image.png
可以看出,是用int8类型来编码,int8类型只占用1个字节的内存,总体应该能够节省不少内存空间。

df.memory_usage(deep=True)

image.png
【指标编码】和【指标中文】两列的内存占用只有原来的约1/200

4. 类型间的转换

pandas中的类型转换操作可以将一种数据类型转换为另一种数据类型,以便更好地处理和分析数据。

数据类型的选择会影响数据的存储方式和计算速度,因此,在不同的情况下,数据类型的选择是非常重要的,正确的选择可以有效地提高代码的性能和准确性。
例如,将文本数据转换为数字数据,可以使得数据更容易进行数值运算和可视化,从而方便地做出相关的决策和分析。

类型转换常用的两种方式是astype函数和自定义函数。

4.1 astype

类型转换最常用的方法是astype,前面介绍catagory类型时,示例中已经演示了字符串类型到catagory类型的转换。

数值类型之间,或者数值类型和字符串类型之间也是可以互相转换的。

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "age": [12, 15, 13],
        "score": [80.5, 98.5, 80],
    },
)
print(df.dtypes)
# int64 ==> float64
df.age = df.age.astype("float64")

# float64 ==> string
df.score = df.score.astype("str")
print(df.dtypes)

image.png

4.2 自定义函数

字符串类型也是可以转换成数值类型的,前提是字符串的内容得是数值。

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "money": ["¥55", "¥12", "¥58"],
        "score": ["80.5", "98.5", "80"],
    },
)
print(df.dtypes)
# df.name.astype("int64")
# df.money.astype("int64")
df.score = df.score.astype("float64")
print(df.dtypes)

image.png
score列有字符串类型转换为了float64类型,另外代码中注释的两行是不能成功转换的,去掉注释后,代码执行时会抛出异常错误。

看上面的示例数据,name列是不太可能转成数值类型的,但是money列只是多了一个人民币符号,其实这列本质上应该是数值类型,也许后续需要根据这列的数值来分析花费的费用等情况。

这时,直接用astype是无法完成类型转换的,要用自定义函数来去掉人民币符号,再转换成数值类型。

df = pd.DataFrame(
    {
        "name": ["小华", "小红", "小明"],
        "money": ["¥55", "¥12", "¥58"],
        "score": ["80.5", "98.5", "80"],
    },
)

convert = lambda s: float(s.replace("¥", ""))

print(df.dtypes)
df.money = df.money.apply(convert)
print(df.dtypes)

image.png
通过自定义的convert函数,money列成功转换成了float64类型。

5. 总结回顾

这里只是介绍了最常见的数据类型,还有日期类型也很重要,下一篇单独介绍。
除此之外,细分的话,还有以下各类数据类型:

  1. int:整数类型
  2. float:浮点数类型
  3. bool:布尔类型,True/False
  4. object:对象类型,可以是字符串、Python对象等
  5. datetime:日期时间类型
  6. timedelta:两个日期时间之间的差
  7. category:分类类型,如性别、国家等
  8. int8/16/32/64:指定大小的整数类型
  9. uint8/16/32/64:无符号整数类型,只能是正整数

与【pandas基础】--数据类型相似的内容:

【pandas基础】--数据类型

数据类型是计算机编程中将不同类型的数据值分类和定义的方式。 通过数据类型,可以确定数据的存储方式和内存占用量,了解不同类型的数据进行各种运算的能力。 使用`pandas`进行数据分析时,最常用到的几种类型是: 1. 字符串类型,各类文本内容都是字符串类型 2. 数值类型,包括整数和浮点数,可用于计算

【pandas小技巧】--category类型补充

`category`类型在**pandas基础**系列中有一篇介绍数据类型的文章中已经介绍过。`category`类型并不是`python`中的类型,是`pandas`特有的类型。 `category`类型的优势那篇文章已经介绍过,当时只是介绍了如何将某个列的数据转换成`category`类型,以及

【pandas基础】--数据读取

数据读取是第一步,只有成功加载数据之后,后续的操作才有可能。 pandas可以读取和导入各种数据格式的数据,如CSV,Excel,JSON,SQL,HTML等,不需要手动编写复杂的读取代码。 1. 各类数据源 pandas提供了导入各类常用文件格式数据的接口,这里介绍3种最常用的加载数据的接口。 1

【pandas基础】--数据检索

pandas的数据检索功能是其最基础也是最重要的功能之一。 pandas中最常用的几种数据过滤方式如下: 行列过滤:选取指定的行或者列 条件过滤:对列的数据设置过滤条件 函数过滤:通过函数设置更加复杂的过滤条件 本篇所有示例所使用的测试数据如下: import pandas as pd import

【pandas基础】--数据整理

pandas进行数据整理的意义在于,它是数据分析、数据科学和机器学习的前置步骤。 通过数据整理可以提前了解数据的概要,缺失值、重复值等情况,为后续的分析和建模提供更为可靠的数据基础。 本篇主要介绍利用pandas进行数据整理的各种方法。 1. 数据概要 获取数据概要信息可以帮助我们了解数据的基本情况

【pandas基础】--数据修改

pandas 作为一种常用的数据分析工具,提供了广泛的数据修改方法。 既可以针对行或者列的数据进行修改,也可以对具体单个元素进行修改,还可以基于条件选择要修改的行或者列的数据。 1. 增加数据 1.1 增加行数据 pandas的DataFrame增加一行或者多行数据之前是使用append方法。 im

【pandas基础】--数据拆分与合并

数据集拆分是将一个大型的数据集拆分为多个较小的数据集,可以让数据更加清晰易懂,也方便对单个数据集进行分析和处理。 同时,分开的数据集也可以分别应用不同的数据分析方法进行处理,更加高效和专业。 数据集合并则是将多个数据集合并成一个大的数据集,可以提供更全面的信息,也可以进行更综合的数据分析。 同时,数

【pandas基础】--数据排序

`pandas`的数据排序可以帮助我们更好地理解和分析数据。 通过对数据进行排序,我们可以提取出特定的信息,例如最大值、最小值、中位数、众数等等,从而更准确地识别数据的特征和特点。 此外,数据排序还可以帮助我们更好地进行数据可视化,例如绘制直方图、箱线图等等,进一步帮助我们对数据进行解读和分析。 总

【pandas基础】--数据统计

在进行统计分析时,`pandas`提供了多种工具来帮助我们理解数据。 `pandas`提供了多个聚合函数,其中包括均值、标准差、最大值、最小值等等。 此外,`pandas`还可以进行基于列的统计分析,例如通过`groupby()`函数对数据进行聚合,并计算每组的统计分析结果。 除了基本的统计分析之外

【pandas基础】--核心数据结构

pandas中用来承载数据的两个最重要的结构分别是: Series:相当于增强版的一维数组 DataFrame:相当于增强版的二维数组 pandas最大的优势在于处理表格类数据,如果数据维度超过二维,一般我们会使用另一个 python的库 numpy。 本篇主要介绍这两种核心数据结构的创建方式。 1