小编点评

**数据集拆分和合并** **数据集拆分** * 将一个大型数据集拆分为多个较小的数据集，可以降低数据处理的复杂性。 * 每个子数据集可以单独进行分析和处理。 * 通过拆分数据，可以获得不同主题的全面数据视图。 **数据集合并** * 将多个数据集合合并成一个大的数据集，可以提供更全面的信息。 * 不同主题的数据可以合并到一起，形成一个更完整的数据集。 * 通过合并数据，可以进行更综合的数据分析。 **主要方法** * **数据集拆分** * 行拆分：将数据按行进行拆分。 * 列拆分：将数据按列进行拆分。 * 按条件拆分：根据特定条件进行数据拆分。 * **数据集合并** * 内置合并：使用 `pandas.merge` 方法进行内部合并。 * 外部合并：使用 `pandas.merge` 方法进行外部合并。 * 左合并：使用 `pandas.merge` 方法进行左合并。 * 右合并：使用 `pandas.merge` 方法进行右合并。 **总结** 数据集拆分和合并是数据分析中的基本操作，可以帮助我们高效地处理和分析数据。通过选择合适的拆分和合并方法，我们可以获得更全面的数据分析结果，并进行更复杂的数据分析。

正文

数据集拆分是将一个大型的数据集拆分为多个较小的数据集，可以让数据更加清晰易懂，也方便对单个数据集进行分析和处理。
同时，分开的数据集也可以分别应用不同的数据分析方法进行处理，更加高效和专业。

数据集合并则是将多个数据集合并成一个大的数据集，可以提供更全面的信息，也可以进行更综合的数据分析。
同时，数据集合并也可以减少数据处理的复杂度和时效性，提升数据分析的准确性和结果的可靠性。

1. 数据集拆分

拆分数据集比较简单，之前介绍过数据检索的各种方式，其实检索出的结果就是拆分出来的数据。

1.1 拆分行

拆分单行和多行。

import pandas as pd

df = pd.DataFrame(
    {
        "name": ["小红", "小明", "小华"],
        "age": [13, 15, 14],
        "gender": ["男", "女", "男"],
    }
)
first_row = df.loc[0:0, :]
left_rows = df.loc[1:, :]

1.2 拆分列

拆分单列或者多列。

import pandas as pd

df = pd.DataFrame(
    {
        "name": ["小红", "小明", "小华"],
        "age": [13, 15, 14],
        "gender": ["男", "女", "男"],
    }
)

first_col = df[["name"]]
left_cols = df[["age", "gender"]]

1.3 按条件拆分

下面的示例按照列的值来拆分数据集。

import pandas as pd

df = pd.DataFrame(
    {
        "name": ["小红", "小明", "小华"],
        "age": [13, 15, 14],
        "gender": ["男", "女", "男"],
    }
)

males = df[df["gender"] == "男"]
greater13 = df[df["age"] > 13]

如果有多个条件，可以通过逻辑与(&)和逻辑或(|)符号来连接，具体可以参照之前介绍数据检索的文章。

2. 数据集合并

数据集的合并也是比较常用的，因为我们收集来的数据可能来自不同的地方。

2.1 merge 方法

merge方法合并DataFrame时，有两个重要的参数：

1. how：设置合并的方式，有inner，outer，left，right四种方式。
2. on：依据那个列来合并

下面是四种不同合并方式的示例。
inner合并：name值相同的数据才保留下来。

import pandas as pd

df1 = pd.DataFrame(
    {
        "name": ["小红", "小明"],
        "age": [13, 15],
        "gender": ["男", "女"],
    }
)

df2 = pd.DataFrame(
    {
        "name": ["小红", "小华"],
        "score": [99, 100],
    }
)

df = pd.merge(df1, df2, how="inner", on="name")
df

outer合并：两个DataFrame的name都保留下来，合并后缺失值的填充NaN。

df = pd.merge(df1, df2, how="outer", on="name")
df

left合并：df1的name全部保留下来，缺失的值填充NaN。

df = pd.merge(df1, df2, how="left", on="name")
df

right合并：df2的name全部保留下来，缺失的值填充NaN。

df = pd.merge(df1, df2, how="right", on="name")
df

2.2 concat 方法

两个DataFrame结构相同时，一般是按行来合并（axis=0）。

df1 = pd.DataFrame(
    {
        "name": ["小红", "小明"],
        "age": [13, 15],
        "gender": ["男", "女"],
    }
)

df2 = pd.DataFrame(
    {
        "name": ["小红", "小华"],
        "age": [13, 15],
        "gender": ["男", "女"],
    }
)

df = pd.concat([df1, df3], axis=0)
df

如果两个DataFrame结构不一样时，用列合并（axis=1）。

df1 = pd.DataFrame(
    {
        "name": ["小红", "小明"],
        "age": [13, 15],
        "gender": ["男", "女"],
    }
)

df2 = pd.DataFrame(
    {
        "score": [100, 90],
        "city": ["nanjing", "beijing"],
    }
)

df = pd.concat([df1, df3], axis=1)
df

2.3 join 方法

join方法和merge方法类似，主要区别在于join是DataFrame的方法，而merge是pandas的方法。
下面请直接看与merge方法相似的四种示例。

inner合并：name值相同的数据才保留下来。

df1 = pd.DataFrame(
    {
        "name": ["小红", "小明"],
        "age": [13, 15],
        "gender": ["男", "女"],
    }
)

df2 = pd.DataFrame(
    {
        "name": ["小红", "小华"],
        "score": [99, 100],
    }
)

df1 = df1.set_index("name")
df2 = df2.set_index("name")
df = df1.join(df2, how="inner")
df.reset_index()

注意，这里显示了join和merge的一个区别，join默认是依据索引（index）来合并DataFrame的，
所以，先把name设置为索引之后才合并的，合并之后又通过reset_index重置了索引，得到了和merge同样的结果。

outer合并：两个DataFrame的name都保留下来，合并后缺失值的填充NaN。

df1 = df1.set_index("name")
df2 = df2.set_index("name")
df = df1.join(df2, how="outer")
df.reset_index()

注意，最后的数据虽然和merge一样，但是顺序有些区别。

left合并：df1的name全部保留下来，缺失的值填充NaN。

df1 = df1.set_index("name")
df2 = df2.set_index("name")
df = df1.join(df2, how="left")
df.reset_index()

left的结果和merge一样。

right合并：df2的name全部保留下来，缺失的值填充NaN。

df1 = df1.set_index("name")
df2 = df2.set_index("name")
df = df1.join(df2, how="right")
df.reset_index()

right的结果和merge一样。

3. 总结回顾

总的来说，pandas数据集拆分和合并的意义在于高效利用数据，提高数据分析的质量和效率，进一步实现数据驱动的业务增长。

本篇主要介绍了数据集拆分和合并最常用的几种基本方法，根据具体的业务组合这些基本方法，就能够进行更复杂的数据集拆分和合并。