#Python 利用pandas 合并csv/xlsx文件

python,利用,pandas,合并,csv,xlsx,文件 · 浏览次数 : 346

小编点评

**合并文件步骤：** 1. **导入库：** ```python import pandas as pd import os ``` 2. **设置路径：** ```python path = r'C:\Users\Administrator\Desktop\test/' ``` 3. **合并文件：** ```python # 使用 for循环读取文件路径 files = os.listdir(path) # 合并文件 merged_df = pd.DataFrame() for file in files: table = pd.read_csv(os.path.join(path, file), encoding='gbk') merged_df = pd.concat([merged_df, table]) # 打印合并后的 DataFrame print(merged_df) ``` 4. **输出合并文件：** ```python # 将合并好的文件输出到指定路径 merged_df.to_csv('merged_file.csv', index=False) ``` **其他提示：** * 使用 `encoding='gbk'` 确保读取文件时正确读取字符集。 * 可以根据需要调整合并顺序或数据处理方法。 * 使用 `pd.read_csv()` 函数可以读取多个文件并合并到一个 DataFrame 中。 * 使用 `pandas.to_csv()` 函数可以将 DataFrame 输出为 CSV 文件。

正文

上次我们分享了利用powerquery来合并文件进行数据分析，但是Pq有一部分局限性，在现实工作中，我们往往需要合并多个文件去处理数据，

如果面对20个甚至更多的文件，pq中的每一步的步骤都会去读取每个文件，运行速度会十分慢，那么有没有简单的解决方法吗？

答案是：可以考虑合并成一个文件后来处理。

我们用py来合并文件后，输出一个大的csv表，然后利用Py或者pq进行处理，这样就可以大量节省时间，提高效率，今天我们就分享，py合并文件板块。

第一步：导入pandas，和os库

 import pandas as pd
 import os

第二步：设置路径

路径 = r'C:\Users\Administrator\Desktop\test/'#合并文件所在的文件路径，最后一个反斜杠不能被转义所以必须反斜杠，下次更换合并地址的话，直接更改就好，同样需要注意最后的反斜杠号
目的路径=r'C:/Users/Administrator/Desktop/合并230115.csv'#存放地址

第三步：合并文件，这里先用for循环配合os.listdir获取了指定文件夹的全部文件路径，然后用concat合并了文件

路径 = r'C:\Users\Administrator\Desktop\test/'
合并表 = pd.DataFrame()
for 文件名 in os.listdir(路径):
    表格 = pd.read_csv(路径+文件名,encoding='gbk')
    合并表 = pd.concat([合并表,表格])
print(合并表)

第四步：将合并好的文件输出到指定路径

合并表.to_csv(目的路径)

来到这里，就完成了全部操作，本文的变量是中文变量，不影响使用，目的是便于新手（博主也是新手）学习，能更快的用到工作中。

我是simone，期待下次的分享。（下次会分享pandas中的透视表功能，可以配合今天的文章，来处理合并文件，直接输出有些数据分析的结果）