Pandas 使用教程 CSV - CSV 转 JSON

pandas,使用,教程,csv,json · 浏览次数 : 163

小编点评

**使用 pandas 读取 JSON 数据** ```python import pandas as pd # 加载 JSON 数据 data = pd.read_json('data/demo.json') # 打印数据 print(data.to_string()) ``` **使用 pandas 处理 CSV 数据** ```python import pandas as pd # 加载 CSV 数据 df = pd.read_csv('data/result.csv', encoding='GB2312') # 打印数据 print(df.to_string()) # 设置列标题 df.columns = ['姓名', '年龄', '性别'] # 打印数据 print(df) ``` **使用 pandas 操作 CSV 数据** ```python import pandas as pddf # 读取 CSV 数据 df = pddf.read_csv('data/result.csv', encoding='GB2312') # 打印数据 print(df.to_string()) # 取前 N 行数据 print(('-' * 10) + " 取前 N 行") print(df.head(n)) # 取尾部 N 行数据 print(('-' * 10) + " 取尾部 N 行") print(df.tail(n)) # 获取表格信息 print(('-' * 10) + " info() 方法返回表格的一些基本信息:") print(df.info()) ``` **注意** * `pandas` 需要安装 `pandas` 库。可以使用 `pip install pandas` 命令安装。 * `data/demo.json` 是一个 JSON 文件, `data/result.csv` 是一个 CSV 文件。 * `n` 是取数据的行数,默认值为 5。

正文


CSV(Comma-Separated Values,逗号分隔值,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。

CSV 是一种通用的、相对简单的文件格式,被用户、商业和科学广泛应用。

AttributeError: partially initialized module 'pandas' has no attribute 'read_csv' (most likely due to a circular import)
``
升级 Pandas
pip install --upgrade pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

如果代码点进去,能看到有 read_csv 方法 ,但还报不存在,检查一下文件名,开始我使用的是 csv.py 估计是冲突了

demo.json

[
    {
        "name":"张三",
        "age":23,
        "gender":true
    },
    {
        "name":"李四",
        "age":24,
        "gender":true
    },
    {
        "name":"王五",
        "age":25,
        "gender":false
    }
]

JSON 转换为 CSV

非常方便,只要通过 pd.read_json 读出JSON数据,再通过 df.to_csv 写入 CSV 即可

import pandas as pd

json_path = 'data/demo.json'

# 加载 JSON 数据
with open(json_path, 'r', encoding='utf8') as f:
    # 解析一个有效的JSON字符串并将其转换为Python字典
    df = pd.read_json(f.read())
    print(df.to_string())  # to_string() 用于返回 DataFrame 类型的数据,我们也可以直接处理 JSON 字符串。
    print('-' * 10)

    # 重新定义标题
    df.columns = ['姓名', '年龄', '性别']
    print(df)

    df.to_csv('data/result.csv', index=False, encoding='GB2312')

image

CSV 转 JSON

import csv
import json

# 读取CSV文件
with open('data/result.csv', 'r', encoding='utf-8') as csv_file:
    # csv.DictReader创建一个CSV读取器,它将读取到的数据转换为列表。
    csv_reader = csv.DictReader(csv_file)
    data = [row for row in csv_reader]

# 将数据转换为JSON格式,
"""
ensure_ascii 中文直接显示
indent=4 格式化,参数则使生成的JSON格式更美观。
"""
json_data = json.dumps(data, ensure_ascii=False, indent=4)

print(json_data)
# 将JSON数据写入文件
with open('data/output.json', 'w', encoding='utf-8') as json_file:
    json_file.write(json_data)


行、列操作

import pandas as pd

df = pd.read_csv('data/result.csv', encoding='GB2312')

print(df.to_string())  # 如果不使用该函数,则输出结果为数据的前面 5 行和末尾 5 行,中间部分以 ... 代替。

print(('-' * 10) + " 取前 N 行")
# head( n ) 方法用于读取前面的 n 行,如果不填参数 n ,默认返回 5 行。
print(df.head(1))


print(('-' * 10) + " 取尾部 N 行")
# tail( n ) 方法用于读取尾部的 n 行,如果不填参数 n ,默认返回 5 行,空行各个字段的值返回 NaN。
print(df.tail(2))


print(('-' * 10) + " info() 方法返回表格的一些基本信息:")
# info() 方法返回表格的一些基本信息:
print(df.info())


结果输出:

   姓名  年龄     性别
0  张三  23   True
1  李四  24   True
2  王五  25  False

---------- 取前 N 行
   姓名  年龄    性别
0  张三  23  True

---------- 取尾部 N 行
   姓名  年龄     性别
1  李四  24   True
2  王五  25  False

---------- info() 方法返回表格的一些基本信息:
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3 entries, 0 to 2
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   姓名      3 non-null      object
 1   年龄      3 non-null      int64 
 2   性别      3 non-null      bool  
dtypes: bool(1), int64(1), object(1)
memory usage: 179.0+ bytes
None

image

与Pandas 使用教程 CSV - CSV 转 JSON相似的内容:

Pandas 使用教程 CSV - CSV 转 JSON

目录JSON 转换为 CSVCSV 转 JSON行、列操作 CSV(Comma-Separated Values,逗号分隔值,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。 CSV 是一种通用的、相对简单的文件格式,被用户、商业和科学广泛应用。 A

Pandas 使用教程 Series、DataFrame

[TOC] Pandas 一个强大的分析结构化数据的工具集,基础是 Numpy(提供高性能的矩阵运算) Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。 Pandas 可以对各种数据进行运算操作,比如归并、再成形、选择,还有数据清洗和数据加工

Pandas 使用教程 JSON

[TOC] Pandas 可以很方便的处理 JSON 数据 demo.json ```json [ { "name":"张三", "age":23, "gender":true }, { "name":"李四", "age":24, "gender":true }, { "name":"王五", "

【pandas小技巧】--DataFrame的显示参数

我们在`jupyter notebook`中使用`pandas`显示`DataFrame`的数据时,由于屏幕大小,或者数据量大小的原因,常常会觉得显示出来的表格不是特别符合预期。 这时,就需要调整`pandas`显示`DataFrame`的方式。`pandas`为我们提供了很多调整显示方式的参数,具

【pandas小技巧】--目录(完结)

`pandas`小技巧系列是介绍的是使用`pandas`分析数据时,最常用的一些操作技巧。 具体包括: 1. [创建测试数据](https://www.cnblogs.com/wang_yb/p/17552748.html) 学习pandas的过程中,为了尝试pandas提供的各类功能强大的函数,常

【pandas基础】--数据类型

数据类型是计算机编程中将不同类型的数据值分类和定义的方式。 通过数据类型,可以确定数据的存储方式和内存占用量,了解不同类型的数据进行各种运算的能力。 使用`pandas`进行数据分析时,最常用到的几种类型是: 1. 字符串类型,各类文本内容都是字符串类型 2. 数值类型,包括整数和浮点数,可用于计算

pandas:时间序列数据的周期转换

时间序列数据是数据分析中经常遇到的类型,为了更多的挖掘出数据内部的信息,我们常常依据原始数据中的时间周期,将其转换成不同跨度的周期,然后再看数据是否会在新的周期上产生新的特性。 下面以模拟的K线数据为例,演示如何使用pandas来进行周期转换。 1. 创建测试数据 首先创建测试数据,下面创建一天的K

【pandas小技巧】--修改列的名称

重命名 `pandas` 数据中列的名称是一种常见的数据预处理任务。这通常是因为原始数据中的列名称可能不够清晰或准确。例如,列名可能包含空格、大写字母、特殊字符或拼写错误。 使用 `pandas` 的 `rename`函数可以帮助我们更改列名,从而使数据更加清晰和易于理解。此外,重命名列名还可以确保

基于随机森林算法进行硬盘故障预测

摘要:本案例将带大家使用一份开源的S.M.A.R.T.数据集和机器学习中的随机森林算法,来训练一个硬盘故障预测模型,并测试效果。 本文分享自华为云社区《基于随机森林算法进行硬盘故障预测》,作者:HWCloudAI 。 实验目标 掌握使用机器学习方法训练模型的基本流程; 掌握使用pandas做数据分析

数据分析缺失值处理(Missing Values)——删除法、填充法、插值法

缺失值指数据集中某些变量的值有缺少的情况,缺失值也被称为NA(not available)值。在pandas里使用浮点值NaN(Not a Number)表示浮点数和非浮点数中的缺失值,用NaT表示时间序列中的缺失值,此外python内置的None值也会被当作是缺失值。需要注意的是,有些缺失值也会以