#Python 利用pandas 合并csv/xlsx文件

上次我们分享了利用powerquery来合并文件进行数据分析，但是Pq有一部分局限性，在现实工作中，我们往往需要合并多个文件去处理数据， 如果面对20个甚至更多的文件，pq中的每一步的步骤都会去读取每个文件，运行速度会十分慢，那么有没有简单的解决方法吗？ 答案是：可以考虑合并成一个文件后来处理。 我

#Python 利用pivot_table,数据透视表进行数据分析

前面我们分享了，利用python进行数据合并和连接，但是工作中，我们往往需要对数据进一步的聚合或者运算，以求最后的数据结果。 今天我们就来学习一下利用pandas模块，对数据集进行数据透视分析。 pivot_table释义 1.1 pivot_table参数列表： pandas.pivot_tabl

#Python merge函数，pandas库数据查询功能，对标V-LOOKUP

日常办公中，我们经常会遇到需要匹配表，匹配对应数据的场景，在EXCEL中，我们习惯使用VLOOKUP函数或者是X-LOOKUP函数，今天学习的是Python，pandas库中的匹配功能。 首先导入所需的pandas库。 import pandas as pd 用到的模拟数据共三张表，分别是销售表，区

#Python 文本包含函数，pandas库 Series.str.contains 函数

一：基础的函数组成 ’’‘Series.str.contains（pat，case = True，flags = 0，na = nan，regex = True)’’'测试pattern或regex是否包含在Series或Index的字符串中。 返回布尔值系列或索引，具体取决于给定模式或正则表达式是

#Python pandas库，读取模块，代码笔记

日常数据清洗中，利用python清洗的第一步就是读取对应文件，今天一起复盘一下数据读取环节的常规操作。 csv和xlsx格式读取类似，所以用csv做案例 X-MIND图

#Python 缺失值的检测与处理，检测部分

Python 缺失值的检测与处理，分两部分笔记，第一部分是检测缺失值部分

#Python 缺失值的检测与处理，处理部分

#Python基础 DateFrame 查看数据信息

一：导入案例数据及X-MIND 二：实例 2.1 显示摘要信息 2.2显示描述性统计信息 2.3显示 前后n行 2.4显示索引、列信息 2.5显示每列的数据类型

#Python基础 pandas索引设置

一：XMIND 二：设置索引 示例数据，假设我们有一个DataFrame对象，如下： import pandas as pd df = pd.DataFrame({ "name": ["Alice", "Bob", "Charlie", "David"], "age": [25, 30, 35, 4

#Python实例 计算外卖配送距离（基于经纬度的导航及直线距离）

一：X-MIND 二：计算两点经纬度之间的距离 经纬度是利用三维球面空间来描述地球上一个位置的坐标系统，每个经纬度坐标由经度 lng 和纬度 lat 两个分量组成。经纬度的有效范围为经度-180度到+180度，纬度大约-90度到+90度。 三：Geopy库，计算两点直线距离 如果遇到测算直线距离可以

#Python assign赋值，新增列操作

#Python基础 利用Pyinstaller 模块对python代码进行打包exe

一般我们都用 Python 的 Pyinstaller 模块进行打包，这里记录Pyinstaller 模块进行打包。 一：安装 Pyinstaller 模块 pip install PyInstaller 二：打开cmd(win+R) 三：操作 3.1 切换路径（这里示例文件在E盘） 输入E：来切换

#Python实例 计算外卖配送距离（基于百度API接口）---第二篇

https://www.cnblogs.com/simone331/p/17218019.html 在上一篇中，我们计算了两点的距离（链接为上篇文章），但是具体业务中，往往会存在一次性计算多组，上百甚至上千的距离。 所以我们需要利用python函数，批量去处理和传参，批量计算距离。前面的操作去第一篇

Python读取txt文本

转载：Python读取txt文本三种方式 python常用的读取文件函数有三种read()、readline()、readlines() read() 一次性读取所有文本，在读取文本中含有中文时是gkd，打开时需要定义编码为utf-8 with open("1.txt", "r", encoding

python | 连接数据库

介绍一些python中用于连接常用数据库的依赖库。 SQLite3 SQLite3是Python 中自带的数据库模块，适用于小型应用和快速原型开发。 SQLite是一个进程内的库，实现了自给自足的、无服务器的、是非常小的，是轻量级的、事务性的 SQL 数据库引擎。它是一个零配置的数据库，不需要在系统

Python处理CSV文件

python处理CSV文件 CSV文件 CSV (comma-separated values）文件是一种文本文件格式，允许以表格结构保存数据。这是一种流行的格式，用于从数据库和电子表格导出和导入数据，CSV 文件中的每条数据都用逗号 (,) 分隔，例如，第一行数据可以选择用作标题，标明其下方的每一

Python：global、local与nonlocal变量

声明在函数内的变量拥有一个local scope（局部作用域，即在函数内），我们将这类变量称为local（局部）变量。声明在函数之外的变量，也即它们都在gobal scope（全局作用域）中，我们将它们global（全局）变量。nonlocal变量常用在局部嵌套函数中将外层函数中的自由变量绑定到内层函数作用域。

Python：对程序做性能分析及计时统计

如果只是想简单地对整个程序做计算统计，通常使用UNIX下的time命令就足够了。由于我用的是Mac系统，和Linux系统的输出可能有不同，不过关键都是这三个时间：user: 运行用户态代码所花费的时间，也即CPU实际用于执行该进程的时间，其他进程和进程阻塞的时间不计入此数字；system: 在内核中执行系统调用（如I/O调用）所花费的CPU时间。total(Linux下应该是real):即挂钟时间

1.0 Python 标准输入与输出

python 是一种高级、面向对象、通用的编程语言，由`Guido van Rossum`发明，于1991年首次发布。python 的设计哲学强调代码的可读性和简洁性，同时也非常适合于大型项目的开发。python 语言被广泛用于Web开发、科学计算、人工智能、自动化测试、游戏开发等各个领域，并且拥有丰富的第三方库和工具，使得python成为广泛应用的语言之一。同时，由于其开放性和可移植性，pyth

2.0 Python 数据结构与类型

数据类型是编程语言中的一个重要概念，它定义了数据的类型和提供了特定的操作和方法。在 python 中，数据类型的作用是将不同类型的数据进行分类和定义，例如数字、字符串、列表、元组、集合、字典等。这些数据类型不仅定义了数据的类型，还为数据提供了一些特定的操作和方法，例如字符串支持连接和分割，列表支持排序和添加元素，字典支持查找和更新等。因此，选择合适的数据类型是 python 编程的重要组成部分。