案例背景
假设我们的文件是放在G盘 python文件夹下单的projectFile文件夹中,具体的情况需根据读者文件位置进行设置
我们需要将下面两个文件,合并在一起
Python学习交流群:1004391443
合并前,data_1.csv的数据
合并前,data_2.csv的数据
实现代码如下:
#先导入需要的包
importpandas aspd
importcsv
importsys
importglob
#定义一个文件存放位置变量。
input_path= ‘G:PythonprojectFile’
#使用glob.glob的方法对所有data_开头的文件进行获取
all_files= glob.glob(os.path.join(input_path,'data_*'))
#创建一个列表,用于接收所有读取的内容
all_data_frames=[]
#对获取的所有文件进行遍历
for file in all_files:
#对遍历的内容以csv格式进行读取
data_frame = pd.read_csv(file,index_col=None)
#把读取到的内容,增加到all_data_frames列表中
all_data_frames.append(data_frame)
#对放在列表中的内容进行拼接,axis参数为合并方向,0是纵向,1是横向
data_frame_concat=pd.concat(all_data_frames,axis=0,
ignore_index=True)
#将合并后的文件,输出到新文件data_concat_output_file中
data_frame_concat.to_csv(‘G:PythonprojectFiledata_concat_output_file.csv’,index=False)
设计思路,在这个案例中,我们将要合并的文件,读取后转化为列表的元素,再进行合并。
总结
这种方法也可以用于几百上千个文件需要 合并到一起的情况。
如果需要合并的文件的文件名称并不规则,那么我们可以先修改文件名称(给文件名加一个统一的前缀),再进行以上操作。想了解更多操作技巧,可关注公众号,后期将会有更多内容与大家分享。