侧边栏壁纸
博主头像
Fly.log

天行健,君子以自强不息

  • 累计撰写 9 篇文章
  • 累计创建 0 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

使用datatable加速大型csv读取

FLYBOY
2025-07-18 / 0 评论 / 0 点赞 / 93 阅读 / 0 字

一般读取csv使用pandas就够用了,但是读取大型csv会比较慢。之前在学习R语言时用了fread和fwrite,读取和写入非常快,后来发现python上也有类似的包datatable

安装datatable(使用mamba):

mamba install conda-forge::datatable

例子:

import datatable as dt

# 自动推断文件类型并快速加载
df = dt.fread("path/to/your/data.csv")

# Datatable -> Pandas
pandas_df_new = dt_frame.to_pandas()

博主关闭了所有页面的评论