你喜欢用哪一个:pandas的DataFrame和Numpy的structured array

m
microsat
楼主 (北美华人网)
你喜欢用哪一个:pandas的DataFrame和Numpy的structured array
如果存储1百万行的table,并进行简单操作:比如列删除,行求和。你觉得上面哪个性能更高? 速度更快,内存更节省?
桃花流水满前溪
pandas能存一百万行的数据吗?
m
microsat
桃花流水满前溪 发表于 2024-09-12 11:53
pandas能存一百万行的数据吗?

不知道呢。 如果要读取1百万行数据。大家用什么包? 不是1行1行的读。要一次性读取这100万行进内存。
b
bridgethu
microsat 发表于 2024-09-12 12:19
不知道呢。 如果要读取1百万行数据。大家用什么包? 不是1行1行的读。要一次性读取这100万行进内存。

应该可以吧? 是不是还可以用polars
m
microsat
bridgethu 发表于 2024-09-12 12:22
应该可以吧? 是不是还可以用polars

谢谢!
pandas的DataFrame和Numpy的structured array, 你更喜欢用哪一个?