桃花流水满前溪 发表于 2024-09-12 11:53 pandas能存一百万行的数据吗?
microsat 发表于 2024-09-12 12:19 不知道呢。 如果要读取1百万行数据。大家用什么包? 不是1行1行的读。要一次性读取这100万行进内存。
bridgethu 发表于 2024-09-12 12:22 应该可以吧? 是不是还可以用polars
如果存储1百万行的table,并进行简单操作:比如列删除,行求和。你觉得上面哪个性能更高? 速度更快,内存更节省?
不知道呢。 如果要读取1百万行数据。大家用什么包? 不是1行1行的读。要一次性读取这100万行进内存。
应该可以吧? 是不是还可以用polars
谢谢!
pandas的DataFrame和Numpy的structured array, 你更喜欢用哪一个?