in Python如何只需一个会话就如何在RAM中缓存大数据?

每次我运行我的代码,我需要下载一个大文件并在数据中运行长计算。

在整个会话中,我如何保存RAM中的数据(比硬盘驱动器更快的访问),直到我关闭我的Jupyter会话?

当我需要重新加载更新的数据时,如何刷新或覆盖此数据?

EDIT:运行Mac OS,Python 3.9.6和jupyterlab

每次我运行jupyterlab脚本时,每次运行jupyterlab脚本时,我加载了我的数据的变量都会在脚本的末尾清空。

如何使变量内的数据持续到我手动冲洗它?

你应该包括你正在运行的系统Mahrkeenerh
Running Mac OS,Python 3.9.6alexx0186
选中文件,调用文件句柄的读取()函数,其整个内容将被加载到RAM中。如果您没有足够的物理RAM,MacOS将利用虚拟内存。一旦对文件内容的任何引用超出范围,将释放使用的内存。根据需要重复Darkknight
我不确定这里的查询 - 只要将其分配给变量并且不删除/修改该变量,它将持续(如果需要修改该变量,那么简单的读取()将其加载到内存中,可能需要它的Copy.Deepcopy())。文件是否对于内存太大,因此您需要懒惰加载?如果睡觉加载,请尝试在此:stackoverflow.com/questions/6475328/...Amiga500
谢谢你的回复。忘了提到我正在使用jupyterlab。基本上,每次运行jupyterlab脚本时,我加载了我的数据的变量都会在脚本的末尾清空。如何使变量内的数据持续到我刷新它?alexx0186

回答 0