Python multiprocessing多进程编程时读取hdf5文件遇到OSError: Unable to open file的解决方法

近期在处理大批量数据的时候有一种情况是，利用multiprocessing进行并行时，需要从hdf5文件中读取几个大的dataframe。例如以下代码

import pandas as pd
import multiprocessing as mul


def patent_match(x):
    store = pd.HDFStore('./data/example_data.h5', 'r')
    foo = store['foo']
    


if __name__ == '__main__':
    pool_num = 10 #进程数量
    num_list = [1,2,3,4] #样例数据
    pool = mul.Pool(pool_num)
    pool.map(patent_match, num_list)
    pool.close()
    pool.join()

发现在并行执行时，程序会报OSError，大意是无法获取该hdf5文件的lockfile，但实际上我们只是做一个read操作，按道理来说并不会因为造成多个进程同时读一个文件导致出现bug的情况。而换成单个process运行后恢复正常。

于是我的第一个解决办法是写了一个脚本同时执行多个文件来完成并行，发现程序可以正常运行。但是这样并不方便快捷，于是在google上搜索半天，发现只要增加一行代码就可以解决这个问题，这行代码设置一定要获取hdf5文件的file lock为false。这样之后多进程并行时就不会报错了。

import os
os.environ["HDF5_USE_FILE_LOCKING"] = "FALSE"

这样处理也有个问题，就是如果一边读一边另一个文件正在写入等操作，可能会出现冲突，但是在我当前只需要读取的情况下已经是够用了。欢迎大佬解析这个bug出现的真正原因，交流一下完美的解决方案。