Python：如何从地球大数据科学服务中心批量下载VPM-GPP？

01 说明

1.1 网站和GPP数据集的基本信息

中国科学院地球大数据科学数据中心-网址：https://data.casearth.cn
本博客下载VPM-GPP的网址：https://data.casearth.cn/dataset/5c19a5660600cf2a3c557ad3
2000-2016年全球0.05°基于VPM模型的GPP数据集-产品信息：

1.2 API说明

网站所给API如下：

本博客主要基于通过ID获取文件列表和单文件下载进行VPM-GPP的批量下载，对于元数据信息没有进行获取，但代码可以作为参考。
1.2.1 通过ID获取文件列表

这个Url是不完整的，是相对路径，结合前面的网站地址https://data.casearth.cn和此处的/api/dataset/getAllFileListBySdoId?sdoId=5c19a5660600cf2a3c557ad3拼接得到的网址https://data.casearth.cn/api/dataset/getAllFileListBySdoId?sdoId=5c19a5660600cf2a3c557ad3(通过浏览器即可打开)就是一个文件列表。
结果如下：

但是这里我们不直接下载，我们通过Python直接读取成json文件对这个文件列表进一步处理.(如果想要直接下载直接复制放到文本文件里改个后缀的事情)。
1.2.2 单文件下载

对于单文件下载，这里需要使用到前面获取得到的文件列表的信息补全这里的Url：/api/file/downloadOneFile?fileId=文件Id&username=用户名。
例如取文件列表data中一个文件：{"size":18485479,"file_name":"GPP.VPM.2000321.v20.CMG.tif","id":2148752}，需要将id即2148752替换上面Url中的文件Id。
此外还有一个关键点，将用户名替换为登录中国科学院地球大数据科学数据中心后(https://data.casearth.cn)的用户名，注意不是登录时输入的用户名账号，而是登录之后显示的用户名（如下）。

补全之后的Url和之前的网站网址拼接即可得到该文件的下载链接(所以网站为什么索性不直接给一个含下载txt文件让我们自己做，当然现在也还好只是对于不熟悉下载的同学不是很友好)。
最终就是，按照上述的拼接就可以得到指定文件的下载链接例如：https://data.casearth.cn/api/file/downloadOneFile?fileId=2148752&username=何泽煌,现在代码的目标就是一直重复上述操作执行下载。
02 代码说明

完整代码：

1. # @Author  : ChaoQiezi
2. # @Time    : 2025/7/17 上午11:09
3. # @Email   : chaoqiezi.one@qq.com
4. # @Wechat  : GIS茄子
5. # @FileName: download_VPM_GPP
7. """
8. This script is used to 批量下载VPM-GPP
9. """
11. import requests
12. import os
13. import time
15. # 网站根地址
16. base_url = "https://data.casearth.cn"
17. # id_url, 网站中所显示的Url
18. id_url = "/api/dataset/getAllFileListBySdoId?sdoId=5c19a5660600cf2a3c557ad3"
19. # 用户名, 登录后网站显示的名字就是你的用户名, 一般不是登录时的输入账户名
20. user_name = "何泽煌"
21. # 输出文件夹
22. out_dir = r"I:\DataHub\VPM_GPP"
25. def get_files_info(base_url, id_url):
26.     """
27.     调用API获取所有文件的信息列表
28.     :param base_url: 根网址
29.     :param id_url: 网站中所显示的Url
30.     :return: 以字典形式返回{file_name: file_id, ···}
31.     """
32.     """
33.     调用API获取所有文件的信息列表 (文件名 -> 文件ID 的映射)
34.     """
36.     # 文件列表的url
37.     file_info_url = f"{base_url}{id_url}"
39.     # 获取文件列表的基本信息
40.     response = requests.get(file_info_url, timeout=30, verify=False)  # timeout=30表示超时30s没有链接上报错, verify是因为该网站SSL证书过期了这里不验证
41.     response.raise_for_status()  # 查询请求状态，若请求状态异常说明无法下载直接弹出报错
42.     files_info = response.json()['data']  # [{'size': xxx, 'file_name': xxx, 'id': xxx}, {}, {}, ···]
44.     # 获取文件名和id
45.     files_info = {file['file_name']: file['id'] for file in files_info}
46.     print(f"成功获取 {len(files_info)} 个文件的信息。")
48.     return files_info
51. def download_file(base_url, filename, file_id, username, save_dir):
52.     """
53.     下载单个文件
54.     :param base_url: 根网址
55.     :param filename: 文件名(非自定义的输出, 基于api读取)
56.     :param file_id: 文件id
57.     :param username: 用户名(登录后网站显示的名字就是你的用户名, 一般非登录的账户名)
58.     :param save_dir: 输出文件夹路径
59.     :return: 成功返回True, 下载失败返回False
60.     """
61.     """
62.     下载单个文件
63.     """
65.     api_url = f"{base_url}/api/file/downloadOneFile?fileId={file_id}&username={username}"
66.     out_path = os.path.join(save_dir, filename)
68.     # 如果文件已经存在，则跳过
69.     if os.path.exists(out_path):
70.         print(f"文件存在: 文件名-{filename}")
71.         return True
73.     print(f"正在下载: 文件名-{filename}, ID-{file_id})")
75.     try:  # 可能由于网络等问题下载容易断开，这里try一下
76.         with requests.get(api_url, timeout=60, verify=False) as r:
77.             r.raise_for_status()  # 查询请求状态，若请求状态异常说明无法下载报错
78.             with open(out_path, 'wb') as f:
79.                 # 下方代码表示分块写入为防止下载文件过大而内存爆满, 如果执行这种流式传输,get方法需要设置stream=True
80.                 # for chunk in r.iter_content(chunk_size=8192):
81.                 #     f.write(chunk)
82.                 # 一次性写入(确保单个文件大小小于当前可用内存)
83.                 f.write(r.content)
85.         time.sleep(0.01)  # 友好请求，在每次下载后暂停一小段时间，防止因请求过快被服务器屏蔽
86.         return True
88.     except Exception as e:
89.         print(f"下载失败: 文件名-{filename}, 失败原因-{e}")
90.         time.sleep(0.05)
92.         return False
95. if __name__ == "__main__":
96.     # 获取文件基本信息
97.     files_info = get_files_info(base_url, id_url)
99.     # 遍历下载
100.     success_count = 0
101.     for file_name, file_id in files_info.items():
102.         success_count += download_file(base_url, file_name, file_id, user_name, out_dir)
104.     print("\n下载完成: 成功-{}, 失败-{}".format(success_count, len(files_info) - success_count))

复制代码

2.1 get_files_info函数说明

简而言之，按照之前的下载链接的拼接方式，我们最关键的是需要所有文件的id，但是由于输出文件时需要指定输出的文件名称，所以这里我还将file_name提取出来与id一一对应。因此这个函数的作用时将从读取的json文件中将file_name和id以字典dict形式返回。形如{文件名_1: 文件的id_1, 文件名_2: 文件的id_2···}
2.2 download_file函数说明

这个函数就是将之前的拼接方式以代码形式呈现得到当前所要下载文件的下载链接，接着通过request库进行进行即可。这里没有具体的说明是因为代码中有较为详细的注释供参考，且函数的参数和使用并不复杂，这里不展开说明，自行研究即可。

本文由博客一文多发平台 OpenWrite 发布！

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！