EOS Dumper——EOS数据自动下载与重新发布系统

【作者】 南卓铜； 王亮绪； 李新；

【机构】 中国科学院寒区旱区环境与工程研究所；

【摘要】 为了更有效的利用已有数据资源,不造成科研设施的重复投资,数据共享越来越受重视。NASAEOS提供了大量的包括MODIS在内的免费数据资源,通过EOS DIS(数据信息系统)界面向全世界互联网用户开放。由于遥感数据的来源多样、数据量大、更新快速,通过手动下载研究区域的全部科学数据费时、费力,而且很难保证及时性和处理效率。EOS DIS根据用户查询请求,在后台采用复杂的CGI程序从分布式的庞大数据库中动态提取所需数据,根据用户指定方式(如FTP PULL、FTP PUSH、光盘邮寄等)向用户传递数据。这种方式决定了第三方用户很难直接在数据库层次上操作数据。EOS Dumper采用基于正则表达式的页面信息捕获技术,模拟注册用户通过EOS DIS界面操作的全部流程,实现定时自动下载研究区的全部EOS免费数据。下载到本地的数据自动提交到免费的DIAL(数据信息访问链接)系统,向互联网进行重新发布,并实现复杂的基于时空的数据查询。EOS Dumper演示了一种实现数据共享的新技术。该技术适用于任何基于Web的数据发布系统,而与此发布系统的底层实现无关。通过EOS Dumper实现比如MODIS遥感数据的自动接收,从而避免了诸如MODIS地面接收站的重复科学仪器投资。本文从技术角度详细介绍了EOS Dumper的实现原理、涉及的关键技术,以及其对数据共享的促进意义。更多还原