节点文献
Spark并行运算框架在地球物理数据处理中的试验
The experiment of Spark on geophysical data processing
【Author】 Liang Meng;Wu Wenli;Chen Shi;Feng bin;
【机构】 中国地质科学院地球物理地球化学勘查研究所；
【摘要】 <正>Spark是一个开源并行运算框架,相对于Hadoop的Map Reduce会在运行完工作后将中介数据存放在硬盘中,Spark使用了内存运算技术,能在数据尚未写入硬盘时即在内存内分析运算。基于内存运算技术Spark的计算速度相比Hadoop的Map Reduce能提高数倍。基于Spark的并行和内存计算特性,将Spark的运算技术应用到地球物理数据处理中,提出体系结构、关键技术和应用实例,对互联网环境中大数据并行运算框架在地球物理数据
- 【会议录名称】 中国地球物理学会信息技术专业委员会“互联网+地球物理”研究论坛论文摘要集
- 【会议名称】中国地球物理学会信息技术专业委员会“互联网+地球物理”研究论坛
- 【会议时间】2016-07
- 【会议地点】中国山东枣庄
- 【分类号】P631-39
- 【主办单位】中国地球物理学会信息技术专业委员会