致力于开发下一代Hadoop开源软件框架

时间：2020-10-15 16:52:15来源：互联网

欧洲开放创新组织EIT Digital启动了一项名为HopsWorks的新的创新活动*，致力于开发下一代Hadoop开源软件框架，用于分布式存储和处理超大型数据集。Hadoop为各种数据提供海量存储，强大的处理能力以及处理大量并发任务或作业的能力。它还可以存储比一台特定节点或服务器上可以存储的文件大的文件。

瑞典计算机科学研究所(SICS Sweden ICT)资深研究员，EIT Digital HopsWorks创新活动的负责人Jim Dowling博士解释说：“ Hadoop是一个开放源代码软件框架，用于在商品集群上存储数据和运行应用程序硬件。我们的产品称为“ Hops”，将提供具有统一批处理和流传输的第一个真正的多租户，弹性Hadoop分发服务。

“与现有产品不同，Hops将允许组织在同一集群上托管多个敏感数据集，为Hadoop分布式文件系统– HDFS和Kafka分布式流平台提供基于角色的动态访问控制。该平台统一在一个直观的用户界面中，并为Spark-Streaming，Flink分布式大数据分析和Kafka提供一流的支持。”

Hadoop生态系统由从商品硬件构建的计算机集群组成。Hadoop中的所有模块都是在基本假设下设计的，即硬件故障是常见现象，应由系统自动处理。

HopsWorks将把Hops作为市场就绪的产品推出，并将通过面向面向客户的新创公司分发框架，重点是物联网(IoT)和电信市场以及敏感的大数据所有者。预计新的初创企业将通过项目合作伙伴爱立信(Ericsson)获得更多的关注和参与，爱立信是提供ICT解决方案的全球领导者，它将作为框架的参考用户。

该项目还将向行业转移大数据和流分析的技能，培训技术工人，并将与EIT Digital的数据科学硕士教育计划以及edX在线学习和MOOC服务的免费课程链接。

“我们希望能够引导Hops生态系统，并为初创企业提供逃逸速度，以筹集建立成功企业所需的种子资金。我们估计我们的初创公司在2017年及以后会有可观的收入增长。” Dowling博士说。