时间:2020-11-30 10:04:11来源:
基于Apache Ignite的企业级内存计算解决方案提供商GridGain Systems已发布GridGain Professional Edition 2.4,这是Apache Ignite 2.4的完全受支持的版本。
GridGain Professional Edition 2.4现在包括一个持续学习框架,该框架包括机器学习和多层感知器(MLP)神经网络,使公司能够针对其PB级操作数据集实时运行机器和深度学习算法。公司现在可以以内存速度和巨大的水平可扩展性来构建和不断更新模型。GridGain专业版2.4还通过引入适用于Apache Spark DataFrames的API来增强Apache®Spark的性能,从而增加了对Spark RDD的现有支持。
GridGain专业版2.4现在包括第一个完全受支持的Apache Ignite集成的机器学习和多层感知器功能,从而可以直接在GridGain中使用机器学习和深度学习进行连续学习。通过针对GridGain集群中驻留的数据针对大型并行处理(MPP)优化这些库,可以大大加速大规模机器学习用例。直接在GridGain集群中处理数据,无需在模型训练之前就将交易数据移至单独的数据库中,从而实现了连续学习的工作流程。结果是实时模型训练,甚至是连续模型训练,与传统方法相比,其复杂度较低且成本大大降低。
新的GridGain持续学习框架是进程内HTAP(混合事务/分析处理)应用程序的构建块,在该应用程序中,将基于传入数据对数据模型进行持续训练。进程内HTAP为下一代应用程序提供了对实时模型训练做出反应并从中受益的能力,该模型可以在防欺诈,电子商务建议引擎,信用等广泛的业务应用程序中提供更好的实时决策能力批准,物流和运输系统维护决策。
GridGain现在可以用于存储和管理Spark DataFrame。DataFrame支持扩展了任何内存计算平台对Spark的最广泛支持。GridGain继续包括用于以可变的Spark RDD访问GridGain中的数据的GridGain RDD API,以及用于将GridGain用作Hadoop分布式文件系统(HDFS)的内存中实现的Ignite File System(IGFS)。
Spark可用于将GridGain中的数据作为DataFrame或RDD处理,也可将DataFrames或RDD保存到GridGain中以备后用。这些功能使GridGain可以被Spark开发人员用作内存存储,以在Spark作业之间访问,保存和共享信息。GridGain提供ANSI-99 SQL支持,包括数据索引,因此Apache Spark可以利用GridGain的分布式SQL将临时查询性能提高多达1000倍。Spark开发人员还可以利用GridGain持续学习框架来自动化决策并不断更新模型以实时改善结果。
声明:文章仅代表原作者观点,不代表本站立场;如有侵权、违规,可直接反馈本站,我们将会作修改或删除处理。
图文推荐
2021-11-01 12:09:53
2021-11-01 11:09:53
2021-11-01 10:09:53
2021-11-01 09:09:52
2021-11-01 08:09:53
2021-10-31 19:09:53
热点排行
精彩文章
2021-11-01 12:10:04
2021-11-01 11:10:09
2021-11-01 10:10:07
2021-11-01 09:10:06
2021-11-01 08:10:09
2021-10-31 19:10:05
热门推荐