大数据

利用开源工业互联网平台上的大数据相关开源项目,结合到开源私有云和边缘计算系统,可以快速形成一个具有深度学习能力的工业大数据平台。

开源项目推荐

Hadoop

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错特性,可部署在低成本的硬件上,提供高吞吐量数据,适合那些有着超大数据集的系统。

HBase

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

Hive

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

Spark

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。

Cassandra

Apache Cassandra是开源的、分布式、无中心、支持水平扩展、高可用的KEY-VALUE类型的NOSQL数据库统。它最初由Facebook开发,用于储存收件箱等简单格式数据,是最为了一种流行的分布式结构化数据存储方案。

Apache Nifi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统,其为数据流设计,它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。

为开发者提供稳定、高效、安全的软件开发协作平台

项目管理

最为流行的 Git 管理,提供代码审核、Bug 跟踪等功能,提供 CI/CD 功能

团队协作

轻量级项目管理工具,提供需求、任务、议题跟踪功能,提供看板管理功能

质量评估

分析项目源码,直观了解代码质量,提供依赖扫描、代码安全扫描功能