【有奖征文】DSS+Linkis的使用情况

[wengsongwei8]

一、使用背景

• dss+linkis是国内优秀的开源项目，感谢微众的小伙伴们的贡献和一直一来的热心指导。

• 我司的大数据平台，包括数据集成、数仓、元数据、数据质量、统一调度、可视化、API开放等。但是比较大的缺憾是没有数据开发模块，在没有dss+linkis之前，我司都是使用hue开发脚本，没有统一的界面进行开发维护，也很难与现有的产品体系集成。

• 自从接触到dss+linkis，和其他相关产品进行比较，感觉dss+linkis非常棒，非常适合我们，所以一直研究如何在我司现有产品体系中使用。

二、使用情况
目前阶段处于初步引入以及修复使用问题阶段。

• 引入数据开发Scripts模块，与我司现有的统一认证进行集成，并把该模块整合到现的大数据平台体系中，作为单独的数据开发模块；

• 数据开发Scripts管理的脚本与其他模块打通，如与现有调度中心模块、工作流开发模块集成；

• 使用linkis作为我们数仓适配层，数仓上层所有的模块通过linkis与数仓交互，上层应用直接通过API接口与linkis交互，无需注意底层的技术细节；

• 我司使用的环境是CDH6.0.1版本，根据使用重新编译后，有少量jar冲突需要手工处理；

• 目前在初步接入阶段，在QC测试及使用的过程还是有不少问题需要去摸索、解决，希望在后续不断熟悉的基础上不断引入dss+linkis更多优秀的模块。

三、期待的功能与改进

• 各个功能模块职责清晰，各模块之间独立性高一些，因为DSS中包括很多模块，但是在有些场景下只需要集成其中一个模块

• linkis的各个引擎第一次执行时，启动时间较长，期望能有改进；

• linkis对通用算法库的支持，如spark Mlib；

• 可以有界面对用户和数据权限进行统一管理；

• 目前配置和服务均较多，期望能简化方便运维管理

• 增加加实时计算方面的支持；

• 能增加元数据方面的支持；