【里程碑】| 数据应用开辟管理集成框架DataSphere Studio 1.1.0 新版本发布

计算机软件开发 · 2024-9-5 07:48:26

DataSphereStudio1.1.0 是践行数据应用开辟管理框架的里程碑，集成了 WeDataSphere 已开源的全部生态组件，并带来了一系列强盛的全新特性，以及更加精简、易于对接的数据应用开辟集成架构筹划和实现。

DataSphere Studio 简介
DataSphere Studio（简称 DSS）是微众银行自研的数据应用开辟管理集成框架。基于插拔式的集成框架筹划，及盘算中心件 Linkis ，可轻松接入上层各种数据应用体系，让数据开辟变得简便又易用。
在统一的 UI 下，DataSphere Studio 以工作流式的图形化拖拽开辟体验，将满足从数据交换、脱敏洗濯、分析发掘、质量检测、可视化显现、定时调治到数据输出应用等，数据应用开辟全流程场景需求。
DSS 通过插拔式的集成框架筹划，让用户可以根据须要，简朴快速更换 DSS 已集成的各种功能组件，或新增功能组件。
GitHub：https://github.com/WeBankFinTech/DataSphereStudio
DSS1.1.0 版本阐明
DSS1.1.0 告急特性如下：
- 已集成 WeDataSphere 已开源的全部生态组件，包罗 Apache Linkis1.1.1、Exchangis1.0.0、Schedulis0.7.0、Qualitis0.9.2、Visualis1.0.0、Streamis0.2.0 和 Prophecis0.3.2。
- 集成了 Apache DolphinScheduler1.3.X。支持将 DSS 工作流一键发布为 DolphinScheduler 工作流，为工作流调治筹划并开辟了全新的调治中心。
- 用户体验优化。如支持换肤、顶部导航栏改版、DSS 开辟中心改版等。
- 资助手册和新手指引。
- 安装部署优化。进一步简化 DSS&Linkis 百口桶一键安装部署流程，让 DSS 和 Linkis 的安装在半个小时内完成。
- 支持优雅升级。提供了如何从DSS1.0.1升级到DSS1.1.0，以及DSS0.9如何迁徙到DSS1.1.0的具体升级流程。
- AppConn 架构优化。架构更加简化清楚，文档更加全面风雅，手把手教您如何实现一个新的AppConn，以及添加一个新的工作流节点。
缩写：
- DSS: DataSphereStudio
- DAS: Data Api Service
已集成的数据应用组件
新特性
- [DSS-AppConn] 集成了 Apache DolphinScheduler1.3.X，筹划并开辟了全新的调治中心
- [DSS-Commons] 适配了 Apache Linkis1.1.1
- [DSS-AppConn] 集成了 Exchangis1.0.0
- [DSS-AppConn] 集成了 Schedulis0.7.0
- [DSS-AppConn] 集成了 Qualitis0.9.2
- [DSS-AppConn] 集成了 Visualis1.0.0
- [DSS-AppConn] 集成了 Streamis0.2.0
- [DSS-AppConn] 集成了 Prophecis0.3.2
- [DSS-AppConn] AppConn 架构优化
- [DSS-Deployment] AppConn 插件安装支持热更新，无需重启全部服务
- [DSS-Deployment] 支持优雅升级
- [DSS-Workspace] 新增资助手册和新手指引
- [DSS-UI] 开辟中心用户体验优化，如支持换肤、顶部导航栏改版等
- [DSS-Workflow] 新增工作流版本的脚本文件下载功能
功能加强
- [DSS-Workspace] 精简工作空间的部分接口，同时去掉无用的部分接口
- [DSS-Workspace] 新建工作空间时增长工作空间范例选项；工作空间首页右侧新增管理台功能；右下角新增资助按钮
- [DSS-Workspace] 原先工作空间的应用市肆去掉，组件访问入口统一从左上角菜单栏进入
- [DSS-Workspace] 首页下方应用开辟流程demo案例优化，将demo案例的按钮去掉，改为敬请等候
- [DSS-UI] 资源管理器按钮样式变革、增长换肤功能、工程项目列表UI变动；应用市肆UI样式变革；右上角导航栏UI改动
- [DSS-DAS] 下载功能限定5000条，而且每次下载操纵都要向用户弹出操纵风险提示
- [DSS-DAS] 效果集可视化页面的优化调解；优化效果集分页排序；支持效果集及日记部分下拉；效果集表格宽度支持拉长
- [DSS-Workflow] 新增工作流根本属性展示
- [DSS-Workflow] 新建工作流时自动将工作流模式和工作流方式勾选
- [DSS-Workflow] 新建工作流时增长工作流告急性级别特性
- [DSS-Workflow] datachecker支持run_date变量
- [DSS-Scriptis] 支持拖动代码tab到恣意位置
- [DSS-Scriptis] Sql和Hql支持文件范例相互修改
- [DSS-Scriptis] 工作空间代码文件支持复制粘贴
- [DSS-Scriptis] 前端查察数据库表时支持只看自己创建的表
- [DSS-Commons] 用户登录之后，资助用户清算缓存
- [DSS-AppConn] 增补Schedulis AppConn的Update和Delete 操纵，并添加对应接口
Bug修复
- [DSS-Workspace] 修复在删除项目时无法同步删除全部第三方体系项目的问题
- [DSS-Workspace] 修复工作空间管理-用户管理，编辑用户接口报400 bad request的问题
- [DSS-Workspace] 修复用户管理页面用户数据表现非常的问题
- [DSS-Workspace] 修复创建项目页面中发布权限、编辑权限和查察权限的下拉框无法获取该工作空间全部用户的问题
- [DSS-Workspace] 修复切换署理用户后，前端工作空间展示的文件目次不准确问题
- [DSS-Workspace] 修复点击可视化按钮后界面没有表现可视化界面的问题
- [DSS-Workspace] 修复脚本选择右键打开到侧边控制台报错的问题
- [DSS-Workspace] 修复脚本复制粘贴到首次打开的文件夹下报错的问题
- [DSS-Workspace] 修复用户在新建工程后授予其他用户权限，效果其他用户权限非常的问题
- [DSS-Workspace] 修复工程复制功能按钮未展示的问题
- [DSS-Workspace] 修复创建工程时向第三方应用发出检测工程名是否重复的哀求失败问题
- [DSS-Workflow] 修复eventsender和eventreceiver节点传参失败的问题
- [DSS-Workflow] 修复datachecker里的run_year等新增内置参数不见效的问题
- [DSS-Workflow] 修复在有subflow的环境下，导出数据繁芜或丢失的问题
- [DSS-Workflow] 修复sendmail节点运行失败的问题
- [DSS-Workflow] 修复开辟中心的工作流回滚失败问题
- [DSS-Workflow] 修复datachecker、eventsender、eventreceiver节点运行时表现Failed to async get EngineNode AMErrorException
- [DSS-Workflow] 修复工作流停息实行接口表现404的非常
- [DSS-Workflow] 修复工作流节点在右键关键脚本时，目次不能展示最新的非常
- [DSS-Workflow] 修复运行有效果集节点时，管理台效果集展示不全的问题
- [DSS-Workflow] 修复datachecker在eventreceiver背面运行失败的问题
- [DSS-Workflow] 修复工作流实时实行时部分节点已乐成但状态未翻转导致工作流卡死的问题
- [DSS-Workflow] 修复在实时实行工作流中署理用户设置为非体系用户名后工作流实行失败的问题
- [DSS-Scriptis] 修复工作空间导入文件到HDFS失败的问题
- [DSS-Scriptis] 修复IDE中引用全局变量无效的问题
- [DSS-DAS] 修复数据服务实行失败非常
- [DSS-DAS] 修复效果集下载报错非常
- [DSS-DAS] 修复选择多个效果集时，上个效果集的翻页会带过来的问题
- [DSS-DAS] 修复导出CSV格式的效果集表现无权限问题
- [DSS-DAS] 修复导出效果集后运行日记页面内容表现不全的问题
- [DSS-DAS] 修复运行有效果集的脚本可视化报错的非常
- [DSS-DAS] 修复效果集排序问题
- [DSS-Commons] 修复shell中调用sqoop和script code中的代码与脚本中差别等问题
- [DSS-Commons] 修复shell节点输入vi a.txt下令会导致脚本不停运行且引擎处于繁忙的问题
- [DSS-Commons] 修复接口/api/rest_j/v1/dss/datapipe/backgroundservice将署理用户设置为空导致报错的非常
- [DSS-Commons] 修复hadoop用户创建项目时未赋予A用户任何权限，但A用户工作空间仍表现该项目的非常
- [DSS-AppConn] 修复AppConn启动时偶现zip失败的问题
- [DSS-Engine] 修复Python 3引擎被Kill后，运行节点表现为Python 2的问题
贡献者
DSS 1.1.0 的发布离不开DSS社区的贡献者，感谢全部的社区贡献者，包罗但不但限于以下贡献者：

rootljw、teenwolf0910、njnu-seafish
luban08、HanTang1、det101
KidUncle、mingfengwang

安装包
DSS1.1.0&Linkis1.1.1一键安装包：
https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/dss_linkis_one-click_install_20220704.zip
— END —

如何成为社区贡献者

1 ► 官方文档贡献。发现文档的不敷、优化文档，连续更新文档等方式到场社区贡献。通过文档贡献，让开辟者认识如何提交PR和真正到场到社区的建立。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者
2 ► 代码贡献。我们梳理了社区中简朴而且容易入门的的使命，非常适当新人做代码贡献。请查阅新手使命列表：https://github.com/apache/incubator-linkis/issues/1161
3 ► 内容贡献：发布WeDataSphere开源组件干系的内容，包罗但不限于安装部署教程、使用履历、案例实践等，情势不限，请投稿给小助手。例如：

技能干货 | Linkis实践：新引擎实现流程分析
技能干货 | Prophecis保姆级部署教程
社区开辟者专栏 | MariaCarrie：Linkis1.0.2安装及使用指南

4 ► 社区答疑：积极在社区中举行答疑、分享技能、资助开辟者办理问题等；
5 ► 其他：积极到场社区运动、成为社区志愿者、资助社区宣传、为社区发展提供有效发起等；

【里程碑】| 数据应用开辟管理集成框架DataSphere Studio 1.1.0 新版本发布

所属分类: 问答交流

新帖推荐: 30日

推荐作品