管理数仓规划待发布对象
说明 发布数据源时，系统将会校验数据源的连通性。当您批量发布多个数据源且存在不可并发的数据源时，可能导致批量发布过慢，请您耐心等待。不支持并发的数据源包括SAP Table和HDFS、Hive、Impala、Kudu、Kafka以及其他支持Kerberos的数据...
管理数仓规划待发布对象
说明 发布数据源时，系统将会校验数据源的连通性。当您批量发布多个数据源且存在不可并发的数据源时，可能导致批量发布过慢，请您耐心等待。不支持并发的数据源包括SAP Table和HDFS、Hive、Impala、Kudu、Kafka以及其他支持Kerberos的数据...
预览并发布数据看板
组件的样式和数据源都配置完成后，您可以预览并发布数据看板，实现看板的在线播放和演示。本文档为您介绍预览并发布数据看板的方法。操作步骤 登录 DataV控制台。在 工作台 页面中，选择已创建的数据看板，单击 编辑。单击画布编辑器右上角...
预览并发布数据看板
组件的样式和数据源都配置完成后，您可以预览并发布数据看板，实现看板的在线播放和演示。本文档为您介绍预览并发布数据看板的方法。操作步骤 登录 DataV控制台。在 工作台 页面中，选择已创建的数据看板，单击 编辑。单击画布编辑器右上角...
发布数据流
在 发布 对话框中输入 备注 信息，并单击 确认，发布数据流。说明 如果您不再需要调度该数据流，可以下线数据流：单击画布左上角的 下线。在确认对话框中单击 确认，下线数据流。必需：确认发布状态。单击画布右上方的 前往运维。在界面...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，报错You cannot complete the specified operation under the current upload or download status，如何解决？使用Tunnel Upload命令上传数据时，报错Error writing request body to server，如何解决？...
常见问题
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
发布中心概述
您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象的发布状态及发布详情。发布成功的数据对象将从待发布对象列表移除，并在发布记录列表中生成一条发布成功的记录。发布失败的数据对象将...
发布中心概述
您可以单击数据对象操作列下的 图标，发布数据对象至生产环境。在 发布记录 页面，您可以查看数据对象的发布状态及发布详情。发布成功的数据对象将从待发布对象列表移除，并在发布记录列表中生成一条发布成功的记录。发布失败的数据对象将...
敏感数据保护概览
名词解释 安全级别：根据存储业务的数据性质差异，部分字段如手机号码、身份证号码等属于敏感数据，常规查询数据时此类字段的值不应展现。根据数据的敏感程度，将数据分为3个安全级别：低敏感：对应DMS的原分类为内部。安全协同管控模式的...
数据变更最佳实践
向表中写入数据时，可以通过批量打包方式INSERT和REPLACE INTO提高数据写入性能。建议如下：通过每条INSERT或者REPLACE语句写入的数据行数大于1000行，但写入的总数据量不宜太大，不超过16MB。通过批量打包方式写入数据时，单个批次的写入...
数据源管理常见问题
在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种基于HTTP头的机制，该机制支持服务器标示除了它自己以外的其它 origin（协议、端口和主机），可以突破浏览器对跨域资源访问的...
数据源管理常见问题
在DataV中使用API数据源时，如果遇到跨域的问题，无法正常获取数据时怎么解决？跨域数据源共享（CORS）是一种基于HTTP头的机制，该机制支持服务器标示除了它自己以外的其它 origin（协议、端口和主机），可以突破浏览器对跨域资源访问的...
概述
发布数据模型：仅 空间管理员、运维 角色支持发布已创建的数据模型。如果您需要执行该操作，则可授权目标用户拥有对应的角色权限。授权详情请参见 空间级模块权限管控。概述 DataWorks数据建模支持数仓规划设计、制定并沉淀企业数据标准、...
功能发布记录（2024年）
您在数据开发和数据分析中执行SQL语句查询数据时，若该数据被识别为敏感数据，平台将会按照脱敏规则进行遮盖、加密等模式的脱敏展示，加强企业数据安全管控。2024.1.25 所有地域 所有DataWorks用户 数据脱敏能力概述 数据保护伞概述 数据...
修改名单抽奖数据
说明 添加数据时的字段名要和系统设置保持一致。数据配置完成后，您可以在 设置数据源 页面单击 数据响应结果 的 图标刷新数据响应结果。数据响应成功后，在 数据 页签会显示 配置完成。您还可以在组件 设置数据源 页面中，选择 数据源 ...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
2023年
2023-12-20 全部地域 网络开通流程 2023-11 功能名称 功能描述 发布时间 发布地域 相关文档 支持增加TableStore外表脏数据处理配置 在读取TableStore外表数据时，用户可以配置遇到脏数据时的处理逻辑。2023-11-22 全部地域 Tablestore外部...
数据服务概述
使用场景 最小粒度的数据输出控制 当企业需要对外提供数据时，可以使用调用API的方式，该方式可帮助用户仅暴露最小单元的数据（可控制到行级、列级）。使用API数据源进行可视化制作 在多数可视化工具中使用API数据源来分析数据，而不是对外...
图层配置项说明
您可以根据业务需求选择合适的图层数据配置方式，当不需要在可视化中多次修改数据时，可以选择在场景编辑器中直接配置图层的数据内容；当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要...
资源组操作及网络连通
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
图层配置项说明
您可以根据业务需求选择合适的图层数据配置方式，当不需要在可视化中多次修改数据时，可以选择在场景编辑器中直接配置图层的数据内容；当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要...
图层配置项说明
您可以根据业务需求选择合适的图层数据配置方式，当不需要在可视化中多次修改数据时，可以选择在场景编辑器中直接配置图层的数据内容；当在可视化应用中需要对三维城市项目图层做出更多类型数据源或者数据交互需求时，则建议您将后续需要...
数据建模
通过Java Native SDK写入数据和通过行协议写入数据时可以指定Schema约束策略，更多信息，请参见 关于时序数据的Schema约束。在弱约束条件下，写入数据的表或者列不存在时，时序引擎会自动创建，并对已经存在的列进行数据类型校验。创建时序...
数仓规划概述
业务分类 当企业业务比较复杂，不同类型业务彼此间需要共享数据域，但是又希望能在模型设计和应用过程中快速定位本业务的数据时，您可结合真实业务情况，规划不同的业务分类，在后续建模的维度表和明细表中，将其关联到对应的业务分类中。...
概述
例如，企业使用第三方服务管理其商业数据时，需要应对商业秘密被服务商获取的潜在威胁；再如，个人识别数据（PII）、基因等隐私数据在被第三方管理过程中，要满足全程加密的合规要求。多源数据融合：该场景主要针对多源数据的联合分析，...
Delta Lake概述
在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在如下问题：数据导入可能会失败，失败后清理脏数据和恢复作业困难。方案中没有ETL（Extract Transform Load）过程，缺少必要的数据质量监管。方案中没有事务...
执行补数据并查看补数据实例（新版）
为避免补数据实例占用过多的资源而影响周期实例运行，平台对补数据实例制定以下规则：如果补数据选择业务日期为昨天（T-1），即补当天数据时，补数据任务优先级由任务所在基线优先级决定。如果补数据选择业务日期为历史业务日期（T-2）时，...
添加体验空间数据库
说明 在用户上传数据时，系统首先会计算上传文件与当前剩余空间的容量。如果上传的文件会导致空间超过100M，系统会提示空间不足，不允许上传。如果上传的文件不会导致空间超过100M，则允许上传，且上传后显示的空间占用大小与文件本身大小...
执行补数据并查看补数据实例（旧版）
注意事项 实例运行相关 当补一个区间的数据时，在启动补数据的第一天存在一个运行失败的实例，则当天的补数据实例会被置为失败状态，第二天的实例也不会启动运行（只有当天的全部任务实例都成功，第二天的任务实例才会开始运行）。...
敏感数据保护
主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被保护的敏感数据时，敏感数据会按照已经配置的脱敏策略进行脱敏展示，从而保证敏感数据不泄露。生产环境敏感数据写入开发环境脱敏 当因为测试需要等...
敏感数据保护
主要包括以下场景：敏感数据查询脱敏 当使用即席分析、代码任务、数据预览等功能，查看被保护的敏感数据时，敏感数据会按照已经配置的脱敏策略进行脱敏展示，从而保证敏感数据不泄露。生产环境敏感数据写入开发环境脱敏 当因为测试需要等...
配置并管理实时同步任务
参数 描述 容忍脏数据 是否容忍脏数据，如果开启，则有脏数据时任务不会受影响，继续支持，只是在日志里才能看到脏数据。如果不允许，则发现脏数据时任务直接失败。目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标...
数据模型
数据库在存储数据时，会将同一条时间线的数据尽量聚类存储，提升时间线数据访问效率，同时更好的支持时序数据压缩。在时序表中，Tag列的值都相同的一系列数据行构成了一条时间线。时序数据库提供一系列特有的数据访问操作，包括聚合...
生成测试数据
插入模拟数据清空表 选择当在表中插入模拟数据时是否清空表中原有的数据。数据冲突处理方式 选择当生成的数据有冲突时处理的方式。ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原...
基础饼图
参数 说明 点击过滤 打开开关，当组件配置了多系列数据时，在组件预览或发布状态下使用移动端设备，单击组件内某个系列的图例，即可切换当前系列为选中或者不选中状态，从而在可视化应用内过滤展示不同系列的数据；关闭开关，无法过滤切换...
DataStudio侧实时同步任务配置
同步方式 实时同步单表增量数据时，同步方式选择 单表（Topic）到单表（Topic）ETL，用于实时同步单个或多个表数据至目标单表。说明 单表实时同步仅支持同步数据至目标单表，如果您需要同步数据至多个表，您可以采用以下方案：如果您需要对...
基础饼图
参数 说明 点击过滤 打开开关，当组件配置了多系列数据时，在组件预览或发布状态下使用移动端设备，单击组件内某个系列的图例，即可切换当前系列为选中或者不选中状态，从而在可视化应用内过滤展示不同系列的数据；关闭开关，无法过滤切换...
产品更新动态
可视分析数据集 增加数据源连接种类 在上传数据时，不仅支持MySQL数据源，增加了 AnalyticDB MySQL 数据库和 AnalyticDB PostgreSQL数据库，灵活适配客户数据连接的多样性需求。创建数据集 优化卡片保存功能 新版本简化卡片保存逻辑，在...
离线同步数据质量排查
上下游节点要建立节点依赖，避免使用max_pt这类的弱数据依赖，避免下游消费数据时数据不完整。目标表、分区有多个同步任务同时在执行，并产生了干扰 不合理的同步任务并发执行。如果是同节点多周期实例导致的冲突，建议配置任务调度自依赖...
- 产品推荐
- 这些文档可能帮助您