新建FLINK_SQL任务
单击页面右上方的 调试按钮，可以对代码任务采样数据并进行本地调试，保障代码任务的正确性。同时支持 实时模式调试 和 离线模式调试。说明 当前 仅支持单种模式调试，选择模式后请采样对应模式表数据进行调试。实时模式调试：采样对应的...
新建FLINK_SQL任务
单击页面右上方的 调试按钮，可以对代码任务采样数据并进行本地调试，保障代码任务的正确性。同时支持 实时模式调试 和 离线模式调试。说明 当前 仅支持单种模式调试，选择模式后请采样对应模式表数据进行调试。实时模式调试：采样对应的...
我是管理员
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
我是DBA
离线集成 离线集成是一种低代码的数据开发工具，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。数据可视化 数据可视化功能可让您更容易通过数据去洞察业务，辅助进行业务决策。比如分析趋势、增长对比...
拓展组件
逻辑控制 当前组件可以对场景中的虚拟孪生对象添加各种逻辑控制，包括数据绑定、变量绑定、脚本和蓝图组件。数据绑定 单击 数据编辑器，打开数据编辑面板。单击 新增行，增加需要添加的参数字段。确认无误后，单击 保存。查看当前对象的...
开发管控：管理者
作为工作空间的管理者，在使用数据开发（DataStudio）时，您可以针对用户的开发行为实施有效的管控措施，进行开发流程、数据安全、审计等相关操作，本文将帮助您快速掌握DataStudio的相关功能，实现对数据开发过程的有效管控。背景信息 ...
无锁结构变更方案对比
锁表变更对业务甚至是致命的，DDL无锁变更通过引入非触发器的方式可以解决大表无锁变更这个难题。本文介绍几种无锁结构变更方案的对比。线上业务不建议直接进行DDL操作，通常有几种做法来避免影响业务：业务低峰期变更：合适的变更窗口以及...
通过函数计算节点实现GitHub实时数据分析与结果发送
操作步骤 ETL模板配置 本实验中的，任务代码可以通过ETL工作流模板一键导入，直接体验。在导入模板后，您可以前往目标工作空间，并自行完成任务运维等后续操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间管理员角色...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
操作审计
详情请参考文档：数据保护伞数据脱敏管理：数据脱敏管理 MaxCompute表权限的权限审计 您可以进入安全中心，在数据访问控制，权限审计处，查看表都有谁有具体的什么权限，以及申请的权限有效期，并支持回收表权限。权限审计 表数据，节点...
我是普通用户
获取权限后，可以在 SQLConsole 中执行SQL，并可以做可视化查看结果集、编辑结果集等操作。详情请参见 SQL窗口、跨库查询。可对数据进行变更、执行导入导出等操作。详情请参见 数据变更、数据导出、数据导入。支持普通用户的功能总览 类目 ...
异常诊断
异常诊断功能可以查询指定AppID下异常通话的总览数据、异常因素分布及异常通话明细。通过阅读本文，您可以了解异常通话的查询方法。前提条件 如果您需要使用异常诊断功能，请 提交工单 开通，创建工单时请备注开通异常诊断功能并附上您的...
异常诊断
异常诊断功能可以查询指定AppID下异常通话的总览数据、异常因素分布及异常通话明细。通过阅读本文，您可以了解异常通话的查询方法。前提条件 如果您需要使用异常诊断功能，请 提交工单 开通，创建工单时请备注开通异常诊断功能并附上您的...
常见问题
您在使用Redis时，如果收到Redis返回的错误信息，可查阅 Redis错误代码汇总 匹配错误信息。关于其他问题，您可根据下列分类匹配问题场景和解决方案。功能特性 云数据库Redis版兼容Redis哪个版本？云数据库Redis版兼容Redis哪些命令和操作？...
创建解决方案
数据开发模式全面升级，包括工作空间>解决方案>业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
配置项说明
在 数据源 面板中，您可以切换数据源类型、切换编辑样式（可视化编辑 和 代码编辑）、设置数据映射、复制数据、全屏编辑数据，其中 切换编辑样式、复制数据 和 全屏编辑数据 适用于所有的组件，配置方法请参见下文的 复制数据 和 全屏编辑...
基础术语
跨链授权 跨链通信需要对方区块链进行授权才可以开始通信，授权包括账本数据授权和合约消息授权。账本数据 账本数据包括区块链交易、区块及区块头，如果授权其他区块链获取当前区块链的账本数据时，可以指定授权哪一类账本数据。合约消息 ...
数据订阅操作指导
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
PyODPS常见问题
什么情况下可以下载PyODPS数据到本地处理？通过open_reader最多只能取到1万条记录，如何获取多于1万条的记录？为什么尽量使用内建算子，而不是自定义函数？为什么通过DataFrame().schema.partitions获得分区表的分区值为空？如何使用PyODPS...
Python SDK常见问题
什么情况下可以下载PyODPS数据到本地处理？通过open_reader最多只能取到1万条记录，如何获取多于1万条的记录？为什么尽量使用内建算子，而不是自定义函数？为什么通过DataFrame().schema.partitions获得分区表的分区值为空？如何使用PyODPS...
某网约车公司车辆轨迹数据
云原生多模数据库 Lindorm 支持OSS做为冷存储，这样业务上把一个月之前的数据（冷数据）全部通过Lindorm自动存储到OSS里面，最近一个月内的数据存储到高效云盘，这样在零代码开发、零运维、客户无感知情况下进行了冷热分层存储，大大节约了...
概述
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
常见问题
离线同步常见问题 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否所有数据都...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
资产安全概述
应用场景 基于Dataphin实现数据安全保护的一些典型的场景：场景1：业务数据中敏感数据保护 您可以使用资产安全的敏感数据识别和保护功能，脱敏明文敏感数据，保证业务数据安全。例如，姓名张三脱敏后*三。场景2：开发环境数仓建设 敏感数据...
获取频道分布统计数据
运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 AppId string 是 APP ID。testappid ChannelId string 是 频道 ID testid CreatedTs long 是 创建...
安全白皮书
数据加密 TSL 云数据库Redis版 支持TLS（Transport Layer Security）加密协议，TLS协议具有比SSL（Secure Sockets Layer）协议更好的加密技术和更高级别的安全性，可进一步保障数据通信安全。更多信息请参见 开启TLS加密。TDE 云数据库...
Java SDK常见问题
例如，如果您需要使用MaxCompute 2.0数据类型，可以通过Session级别方式开启，在涉及2.0新数据类型的SQL前增加Set Flag语句 set odps.sql.type.system.odps2=true;使用Java SDK提交SQL时，不能简单地把Set Flag语句直接增加到SQL中，设置...
数据开发与运行
您可以在数据开发页面指定的业务流程名处，进入资源组编排，您可以在此页面批量修改该业务流程内的节点指定的调度资源组，修改完成后，您可以选择提交按钮进行批量提交，并在任务发布界面批量发布，让节点使用的调度资源组变更操作在生产...
创建逻辑模型：应用表
应用表是面向具体业务场景时，用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据，为后续的业务查询，OLAP分析，数据分发等提供基础。本文为您介绍如何创建应用表。前提条件 已创建数据分层。数据分层是将相同...
功能优势
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文将详细介绍RDS MySQL全密态数据库功能的优势，帮助您...
数据开发概述
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
配置脚本代码节点
通过任务编排中的脚本代码可以实现周期性或定时运行脚本，本文介绍配置基于数据库网关的脚本代码节点。背景信息 很多任务以脚本的方式存在于服务器中，脚本代码节点结合数据库网关，可以实现这些脚本的统一调度。例如：使用高级的工具...
元数据仓库共享模型标准访问方式
您可以通过元仓共享模型通信表以检查最新数据是否产出，每天元仓共享模型产出后，将更新通信表数据。通信表说明如下：data_share_finish：基础元数据模型通信表。data_security_finish:数据安全模块共享模型通信表。data_service_finish:...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。数据...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
使用方法
您可以使用数据过滤器，自定义数据过滤代码，实现数据结构转换、数据筛选展示和一些简单的计算。本文介绍新版DataV资产数据过滤器的使用方法。背景信息 新版数据过滤器与旧版过滤器相比，取消了全局过滤器的概念（即各可视化应用共享过滤器...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
- 产品推荐
- 这些文档可能帮助您