使用SDK示例代码消费订阅数据
重要 您可以在Maven网站中获取最新的数据订阅SDK版本，详情请参见 数据订阅SDK的Maven页面。打开IntelliJ IDEA软件，然后单击 Open or Import。在弹出的对话框中，定位至SDK示例代码解压的目录，依次展开文件夹，找到项目对象模型文件：pom...
外部数据
一个外部数据包装器是一个库，它可以与一个外部数据源通讯，并隐藏连接到数据源和从它获取数据的细节。在 contrib 模块中有一些外部数据包装器。其他类型的外部数据包装器可以在第三方产品中找到。要访问外部数据，我们需要建立一个外部...
数据服务概述
数据安全和查询性能无法保障：在数据接口开发时往往只考虑数据的获取性，数据资源访问安全性和数据访问的稳定性考虑少。维护成本高：缺乏线上平台化管理，异常情况无法监控告警，线上业务问题暴露后再排查代码修复上线。数据服务价值 为了...
GetDatabase
获取给定数据库信息 请求参数 名称 类型 是否必选 示例值 描述 Name String 是 db001 需要获取的数据库名称 返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 如果请求出错，则返回错误代码 DatabaseModel object 返回的数据库...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
专有网络VPC的数据源连通独享数据集成资源组
在显示的页面中，找到您需要建立连接的数据库，获取 数据库名。在左侧导航栏，单击 账号管理，获取绑定数据库的 账号（即创建数据源时需要输入的 用户名）。新增独享数据集成资源组。登录 DataWorks控制台。选择相应地域后，在左侧导航栏，...
确定需求
各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要...
确定需求
各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要...
使用全局变量
过滤器引用 说明 新版DataV服务中的 getCallbackValue 和 getLocalValue 的数据获取效果一样，为了兼容旧版DataV服务，保留了 getLocalValue，建议您优先使用 getCallbackValue。在 画布编辑器 页面，单击上方 快捷搜索 框。输入 按钮 和 ...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
配置Greenplum输入组件
如对于需要每天增量追加或全量覆盖获取数据的情况，可填入带有表内日期字段限制为Dataphin的系统时间参数。输出字段 输出字段区域展示了已选中表的所有字段。如果不需要将某些字段输出至下游组件，则您可以删除对应的字段：如果需要删除...
Java
Java 驱动连接 OceanBase 数据库 步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前...
Go
Go 驱动连接数据库 步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库...
创建逻辑模型：维度表
而在DataWorks智能建模的维度模型设计中，为了提高下游的查询效率，降低获取数据的复杂性，减少关联表的数量，通常可将一些高频使用的字段作为冗余字段（例如，用户ID、常用的分析维度）。示例一：“订单创建明细表”可冗余“收货地址维度...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
实时消费Kafka数据
在UPDATE和MERGE写入时，Streaming Server会先将数据写入一个临时表，然后利用MatchColumns作为条件列与目标表进行Join：如果有匹配的数据，则会更新UpdateColumns中的数据。如果没有匹配的数据时，则会根据写入模式有以下两种情况：写入...
自建Oracle间迁移
重要 如需迁移增量数据，您还需要开启归档和补充日志，以获取数据的增量变更。更多信息，请参见 数据库配置。操作步骤 进入迁移任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
API概览
通用服务 API 标题 API概述 GetRegionStatus 获取数据湖构建服务开通状态 获取数据湖构建指定地域的服务开通状态。GetServiceStatus 获取某个用户的服务开通状态 获取数据湖构建某个用户的服务开通状态。DescribeRegions 获取开通的地区 ...
API概览
ListDateSourceGenerations 获取数据源的历史回流信息 获取数据源的历史回流信息。表管理 API 标题 API概述 CreateTable 创建索引表 创建索引表 ModifyTable 修改索引表 修改索引表 GetTable 获取索引表信息 获取索引表信息 ListTables ...
API概览
ListDataCorrectPreCheckDB 获取预检查环节的数据库列表 获取数据变更工单中预检查环节的数据库列表。ExecuteDataCorrect 执行数据变更工单 执行数据变更工单。RetryDataCorrectPreCheck 重新执行数据变更工单预检查 重新执行数据变更工单...
数据管理的审计事件
GetDataExportDownloadURL 获取数据导出结果附件下载地址。GetDataExportOrderDetail 获取数据导出工单详情。GetDBTaskSQLJobLog 获取SQL任务调度详情日志。GetDBTopology 获取逻辑库拓扑。GetInstance 获取实例信息。GetLhSpaceByName ...
数据库自治服务的审计事件
GetPartitionsHeatmap 获取数据库的分区热度信息。GetPerformanceInsightAggMetrics 查询性能洞察聚合后的结果。GetPerformanceInsightMetrics 获取性能洞察的指标数据。GetPerformanceInsightSpecMetricTrend 获取某个指标的趋势图。...
连接SQL Server实例
完成初始化配置后，您可以通过多种方式连接到SQL Server实例（例如通过...常见问题 Q：我使用函数计算，想获取RDS的数据，要怎么操作呢？A：您可以为函数安装第三方依赖，使用内置模块获取RDS数据。具体操作，请参见 为函数安装第三方依赖。
连接SQL Server实例
完成初始化配置后，您可以通过多种方式连接到SQL Server实例（例如通过...常见问题 Q：我使用函数计算，想获取RDS的数据，要怎么操作呢？A：您可以为函数安装第三方依赖，使用内置模块获取RDS数据。具体操作，请参见 为函数安装第三方依赖。
API概览
GetAnnotationData 获取数据 通过数据唯一标识得到数据集中的数据结构体。ListAnnotationData 获取数据列表 列出数据集中的所有数据。GetAnnotationDataSet 获取数据集 取得数据集信息。ListAnnotationDataSets 获取数据集列表 取得数据集...
SQL备份与回滚（公测中）
DMS为您提供了两种备份策略：通用备份：非MySQL的关系型数据库固定使用该备份方式，系统会先找出受变更影响的数据行，并生成INSERT或REPLACE INTO语句。精确备份：RDS MySQL、PolarDB MySQL版、RDS MariaDB 及自建MySQL数据库可使用精确...
数据洞察
DataWorks数据洞察是指通过深度数据分析和解读来获取深刻的数据理解和发现，它支持数据探索和可视化。您可以通过数据洞察了解数据分布，创建数据卡片，并组合成数据报告。此外，数据洞察结果能够通过长图形式的报告进一步分享。该功能利用...
Navicat数据可视化
Navicat下载请前往 Navicat官方网站。已获取 云数据库 SelectDB 版 的用户名和密码。操作步骤 打开Navicat Premium客户端。单击 连接，选择 MySQL。在 新建连接 页面，配置连接参数。连接参数取值说明：参数 参数说明 取值示例 连接名 ...
查询数据
获取按时间戳由小到大排序的数据点集合 System.out.println(queryResult.getOrderDps());System.out.println("-");获取按时间戳由大到小排序的数据点集合 System.out.println(queryResult.getOrderDps(true));} } catch...
DsgRunSensIdentify
根据您自己的数据源集群获取。ProjectName String 否 1666676756691024 DataWorks工作空间的名称。您可以登录 DataWorks控制台，进入工作空间配置页面获取工作空间名称。SchemaName String 否 default Schema名称。TableName String 否 ...
通过JDBC连接Dataphin
Dataphin Driver详细说明 com.aliyun.dataphin.jdbc.DataphinDriver 接口 功能说明 接口定义 connect 获取数据库连接。Connection connect(String url,Properties info)throws SQLException;acceptsURL 检查是否支持URL。boolean ...
OpenAPI列表
该API内部实现为异步调用发布，只有返回数据中的校验状态为通过的数据（即 SubmitPublishResult.status=true），才会进入异步发布流程，每次发布结束之后会生成发布记录，发布的结果需要从ListPublishingHistory（发布记录列表）中获取。...
API概览
QueryWorksBloodRelationship 查询数据作品的血缘信息 获取数据作品的血缘关系，包括各组件引用的数据集以及查询字段信息。目前仅支持的数据作品包含仪表板、电子表格、自助取数。QueryComponentPerformance 查询组件性能日志 查询组件性能...
BI分析模式数据面板功能介绍
刷新返回数据 单击 图标，可刷新绑定的字段获取返回数据的内容，可保证获取数据的新鲜程度。查看并调整返回数据 单击 图标，在弹出的 查询结果设置 面板中调整查询结果的数据条数和在数据响应结果内查看获取的数据内容。调试数据 单击 图标...
数据分析：即时快速分析
流动：在线数据分析可以从不同业务系统的数据库获取数据进行分析。DataWorks数据分析支持导出数据为MaxCompute表，或分享结果数据至指定成员，并赋予其权限。数据可以在不同的系统和人员之间流动。安全：所有SQL查询、SQL结果下载等功能的...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
- 产品推荐
- 这些文档可能帮助您