使用SDK示例代码消费订阅数据
重要 您可以在Maven网站中获取最新的数据订阅SDK版本，详情请参见 数据订阅SDK的Maven页面。打开IntelliJ IDEA软件，然后单击 Open or Import。在弹出的对话框中，定位至SDK示例代码解压的目录，依次展开文件夹，找到项目对象模型文件：pom...
使用全局变量
过滤器引用 说明 新版DataV服务中的 getCallbackValue 和 getLocalValue 的数据获取效果一样，为了兼容旧版DataV服务，保留了 getLocalValue，建议您优先使用 getCallbackValue。在 画布编辑器 页面，单击上方 快捷搜索 框。输入 按钮 和 ...
外部数据
简介 本数据库实现了部分的 SQL/MED 规定，允许我们使用普通 SQL 查询来访问位于本地数据库之外的数据。这种数据被称为外部数据。说明 这种用法不要和外键混淆，后者是数据库中的一种约束 外部数据可以在一个外部数据包装器的帮助下被访问...
数据服务概述
数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。前提条件 已购买 数据服务 增值服务，开通Dataphin 常见数据应用问题 一般从需求提出到需求交付分为：需求提出-需求...
专有网络VPC的数据源连通独享数据集成资源组
本文以阿里云RDS数据库为例，为您介绍专有网络VPC的数据源如何连通独享数据集成资源组。前提条件 购买RDS MySQL实例。本文以购买MySQL 5.7版本的MySQL实例为例，您可以根据业务需求进行配置。详情请参见 快速创建RDS MySQL实例。在目标实例...
产品优势
数据安全中心DSC（Data Security Center）可扫描和识别海量数据，帮您实时获取数据的安全状态。本文介绍 数据安全中心 的产品优势。合规性 使用数据安全中心产品，可以帮助企业满足等保2.0对“云计算环境下安全审计”及“个人信息保护”的...
确定需求
各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要...
确定需求
各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商、供应链、营销和服务四个模块，每个板块的需求和数据应用都不同。您在构建数据仓库之前，首先需要...
Python
参考如下字段，对应的值，则取自步骤一获取的数据库连接参数。user：取自-u 参数，租户的连接账号。password：取自-p 参数，账号密码。host：取自-h 参数，OceanBase 数据库连接的域名。port：取自-P 参数，OceanBase 数据库连接端口，...
创建逻辑模型：维度表
应用层基于实际应用需求，获取公共层加工整合后的数据，面向具体业务建立业务层面的维度表，进行持续的个性化数据建设及改造。您可根据需求选择创建公共层或应用层维度表，不同数仓分层创建维度表的准备工作如下表。数仓分层 准备事项 参考...
配置数据识别规则
说明 对CDH引擎中数据进行识别和脱敏时，您需要通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别，抽样采集的数据不会存储至DataWorks中，没有数据泄漏风险。详情请参见：CDH Hive数据...
实时消费Kafka数据
在UPDATE和MERGE写入时，Streaming Server会先将数据写入一个临时表，然后利用MatchColumns作为条件列与目标表进行Join：如果有匹配的数据，则会更新UpdateColumns中的数据。如果没有匹配的数据时，则会根据写入模式有以下两种情况：写入...
GetDatabase
获取给定数据库信息 请求参数 名称 类型 是否必选 示例值 描述 Name String 是 db001 需要获取的数据库名称 返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 如果请求出错，则返回错误代码 DatabaseModel object 返回的数据库...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
时空数据库版本发布记录
新增 ST_HasBinData 函数是否具有用户定义二进制数据获取。新增 ST_ClearBinData 函数支持二进制数据的清除。ST_Affine 函数使用根节点变换矩阵方式替代实际坐标值变换。SFMesh对象中Node节点允许使用NULL对象作为空节点，支持占位操作。ST...
Java
参考如下字段及拼接方法，对应的值，则取自步骤一获取的数据库连接参数。connection=DriverManager.getConnection("jdbc:mysql:/{host}:{port}/{dbname}?user={username}&password={password}")host：取自-h 参数，OceanBase 数据库连接的...
Go
参考如下字段及拼接方法，对应的值，则取自步骤一获取的数据库连接参数。conn:="{username}:{password}@tcp({hostname}:{port})/{dbname}"参数说明：username：取自-u 参数，租户的连接账号。password：取自-p 参数，账号密码。hostname：...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
API概览
ListUserRoles 获取单个User的数据湖角色列表 获取单个User的数据湖角色列表。ListPermissions 获取权限列表 获取权限列表。CheckPermissions 对User权限进行校验 对User权限进行校验。GetCatalogSettings 获取数据湖Catalog的配置 获取...
全量数据同步
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，单击>离线数据同步。在 离线...
Navicat数据可视化
Navicat下载请前往 Navicat官方网站。已获取 云数据库 SelectDB 版 的用户名和密码。操作步骤 打开Navicat Premium客户端。单击 连接，选择 MySQL。在 新建连接 页面，配置连接参数。连接参数取值说明：参数 参数说明 取值示例 连接名 ...
数据分析：即时快速分析
流动：在线数据分析可以从不同业务系统的数据库获取数据进行分析。DataWorks数据分析支持导出数据为MaxCompute表，或分享结果数据至指定成员，并赋予其权限。数据可以在不同的系统和人员之间流动。安全：所有SQL查询、SQL结果下载等功能的...
API概览
ListDatabases 获取实例的数据库详情列表 调用ListDatabases获取一个实例下的数据库列表详情信息。ListTables 获取数据库的表详情列表 调用ListTables获取一个库下面的表详情列表。ListColumns 获取表的列信息 返回表的列信息。ListIndexes...
API概览
ListDataSourceSchemas 获取某一数据源的schema信息 获取某一数据源的schema信息。ListDateSourceGenerations 获取数据源的历史回流信息 获取数据源的历史回流信息。其他 API 标题 API概述 GetDataSourceDeploy GetDataSourceDeploy
增量数据同步
RDS MySQL数据源已有ys_yhkh表作为数据同步来源表，表结构及数据获取请参见 RDS脚本。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，单击>离线数据同步。在 离线...
数据库自治服务的审计事件
GetHDMNewAccessInstanceList 获取新授权或者新创建的数据库实例。GetHDMRawMetricList 获取Metric英文名（未经过JStorm计算处理）和Metric中文名的映射。GetHDMTopology 根据实例UUID获取拓扑关系。GetHDMUser 获取用户信息。...
配置学区地图轮播列表交互
说明 由于 轮播列表 组件中的数据中包含了所有的地理信息，所以当前转换器需要提取的数据都可以直接从上游的 轮播列表 组件抛出的数据中获取。使用同样的方式配置 地图父组件定位缩放 的 串行数据处理 节点。当前处理方法的示例代码如下。...
通过Spark SQL读Lindorm数据
访问Lindorm中的Hive数据 获取 HDFS客户端 的 hdfs-site 配置信息。说明 您可以在 Lindorm管理控制台 的 数据库连接 页面，单击 文件引擎 页签中 一键生成配置项，获取 hdfs-site 配置信息。登录 云原生数据仓库AnalyticDB MySQL控制台，在...
API概览
DescribeColumnsV2 查询数据资产表中列的数据V2 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的数据。DescribeOssObjects 查询OSS的存储对象列表 调用本接口查询连接授权的OSS的存储对象列表。...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
订阅方案概览
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。数据订阅方案 说明 是否...
DsgRunSensIdentify
根据您自己的数据源集群获取。ProjectName String 否 1666676756691024 DataWorks工作空间的名称。您可以登录 DataWorks控制台，进入工作空间配置页面获取工作空间名称。SchemaName String 否 default Schema名称。TableName String 否 ...
通过数据同步功能同步SLS至湖仓版（推荐）
Schema字段映射 默认会从日志服务的投递任务配置中获取字段，如LogStore没有配置投递任务，会默认根据最近的日志数据获取字段。支持的数据类型：BOOLEAN、INT、BIGINT、FLOAT、DOUBLE、STRING。支持同步SLS保留字段，详情请参见 保留字段。...
数据订阅操作指导
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据...查看并调整返回数据 单击 图标，在弹出的 查询结果设置 面板中调整查询结果的数据条数和在数据响应结果内查看获取的数据内容。调试数据 单击 图标，在弹出的 调试 面板中查看数据模型的配置。
概述
MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。MaxCompute提供的 数据上传和下载工具 是基于Tunnel SDK编写的。本文将为您介绍Tunnel SDK的主要接口，不同版本的SDK在使用上有所差别，准确...
配置数据源
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
资产全景及目录概述
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
- 产品推荐
- 这些文档可能帮助您