管理表结构版本
当您在 数据管理DMS 中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、对比、恢复历史版本的表结构。前提条件 您具有该表（或库）的查询权限，更多信息，请参见 查看我的权限。表...
Jindo sql命令介绍
本文为您介绍如何使用Jindo sql命令，分析JindoFS访问日志、元数据和OSS访问日志的数据。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问...
Jindo sql命令介绍
本文为您介绍如何使用Jindo sql命令，分析JindoFS访问日志、元数据和OSS访问日志的数据。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问...
使用SSMS和BCP迁移SQL Server数据库
您也可以使用其他工具迁移数据库，本文以本地SQL Server数据库到阿里云云数据库SQL Server 2012的数据全量迁移为例，介绍了如何通过使用SQL Server Management Studio（SSMS）和大容量复制程序实用工具（BCP）来迁移SQL Server数据库。...
Jindo sql命令介绍
本文为您介绍如何使用Jindo sql命令，分析JindoFS访问日志、元数据和OSS访问日志的数据。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问...
错误码
PXC-4007 ERR_CANNOT_FETCH_TABLE_META 描述：PolarDB-X 无法加载数据表的元数据信息。示例：ERR-CODE:[PXC-4007][ERR_CANNOT_FETCH_TABLE_META]Table '*' metadata cannot be fetched because Table '*.*' doesn't exist.说明：该错误码...
Commons Pool 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
新建存储过程
重要 参数名避免与数据表的列名相同，否则存储过程的 SQL 语句会将参数名看作列名，从而可能出错。proc_body 存储过程的主体部分，包含在过程调用的时候必须执行的 SQL 语句。此部分以 BEGIN 开始，END 结束。如存储过程体中只有一条 SQL ...
使用SQL模式创建数据服务API
源数据表 选择云计算资源下的数据表。服务资源组 选择服务资源组。说明 上线后API的测试和调用会占用资源组，请根据资源组的规格和占用情况，选择适合的服务资源组。新建模式 新建模式 选择 SQL模式。输入SQL代码，单击 语法检查及格式化，...
使用SQL模式创建数据服务API
源数据表 选择云计算资源下的数据表。服务资源组 选择服务资源组。说明 上线后API的测试和调用会占用资源组，请根据资源组的规格和占用情况，选择适合的服务资源组。新建模式 新建模式 选择 SQL模式。输入SQL代码，单击 语法检查及格式化，...
测试与发布API
请申请数据表的权限，具体操作请参见 申请、续期和交还表权限。获取对应数据表权限后，还是未能解决该问题，请提交 工单，或联系Dataphin的支持人员协助处理。DPN-OLTP-ENGINE-014 Elasticsearch引擎不支持。无。DPN-OLTP-ENGINE-015 ...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
创建了一个名为 t1 的表，设置一个字符串类型的字段 str，长度为 256。代码如下：_,err=db.Query("create table t1(str varchar(256))")if err!nil { log.Fatal(err)} 插入数据。插入一行数据到表 t1 中，设置该行数据的 str 字段的值为 ...
我是管理员
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
数据开发：开发者
通常，写入原始业务数据至DataWorks，并加工为最终结果表的过程如下：在DataWorks创建多个数据表。例如：源表：存储从其他数据源同步过来的数据。结果表：存储经DataWorks清洗加工过的数据。创建同步任务，将业务数据同步至上述源表。创建...
使用SQL访问HBase表
背景信息 Lindorm宽表引擎支持直接访问通过Lindorm Shell或HBase Java API创建的数据表。但由于HBase是Schema-free的，因此HBase中的列会被当做动态列处理，类型为VARBINARY，即Byte。关于动态列的详细信息，请参见 动态列。为了能够在基于...
基本概念
节点任务流程中所有计算节点的输入、输出数据都是具体的数据表、文件和数据流。开发场景与生产场景：每个工作区都有一个开发场景和一个生产场景，它们是两套独立的资源配置。数据开发工程师只能在开发环境中注册计算节点，配置节点任务流程...
我是DBA
SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 跨数据库查询为不同环境下的在线异构数据源，提供及时的关联查询服务。逻辑数仓 逻辑数仓提供...
SQL审核优化建议在数据变更工单中的应用
DMS安全规则中的SQL审核优化建议，可以对SQL Console或数据变更工单中执行的SQL进行规范性检查（例如表要有备注、表需要包含某些列），并提出相关优化建议（例如无锁数据变更推荐），辅助DBA审核SQL语句，提高研发质量。本文将演示设置部分...
使用Notebook开发
更多信息，请参见 通过Spark SQL读写C-Store表数据%spark 提交python代码到ADB Spark。说明 新创建的session，ADB Spark会保留20分钟，超时后会被删除。您可通过重启kernel或执行%configure 重新创建新的session。文件的上传与下载 使用...
DataWorks的审计事件
GetDDLJobStatus 查询创建表、修改表和删除表的任务状态。GetDeployment 查询发布包的详情。GetDISyncAlarmRule 查询实时同步任务报警规则。GetDISyncInstanceInfo 查询数据集成实例信息。GetDISyncTask 查询数据集成任务。...
UDT概述
使用限制 目前版本不支持使用UDF/UDAF/UDTF读取以下场景的表数据：做过表结构修改（Schema Evolution）的表数据。包含复杂数据类型的表数据。包含JSON数据类型的表数据。Transactional表的表数据。实现原理 通过以下示例为您介绍UDT的执行...
使用SQL分析连接
临时运行一些SQL命令，如临时查看一些表的数据。注意事项 开通MaxCompute服务后，就可以进入MaxCompute访问SQL分析，但是需要先创建一个项目，执行SQL作业需要在项目里发起。SQL分析公测（Beta）版本暂时不支持云上文件系统，支持连接您...
新建及管理质量规则模板
两表字段统计值一致性比较/单表字段统计值一致性比较：统计方式：可统计字段分组个数、字段最大值、字段重复率等，详情请参见 创建全域数据表质量规则。两表字段业务逻辑一致性比较：业务逻辑：输入SQL表达式函数。例如${T1.total_sales}=$...
计算节点配置说明
支持新建的计算节点类型包括：MaxCompute SQL、MaxCompute MR、RDS Mysql、SQL Server、Oracle、Hive、Hadoop、DataHub、Elastic Job、Elastic Service、Blink、Blink DataStream、Flink DataStream、PostgreSQL、GreenPlum、AnalyticDB ...
API概览
ModifyWhitelistTemplate 编辑白名单模板信息 该接口用于编辑白名单模板，包括创建、修改、删除白名单模板的操作。ModifySecurityGroupConfiguration 修改RDS实例和ECS安全组关联信息 该接口用于修改指定RDS实例和ECS安全组的关联信息。...
新功能发布记录
自定义DMS界面布局与样式 影子表同步 新增 支持根据源表的表结构创建影子表（新的数据表，表名是在源表名上增加前缀或后缀的方式生成），适用于全链路压测等场景。影子表同步 查询阈值的时间周期 优化 在用户管理中，分别新增用户的查询...
通用数据查询与管理
如果需要快速地查找数据，例如查找工作空间、数据源中的表、数据分析和数据服务中的代码或API，您可以在数据地图中进行查找。进入数据地图 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据地图，在右侧页面中单击...
与标准SQL的主要区别及解决方法
数据插入表的字段映射不是根据SELECT的别名执行，而是根据SELECT字段的顺序和表中字段的顺序执行映射。无。UPDATE和DELETE 仅支持对Transactional表执行UPDATE和DELETE语句。解决方案请参见 如何删除MaxCompute表或分区中的数据？和 如何...
系统管理
使用限制 建表策略管理：目前仅支持对MaxCompute物理表的创建进行管控，且仅当创建的表执行提交、发布操作时才会触发管控限制。对于通过API创建的表不进行管控。代码生成策略管理：当前仅支持自定义MaxCompute、Hive、MySQL、Hologres引擎...
我是安全管理员
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
API概览
ModifyWhitelistTemplate 编辑白名单模板信息 该接口用于编辑白名单模板，包括创建、修改、删除白名单模板的操作。ModifySecurityGroupConfiguration 修改RDS实例和ECS安全组关联信息 该接口用于修改指定RDS实例和ECS安全组的关联信息。...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 实例的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您...
DBCP 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 DBCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 dbcp-mysql-client 示例工程 前提条件 您已安装 OceanBase 数据库...
文档修订记录
配置敏感数据分类分级 2023.09.12 新增功能 数据开发 开启安全隔离代码和日志后，非本工作空间中的成员将无权限查看本工作空间的任务代码及运行日志。安全设置与其他 2023年8月更新记录 时间 特性 类别 描述 产品文档 2023.8.29 新增功能 ...
自建SQL Server迁移至RDS SQL Server
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
创建数据集
数据集是基于特定数据库和特定SQL查询所产生的，以二维表表现的数据集合。本文介绍创建数据集的方法。创建数据集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 传输与加工>数据可视化。说明 更多访问方式，请参见 访问数据可视化功能。在 ...
基于Python DB-API的应用开发
with connection.cursor()as statement:#创建表 sql_create_table="create table if not exists test_python(c1 integer,c2 integer,primary key(c1))"print(sql_create_table)statement.execute(sql_create_table)#插入一行数据 sql_...
- 产品推荐
- 这些文档可能帮助您