性能优化指南
jdbc-scan-splits=5*/select*from tbl1;执行引擎默认会选择每一列作为切分列，如果你希望自己指定切分列，可以通过jdbc-split-column指定，需要注意的是，切分列的类型只支持INT/BIGINT和带索引的CHAR/VARCHAR类型，如果选择的切分列不属于...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
导入数据字典
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
通过操作审计查询行为事件日志
DeleteBusiness 删除业务流程 ExecuteFile 将文件作为临时任务执行 LockFile 偷锁编辑 DICreateDatasource 数据集成新增数据源 数据集成 DIBatchCreateDatasource 数据集成批量新增数据源 DIUpdateDatasource 数据集成修改数据源 ...
新建及管理标准模板
标准模板用于定义创建数据标准时需要填写的属性信息，以便对数据标准进行规范化定义。本文为您介绍如何新建及管理标准模板。权限说明 超级管理员和数据标准管理员可新建及管理标准模板。超级管理员、数据标准管理员及模板维护人员可以编辑...
新建及管理标准模板
标准模板用于定义创建数据标准时需要填写的属性信息，以便对数据标准进行规范化定义。本文为您介绍如何新建及管理标准模板。权限说明 超级管理员和数据标准管理员可新建及管理标准模板。超级管理员、数据标准管理员及模板维护人员可以编辑...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
概述
MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。JDBC...
使用批量更新
如果不存在，将它们插入数据库中。这种数据合并一般在离线完成。例如，设置每天一次批量把数据更新到 AnalyticDB PostgreSQL版 中。也有用户需要实时更新，要求做到分钟级甚至秒级延迟。简单更新过程 无论怎么做数据合并，都是对数据的修改...
概述
Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便...
入门概述
快速入门简要介绍了如何快速上手数据资源平台，...添加数据节点：在数据开发模块中创建节点，并在物理表中插入对应数据，具体操作，请参见 新建公共节点。查询数据：在数据查询模块中预览插入到物理表的表数据，具体操作，请参见 物理表查询。
逻辑数仓一键JDBC
您可通过 数据管理DMS 逻辑数仓的一键JDBC功能，在应用程序中安全地访问逻辑数仓。您可使用标准的MySQL、HTTPS协议直接连接一键JDBC生成的代理地址，安全地访问逻辑数仓。本文介绍一键JDBC的应用场景、开启或关闭一键JDBC的操作步骤。应用...
新建自定义资源组
批量运维操作：进行批量运维操作时可选择的资源组，如批量补数据。批量运维操作所配置的资源组仅对批量操作所覆盖的实例运行生效。任务日常调度：指任务试运行、冒烟测试、周期调度等操作使用的资源组，需要配置可使用当前资源组的关联项目...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
DBeaver
DBeaver支持MySQL、PostgreSQL、Oracle、DB2、MSSQL、Sybase以及其他兼容JDBC的数据库。您可以通过DBeaver的图形界面查看数据库结构、执行SQL查询和脚本、浏览和导出数据、处理BLOB/CLOB数据以及修改数据库结构等。准备工作 开始使用...
JDBC
云原生数据仓库AnalyticDB PostgreSQL版 支持使用PostgreSQL或Greenplum的JDBC驱动包连接。本文介绍如何通过JDBC连接数据库。前提条件 已获取 AnalyticDB PostgreSQL版 实例的连接地址。如果您的客户端部署在与 AnalyticDB PostgreSQL版 ...
添加数据集
说明 如果 选择数据源类型 下拉列表内没有任何数据源类型可选，您可以单击下拉列表右侧的 添加数据源，进入数据源面板后添加所需类型的数据源。添加适配数据内容的方法请参见 添加适配数据源。本地上传：选择 本地上传 创建方式，可选择...
授权与回收数据源权限
本文为您介绍如何批量授予和批量回收数据源的权限。前提条件 需完成创建数据源。如需创建，请参见 数据源管理。授权数据源权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 数据源授权 对话框。根据数据源授权...
配置Kudu输入组件
配置Kudu输入组件后，可以读取Kudu数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置Kudu输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kudu数据源。具体操作，请参见 创建Kudu数据源。进行...
Davinci
mv datasource_driver.yml.example datasource_driver.yml 编辑该文件，添加如下内容，配置PostgreSQL数据源。postgresql:name:postgresql desc:postgresql version:driver:org.postgresql.Driver keyword_prefix:\"keyword_suffix:\"alias...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
手动修正数据
批量修正数据 选中需要批量修正的字段，单击上图区域③的 批量修正 按钮，弹出 批量修正识别结果 对话框，敏感字段类型 下拉框列表中为您展示当前租户下默认分类分级模板中 已发布 的敏感字段类型，你可以选择正确的敏感字段类型，单击 ...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
DRDS（PolarDB-X 1.0）数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } Reader脚本参数 参数 描述 是否必选 默认值 datasource 数据源名称，脚本模式支持添加数据源，该配置项填写的内容必须与添加的数据源名称保持一致。是 无 table 所选取的需要...
JDBC常见问题
本文为您介绍JDBC的常见问题。问题类别 常见问题 JDBC使用 MaxCompute JDBC是否支持关闭Auto-Commit模式？MaxCompute JDBC是否需要使用连接池？如何查看MaxCompute JDBC Driver的日志？如何获取MaxCompute Logview URL？MaxCompute JDBC...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
Insert Into
数据湖数据同步 如果数据在数据湖等外部系统中，可以在SelectDB中创建Catalog，映射到数据湖等外部系统中的数据，然后通过Insert Into Select将其中的数据导入到SelectDB表中。SelectDB支持对接Hive、Iceberg、Hudi、Elasticsearch、JDBC等...
执行补数据并查看补数据实例（新版）
您也可单击 批量添加，通过资源组、调度周期、工作空间等条件搜索，批量添加多个根任务。说明 仅支持选择您已加入工作空间（即您为工作空间成员）的任务。已选补数据列表 待执行补数据的任务。列表展示已添加的根任务，您可基于根任务选择...
数据质量规则配置流程
批量添加需要规则校验的表或字段 选择待批量校验的表或字段，将规则模板应用到目标表上。新建或关联质量监控 以校验的表的具体 数据范围 为对象（如分区表的具体分区），通过质量规则关联质量监控的方式，定义对象数据需要进行哪些质量规则...
通过JDBC方式访问Presto
创建了包含Presto服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Presto提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，...
配置规则：按模板（批量）
定义规则触发方式：关联调度 您可以单击 推荐关联调度 或 手动关联调度，为单个或多个数据质量规则关联产出表数据的调度节点（运维中心中产出表数据的节点，包括自动调度的周期实例，手动触发的补数据实例，测试实例），当节点任务执行时便...
使用JDBC Connector导入
说明 由于ClickHouse单次插入的延迟比较高，我们需要设置 BatchSize 来批量插入数据，提高性能。在JDBCAppendTableSink的实现中，若最后一批数据的数目不足 BatchSize，则不会插入剩余数据。package org.myorg.example import org.apache....
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
配置SAP Table输入组件
同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建SAP Table数据源，如何创建，请参见 创建SAP Table...
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
数据源开发和生产环境隔离
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置不同的数据源信息。在同步任务执行过程中，可由执行环境控制离线同步任务所...
- 产品推荐
- 这些文档可能帮助您