支持识别的OSS文件类型
序号 文件类型 序号 文件类型 1 C、C++源代码 85 Tokyo Cabinet数据库文件 2 Lua源代码 86 X3D(Extensible 3D)Model XML文件 3 Javascript源代码 87 XML文档 4 VRML虚拟现实建模语言代码 88 XML Sitemap文件 5 BCPL源代码 89 DBF数据库文件...
区域热力层（v4.x版本）
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
区域热力层（v3.x版本）
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
区域图（v4.0以下版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
水波图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
水波图
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
当源端删除其中一条数据时，由于匹配条件是 where c1=1 and c2=2，会导致目标端的两条 c1=1 和 c2=2 的数据均被删除，导致源端和目标端的数据不一致。对于 tsvector 类型字段的迁移，如果涉及反向增量至 RDS PostgreSQL 实例，在 OceanBase...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
气泡图（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
如果不删除唯一索引和伪列，会导致无法写入数据，以及往下游导入数据时，会重新生成伪列，导致与源端数据库的伪列发生冲突。如果数据迁移项目已启用正向切换，数据传输会根据数据迁移项目的类型，自动删除隐藏列和唯一索引。详情请参见 ...
散点图（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
折线柱状图
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
EMR HDFS
访问EMR HDFS 数据源代码实现%spark val path="hdfs:/emr-header-1.cluster-202360:9000/user/test/export.csv"val data=spark.read.option("header","true").option("inferSchema","true").csv(path)data.show(5)6.HA 集群访问 HDSF 警告 ...
基本折线图（v4.0及以上版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
目标服务接收的数据格式 FC接收到的数据类型为Object，源端增量数据以数组的方式存储在Records字段中，数组中的每一个元素为一条Object类型的数据记录。其中Object字段和含义如下表所示。说明 FC接收到的数据有DML和DDL两种：DDL：记录更改...
如何支持超大事务
执行SQL语句数量 2048 每条语句携带的数据量 约256 KB～8 MB 数据修改总量 512 MB～16 GB 数据修改条数 2048 测试过程 测试中，每一条SQL语句形如：INSERT INTO `tb` VALUES(id,c)数据表中 c 列的数据类型为longblob，c 的大小从256 KB到8 ...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
采集数据
user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构数据源间的数据同步，完成数仓数据...
配置同步任务
数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、PostgreSQL、AnalyticDB for PostgreSQL 开源大数据数仓存储 Hive、TDH Inceptor 说明 HBase作为数据源或者目标数据源，支持的版本为HBase V1.1.x、HBase V0.94.x。...
C 驱动连接 OceanBase 数据库
sudo rpm-ivh obclient-xx.x86_64.rpm 从源码编译 OceanBase 数据库的 Github 仓库提供的最新开发版本的源代码（包含子库），参见 obclient。安装依赖工具。sudo yum install-y git cmake gcc make openssl-devel ncurses-devel rpm-build ...
新建及管理质量规则模板
异常数据代码示例如下：select${t1.c1} as dataphin_quality_error_data from${t1} where ds=${bizdate} and${t1.c1};说明 SQL支持多表查询及子查询。支持固定的表名和字段名；Dataphin表支持使用项目名引用物理表或使用板块名引用逻辑表。...
新建及管理质量规则模板
异常数据代码示例如下：select${t1.c1} as dataphin_quality_error_data from${t1} where ds=${bizdate} and${t1.c1};说明 SQL支持多表查询及子查询。支持固定的表名和字段名；Dataphin表支持使用项目名引用物理表或使用板块名引用逻辑表。...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
文档修订记录
创建MaxCompute数据源 场景：跨账号创建数据源 2023.08.15 新增功能 运维中心 当对象类型选择工作空间时，新增出错实例数、出错实例占比、任务日志含关键字等触发条件。规则管理 2023.08.07 新增功能 数据分析 数据分析提供卡片和报告功能...
键值表格
数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些...
通过SQL访问向量数据库
delete_query="DELETE FROM your_table WHERE column1='value1'"execute_query(delete_query)C 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库可以使用libpg库连接，并使用C语言代码导入和查询向量数据。libpg连接数据库的操作，请参见...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
组件数据源配置
本文介绍如何进行配置组件数据和设置组件数据源。前提条件 已登录DataV控制台 已进入画布编辑器页面 ...通过直接在对应字段或数值位置修改内容完成数据源编辑，也可以增加或删除数据源的行数或列数。其他数据类型的数据源请参见 添加数据源。
独享数据集成资源组
性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数[2-5]8c16g MySQL来源实时同步数据库数6以上 12c24g ...
ADAM概览
支持的数据源 Oracle 10g、11g、12c、18c、19c版本 Teradata 13、14、15版本 Db2 for LUW 应用场景 传统IT系统上云 传统企业的IT系统使用的是IOE小型机架构，这种架构扩容只能升级硬件，高配置硬件升级带来的性能提升跟硬件升级投入的成本...
阶段三：数据安全持续运营
场景二：数据违规流转准实时告警 开发者在开发环境中使用数仓数据构建应用时，可能存在 将ODS层数据同步至分析层项目空间、将分析层数据同步至数据仓库之外的存储介质（业务数据库或对象存储）等情况，此类行为极易造成数仓分析层数据可用...
大量数据导出方案
开源工具DataX可以帮助您方便地把MaxCompute中的数据导出到目标数据源，详情请参见 DataX概述。SQLTask方式导出 SQLTask使用SDK方法，直接调用MaxCompute SQL的接口 SQLTask.getResult(i)，可以很方便地运行SQL并获得其返回结果。使用方法...
功能更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 新建Amazon S3数据源 离线集成 新增集成任务...
宜搭创建大屏实操
在散点层 数据 面板中的 设置数据源 模块，勾选 数据过滤器，添加一个数据过滤器，并按如下图方法配置数据过滤器的代码。代码示例如下：data.forEach(item=>{ item.type="ok"} 过滤器内容配置完成后，散点层数据中将筛选出符合过滤要求的...
DataWorks数据服务对接DataV最佳实践
新建数据源 数据服务支持丰富的数据源类型，如下所示：关系型数据库：RDS、DRDS、MySQL、PostgreSQL、Oracle和SQL Server 分析型数据库：AnalyticDB NoSQL数据库：TableStore和MongoDB 登录 DataWorks控制台，单击左侧导航栏的 数据服务，...
连接集群
背景信息 DMS是阿里云提供的图形化数据管理工具，可用于管理关系型数据库和NoSQL数据库，支持数据管理、SQL操作、数据方案（数据导入/导出、数据库克隆等）、性能与优化、安全审计等功能。使用DMS连接云原生数据仓库AnalyticDB MySQL版 ...
离线同步常见问题
数据同步原则：来源端数据源的数据要能写入目的端数据源（来源端和目的端类型需要匹配，字段定义的大小需要匹配），即源端数据类型需要与写端数据类型匹配，源端是VARCHAR类型的数据不可写到INT类型的目标列中；目标端的数据类型定义的大小...
配置Greenplum输出组件
配置Greenplum输出组件，可以将外部数据库中读取的数据写入到Greenplum，或从大数据平台对接的存储系统中将数据复制推送至Greenplum，进行数据整合和再加工。本文为您介绍如何配置Greenplum输出组件。前提条件 已创建Greenplum数据源。具体...
- 产品推荐
- 这些文档可能帮助您