配置Kafka输入组件
配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...
配置Kafka输入组件
配置Kafka输入组件后，可以将kafka数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置Kafka输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Kafka数据源。具体操作，...
使用ClickHouse-Local迁移上云
clickhouse local 示例1：使用集成引擎从MySQL迁移到云数据库ClickHouse企业版 您可以使用集成表引擎（通过MySQL表函数动态创建）从源MySQL数据库读取数据，并使用remoteSecure表函数将数据写入云数据库ClickHouse企业版集群上的目标表。...
数据源和项目协同
查看数据源 数据源列表中，支持如下操作：操作项 说明 数据源名 显示数据源的名称、类型、实例 ID、租户 ID 和数据库用户名信息。单击数据源名称支持管理其中的数据库、会话和回收站。查找目标数据源。筛选数据源类型。排序数据源。刷新...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
工作组成员管理
角色 包括工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。其中，元数据读取、数据读取和数据变更是专业模式下的角色。工作组管理员：工作组的管理者，拥有工作组内的所有权限。工作组开发者：拥有工作组内的...
流表
本文介绍流表的使用方法及示例。概述 流表：流表用于存储随时间发生的事件，仅支持插入数据，...指定历史时间读取数据 SELECT/*+OPTIONS('scan.startup.mode'='timestamp',scan.startup.timestamp-millis'='1647360000000')*/*FROM MyStream;
ETL工具支持概览
您可以直接从其他数据源读取数据，写入到 AnalyticDB PostgreSQL版 中。如果数据量较大，需要并发导入，则建议您先通过数据集成服务把数据从其他数据源导入到OSS，再通过OSS外部表导入 AnalyticDB PostgreSQL版。Pentaho Kettle 数据集成...
Amazon S3数据源
Simple Storage Service（简称S3）是一种专为从任意位置存储和检索任意数量的数据而构建的对象存储，DataWorks数据集成支持使用Amazon S3 Reader插件从S3数据库读取数据，本文为您介绍DataWorks的Amazon S3数据读取能力。支持的Amazon S3...
创建数据流
数据库 输入并选择数据流读取数据的源数据库。（可选）若数据库为非安全协同模式，还需要在弹出的 登录实例 对话框中，输入 数据库账号 和 数据库密码。表 选择数据流读取数据的源表。以过滤源表数据为例，配置数据处理节点。说明 除 数据...
通用云盘IO加速功能技术介绍
一次数据页读取的过程如下：客户端侧发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定数据页：如果在缓存池中找到数据页，则返回结果给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求进入...
版本发布记录
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力，包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件，表格存储，AnalyticDB，云数据库版或自建数据库（MySQL、...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
详细功能介绍
测试通过后，会显示数据过滤结果。如下图所示，左侧弹窗的上下两部分，分别展示了数据经过过滤器之前和之后的返回结果。重要 过滤器调试功能可确保过滤代码的正确性，但不适用于数据量过大的情况。数据源和过滤器报错 数据源报错：在资产...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
IO加速
一次数据页读取的过程如下：客户端发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定的数据页：如果在缓存池中找到数据页，则将结果返回给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求...
如何选择备份方式
全量备份原理 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。更多详情，请参见 添加备份网关。增量备份原理 支持实时捕获...
查看并管理实时任务
指定来源表读取数据时点：设置指定开始时间会让所有支持startTime的来源表均从该时刻开始读取数据。重要 目前支持Log Service CDC、Kafka CDC、MySQL CDC、MongoDB CDC、OceanBase CDC指定来源表读取数据时点。SQL作业中的代码参数配置将...
通用云盘IO加速功能
一次数据页读取的过程如下：客户端发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定的数据页：如果在缓存池中找到数据页，则将结果返回给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求...
通用云盘IO加速功能
一次数据页读取的过程如下：客户端发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定的数据页：如果在缓存池中找到数据页，则将结果返回给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求...
产品架构
为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将数据在本地持久化。日志读取模块通过数据库协议连接并读取源实例的增量日志。如果...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
权限列表
工作组成员管理角色包括：工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X...
开发Dataphin数据源并加速数据查询
数据环境 选择数据源读取数据的来源。数据环境对后续选择物理表和逻辑表的影响说明如下：选择了 生产环境，后续支持选择Basic和Prod业务板块中的逻辑表，支持选择Basic和Prod项目中的物理表。选择了 开发环境，后续支持选择Dev业务板块中的...
权限列表
工作组成员管理角色包括：工作组管理员、工作组开发者、工作组分析员、元数据读取、数据读取、数据变更。全局成员管理配置角色包括：租户管理员、租户访客、租户数据资产管理员、租户运维人员、租户一般用户。对号（√）表示支持，叉号（X...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
标注对比饼图
真实数值 打开开关，显示数据的真实值；关闭开关，显示数据所占的百分比值。小数点位数 数值显示的小数点位数。只有在关闭真实数值的时候可以配置。类目标签：标签中类目的样式，可单击 图标控制类目标签的显隐。文本：类目标签文本的字体...
指标占比饼图
真实数值 打开开关，显示数据中的具体值；关闭开关，显示数据所占的百分比值。扇形：饼图中扇形的样式。参数 说明 标题 饼图下方显示的文字标题。颜色 标题的颜色，请参见 颜色选择器 进行修改。背景色 指标扇形下方的背景环的颜色。越界...
ORC文件
写入ORC数据到OSS 并读取数据%spark val inputPath="oss:/databricks-fjl-test/datas/orc_data"case class MyCaseClass(key:String,group:String,value:Int,someints:Seq[Int],somemap:Map[String,Int])val dataframe=sc.parallelize(Array...
引擎功能
时序数据高效读写 Lindorm时序引擎提供高效的并发读写，支持每秒百万数据点的数据读取及千万数据点的写入能力。数据写入 支持以下方式进行数据写入：使用SQL的INSERT语句（推荐使用JDBC）。兼容InfluxDB的写入Line Protocol。兼容OpenTSDB...
数据源开发和生产环境隔离
模板内容：显示数据源类型、数据源名称、数据源描述、环境类别（0开发、1生产）、链接地址。说明 同一个开发环境和生产环境的数据源名称必须一致。新增数据源 开发环境可用的数据源：可以在新建数据同步节点时选择并在开发环境运行，但无法...
创建Redis表并读取数据
本文介绍如何创建Redis的CSV和JSON格式表并读取相关数据。创建CSV格式表 针对Redis中CSV格式的数据，本示例在 DMS for Data Lake Analytics 中创建表dla_person_csv。CREATE EXTERNAL TABLE dla_person_csv(id int,name varchar,age int)...
常见问题
Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？写入OSS出现随机字符串如何去除？MySQL分库分表如何将分表同步到一张MaxCompute中。数据同步任务where条件没有索引，导致全表扫描同步变慢。目的端...
多维度饼图
真实数值 打开开关，显示数据的真实值；关闭开关，显示数据所占的百分比值。小数点位数 数值显示的小数点位数。只有在关闭真实数值的时候可以配置。类目标签：标签中类目的样式，可单击 图标控制类目标签的显隐。文本：类目标签文本的字体...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
备份数据库
Q：备份自建SQL Server数据库，在预检查时显示数据库权限检查失败，如何处理？A：预检查失败原因是备份账号权限不足，您需要向NT AUTHORITY\SYSTEM账号赋予Sysadmin角色。您可以执行如下SQL命令 或通过图形化界面 进行设置：SQL命令 ALTER ...
轮播饼图
显示真实值 打开开关，显示数据的真实数值；关闭开关，显示系统自动计算的数据所占的百分比值。说明 默认显示百分比值，打开开关后显示真实数据数值。百分号 百分比数值的单位符号。百分号字号 百分比数值的单位符号的文本大小。百分号位置...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
- 产品推荐
- 这些文档可能帮助您