轮播饼图
显示真实值 打开开关，显示数据的真实数值；关闭开关，显示系统自动计算的数据所占的百分比值。说明 默认显示百分比值，打开开关后显示真实数据数值。百分号 百分比数值的单位符号。百分号字号 百分比数值的单位符号的文本大小。百分号位置...
将数据写入OSS
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
配置Oracle输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置Oracle输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]...
配置Teradata输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
SmartData常见问题
JindoFS Block模式可以通过OSS API读取数据吗？对象存储OSS不支持Rename操作，那JindoFS支持Rename操作吗？JindoFS的Rename性能如何？JindoFS支持类似于Hadoop S3A的Magic Committer吗？JindoFS对百万千万级文件数目录的支持情况如何？...
配置Teradata输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，...
配置Vertica输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置...
配置Vertica输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 每个并发SQL语句读取数据的条数。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置...
通过向导模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
配置OceanBase输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值：...
配置OceanBase输入组件
读取数据时，根据配置的切分键字段进行数据分片，实现并发读取，可以提升数据同步效率。批量条数 配置数据同步时，每条并发SQL语句读取数据的条数，默认的批量条数为1024。输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值：...
SmartData数据读取异常修复公告
历史版本的SmartData（3.0.x～3.5.x）服务存在已知缺陷可能会造成缓存数据出现损坏，导致读取数据内容发生异常。本文为您介绍缺陷影响，缺陷方案以及缺陷修复流程。缺陷影响 缺陷影响的组件：打开SmartData数据缓存功能的所有组件。重要 ...
背景信息以及准备工作
背景信息 Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC对RDS、Table Store、OSS中的数据进行查询和分析。您还可以在DLA中创建 云数据库 Redis 版（简称Redis...实施步骤 创建Redis Schema 创建Redis表并读取数据
查询非结构化数据
说明 您可以根据需要选择Extractor、StorageHandler或Outputer类型：Extractor：自定义输入数据解析器，用来实现自定义处理数据读取的逻辑，即如何读取非结构化数据。StorageHandler：用于指定和配置自定义Extractor和Outputer的实现类。...
将自建ClickHouse向企业版迁移
在目标集群中使用 Remote 函数从源集群的源表中读取数据。INSERT INTO db.table SELECT*FROM remote('source-hostname:9000',db,table,'exporter','password-here')在源集群中使用 Remote 函数将数据推送到目标集群中。说明 为了使 Remote ...
MetaQ数据源
DataWorks数据集成支持使用MetaQ Reader读取消息队列Message Queue（简称MQ）的数据，本文为您介绍DataWorks的MetaQ数据读取能力。支持的版本 MetaQ Reader通过消息队列服务的Java SDK订阅MetaQ中的实时消息数据，使用的Java SDK版本如下所...
配置FTP输入组件
数据内容起始行 设置输入组件读取数据的起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则将数据内容起始行设置为N+1。高级配置 切分方式 Text支持 分隔符切分 和 字段长度切分，CSV支持 分隔符切分。分隔符切分：将会根据 字段...
配置FTP输入组件
数据内容起始行 设置输入组件读取数据的起始行。默认为1，从第一行开始为数据内容。若需忽略前N行，则将数据内容起始行设置为N+1。高级配置 切分方式 Text支持 分隔符切分 和 字段长度切分，CSV支持 分隔符切分。分隔符切分：将会根据 字段...
访问OSS数据源
步骤一：数据准备 准备用于数据读取的文本文件，将文本文件上传至OSS。本文示例的文本文件名为 readme.txt。具体操作，请参见 上传文件。云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的...
客户端FAQ
常见问题 Q：JDBC读取数据报错：java.lang.NumberFormatException:For input string:"xxxx"A：尝试按照普通数据类型解析密文数据，例如 getInt/getBigDecimal/getBoolean/getLong/getFloat/getDouble，由于密文不符合普通数据类型格式要求...
通过脚本模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
瀑布图（v4.x版本）
系列 柱子颜色：类目数据显示上升、下降或数据总计时的柱子颜色。参数 说明 上升颜色 类目数据为正数显示上升趋势的柱子颜色。下降颜色 类目数据为负数显示下降趋势的柱子颜色。总计颜色 所有类目数据合计后的柱子颜色。辅助线：柱状图的...
基本散点图
更多数据显示格式请参见 数据显示格式说明。轴标签：y轴轴标签的样式，可单击 图标控制y轴轴标签的显隐。参数 说明 文本样式 y轴轴标签文本的字体样式、文字粗细、字号和颜色。自定义数量 y轴轴标签显示的数量值。可单击 图标控制y轴轴标签...
EMR Hive数据整库离线同步至MaxCompute
基于Hive JDBC读取数据：Hive Reader插件通过Hive JDBC客户端连接HiveServier2服务读取数据。此方式支持通过where条件过滤数据，并直接通过SQL读取数据。说明 HDFS方式效率更高，JDBC方式会生成MapReduce程序，同步效率较低。注意HDFS方式...
EMR Hive数据整库离线同步至MaxCompute
基于Hive JDBC读取数据：Hive Reader插件通过Hive JDBC客户端连接HiveServier2服务读取数据。此方式支持通过where条件过滤数据，并直接通过SQL读取数据。说明 HDFS方式效率更高，JDBC方式会生成MapReduce程序，同步效率较低。注意HDFS方式...
EMR Spark功能增强
支持使用DataFrame API从Delta读取数据或者写入数据到Delta。支持使用Stuctured Streaming API以Delta作为source或者sink进行数据的读或写。支持使用Delta API对数据进行update、delete、merge、vaccum、optimize等操作。支持使用SQL创建...
FTP数据源
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
数据页面管理
其中 矢量 数据类型页签中，还包括三个子类型的数据类别，分别为 点、线、面 类型，单击三种子类型的图标，即可切换查看矢量页签中不同子类型的数据显示。搜索数据 单击管理数据页面右上角的搜索数据框，在输入框内输入搜索数据的关键字，...
数据页面管理
其中 矢量 数据类型页签中，还包括三个子类型的数据类别，分别为 点、线、面 类型，单击三种子类型的图标，即可切换查看矢量页签中不同子类型的数据显示。搜索数据 单击管理数据页面右上角的搜索数据框，在输入框内输入搜索数据的关键字，...
BLOB数据类型（邀测中）
说明 仅Lindorm JDBC Driver为2.1.3及以上版本时，可以通过该方式读取数据。如果需要在后续业务逻辑中进行流式处理，请选择该方式。获取BLOB列对应的InputStream对象进行读取 ResultSet resultSet=stmt.executeQuery("select*from"+...
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
配置PolarDB输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加需要读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-...
数据源读取时间超时的优化思路
本文介绍导致DataV读取数据源超时的常见原因和解决方法。使用SQL查询的业务数据表数量太大，查询超时 针对查询条件所使用的字段添加索引，减少扫描行数。在数据库中增加定时任务，定时计算所需要的业务指标并更新结果表。DataV组件直接查询...
Query级别诊断结果
建议 先找到读取数据量较大的Stage以及相关的表扫描算子（TableScan）。您可以在 AnalyticDB MySQL版 SQL诊断的Stage层或算子层执行计划中的 统计信息 区域查看对应Stage 扫描行数、扫描量，或TableScan算子的 输入行数 和 输入大小 来判断...
配置PolarDB输入组件
表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加需要读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-...
OSS-HDFS数据源
value：指定当前类型为常量，不从源头文件读取数据，而是根据value值自动生成对应的列。说明 文件数据列（index）和常量列（value）配置二选一。{"type":"long","index":0/从本地文件文本第一列（下标索引从0开始计数）获取LONG字段，index...
数据建模
本文介绍Lindorm时序引擎数据建模的过程。创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认...时序引擎底层数据存储实现了对多值模型数据的存储优化，建议您将单值模型更改为多值模型，让数据读取更加高效。
支持的数据源及同步方案
Lindorm数据源-LogHub（SLS）数据源-MaxCompute数据源-MariaDB数据源-Maxgraph数据源-Memcache（OCS）数据源-MetaQ数据源-MongoDB数据源-MySQL数据源-OpenSearch数据源-Oracle数据源-OSS数据源-OSS-HDFS数据源-PolarDB数据源-PolarDB-X 2.0...
- 产品推荐
- 这些文档可能帮助您