8.0.1和8.0.2版功能对比
支持 支持 Readable Protobuf 针对存储在数据库中经过Protobuf序列化的Blob类型的字段，您可以在对应的字段上配置Protobuf schema，并通过可视化函数PROTO_TO_JSON(blob_field)来读取数据，也可以使用JSON_EXTRACT()函数来抽取数据中的部分...
Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量少于来源表数据量的原因。详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库...
快速入门
创建入湖模板 创建入湖模板，可以定时或者手动的执行数据抽取任务，将数据源中指定的数据抽取到数据湖。当前入湖模板支持5种数据抽取方式，可以根据数据抽取的场景选择并创建入湖模板。入湖模板需要指定抽取数据的具体位置。指定RAM角色，...
Quick BI配置数据集加速后，正在抽取数据是否会影响...
概述 Quick BI配置数据集加速后，正在抽取数据是否会影响现有数据集的使用？会不会出现查询数据不一致的情况？详细信息 在抽取过程中，抽取加速不会生效，只有抽取成功后加速才会生效。如果底层数据或结构没有变化不会有影响，底层数据发生...
配置Quick引擎
抽取加速有以下特点：可以周期性抽取数据到Quick引擎中，通常适用于离线型数据，例如天粒度的数据。支持增量和全量抽取，包含全表抽取和预计算两种模式。免费赠送抽取空间：高级版抽取加速容量为2 GB。专业版抽取加速容量为10 GB。数据集...
DataX
数据源筛选SQL 从数据源中抽取数据的SQL语句。当节点执行SQL时会自动解析SQL查询的列名，并将其映射为目标表的同步列名。当源表和目标表的列名不一致时，可以通过使用列别名（AS）来进行转换。目标源类型 选择同步数据的数据源类型。目标源...
配置Vertica输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置Vertica输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置PolarDB-X（原DRDS）输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值：抽取对应的数据，例如 ds=20211111。配置变量参数：抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
配置PolarDB-X（原DRDS）输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值：抽取对应的数据，例如 ds=20211111。配置变量参数：抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
单元测试报告
增量/全量数据抽取规范 抽取时间大于X分钟的，则考虑更改为增量抽取。数仓抽取时间点检查 数仓抽取时业务系统是否ready，抽取的数据是否完整。指标特性检查 细分指标趋势检查 例如会员拉链表记录数相比前一天必须是正增长、当日累计值-上日...
配置Teradata输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置OceanBase输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值：抽取对应的数据，例如 ds=20210101。配置变量参数：抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置OceanBase输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值：抽取对应的数据，例如 ds=20210101。配置变量参数：抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置IBM DB2输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置IBM DB2输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置Teradata输入组件
输入过滤 配置抽取数据的筛选条件，配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将某些...
配置Oracle输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值：抽取对应的数据，例如 ds=20211111。配置变量参数：抽取某一部分数据，例如 ds=${bizdate} 输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
配置ClickHouse输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，用于抽取对应的数据，例如 ds=20211111。配置变量参数，用于抽取某一部分的数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。...
配置Oracle输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，抽取对应的数据，例如 ds=20211111。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
OCR文档自学习概述
模型：单据票证信息抽取 数据驱动，通过小样本数据标注、训练，实现对版式相对固定的单据、证件、凭证的关键字段进行信息抽取，更多信息及操作详见 操作指南。表格信息抽取 数据驱动，通过小样本数据标注、训练，实现对版式相对固定的表格...
OCR文档自学习概述
模型：单据票证信息抽取 数据驱动，通过小样本数据标注、训练，实现对版式相对固定的单据、证件、凭证的关键字段进行信息抽取，更多信息及操作详见 操作指南。表格信息抽取 数据驱动，通过小样本数据标注、训练，实现对版式相对固定的表格...
配置AnalyticDB for PostgreSQL输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
配置AnalyticDB for PostgreSQL输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，抽取对应的数据，例如 ds=20210101。配置变量参数，抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
配置ClickHouse输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值，用于抽取对应的数据，例如 ds=20211111。配置变量参数，用于抽取某一部分的数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。...
如何优化数据全量抽取
本文介绍了在应用内通过代码高效抽取数据的方法。简介 数据抽取是指通过代码或者数据导出工具，从 PolarDB-X 中批量读取数据的操作。主要包括以下场景：通过数据导出工具将数据全量抽取到下游系统。PolarDB-X 支持多种数据导出工具，更多...
Quick BI关于图表查优的相关方法和功能实现介绍
针对以上场景，Quick BI所提供的查询优化方法大致分为两种：查询缓存以及数据抽取的方式。整个BI系统中涉及缓存及加速的模块涉及数据集与仪表板，以下分别从缓存和抽取加速的角度为您介绍功能实现：一、缓存：在配置的缓存时间内，非首次且...
实例介绍
离线抽取数据的业务场景。计费方式 PolarDB-X 1.0计算资源只读实例 提供多种规格配置的按量付费，计费周期为1小时，不足1小时按1小时计算，计费详情请参见 只读实例定价说明。说明 关于只读实例欠费后的服务可用性，请参见 欠费预警/停机...
DB2数据源
增量数据同步的方式 DB2 Reader使用JDBC SELECT语句完成数据抽取工作，因此可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
Tablestore数据源
begin 和 end 描述的是Tablestore PrimaryKey的区间分布状态，对于无限大小的区间，您可以使用 {"type":"INF_MIN"} 和 {"type":"INF_MAX"} 分别指代 begin 和 end，其中 type 表示抽取数据的类型。说明 begin、end 配置项默认值为[INF_MIN...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
数据分析整体趋势
计算分析一体化：传统数据分析方案是定期从OLTP系统抽取数据同步到OLAP系统，有些可以做到准实时同步。该方案带来的问题是部署复杂，实时性低，数据冗余和高成本。理想情况是一套HTAP系统同时提供计算和分析。大数据与数据库一体化：早期大...
FineBI
数据准备标签下没有抽取数据和实时数据的选项 处理方法：FineBI官网提供的版本不包含直连引擎，需要联系FineBI技术支持获取对应版本。更多详情，请参见 处理方法。数据库与BI数据不同步 处理方法：更多详情，请参见 数据库与 BI 数据不同步...
PostgreSQL数据源
增量数据同步的方式 PostgreSQL Reader使用JDBC SELECT语句完成数据抽取工作，因此可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
离线同步数据质量排查
每一个存储类型都会有对应的Reader插件，Reader插件会根据用户配置的数据抽取模式（包括数据过滤条件、表、分区、列等），使用JDBC或者对应数据源SDK最终将数据抽取出来。说明 数据实际读出效果和数据同步机制、源头数据是否变化、任务配置...
从 Prometheus 到 TSDB 的数据迁移
配置迁移任务 配置一个从 Prometheus 数据库同步抽取数据到 TSDB 的任务，命名为 prometheus2tsdb.json，完整的配置信息如下（针对各个配置参数的详细说明，请看下一章节”参数说明”）：{"job":{"content":[{"reader":{"name":...
配置同步任务
并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的记录数超过多少条则任务中止。默认为0条，即不允许出错。配置同步任务的调度参数，详情请参见 调度配置。保存、提交和发布同步任务：单击页面上方的 图标，保存...
SQL Server数据源
增量数据同步的方式 SQL Server Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
从 MySQL 到 TSDB 的数据迁移
配置迁移任务 配置一个从 MySQL 数据库同步抽取数据到 TSDB 的任务，命名为 mysql2tsdb.json，完整的配置信息如下，针对各个配置参数的详细说明，请参见 参数说明。{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{...
Oracle数据源
增量数据同步的方式 Oracle Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
- 产品推荐
- 这些文档可能帮助您