创建单物理表服务单元
模式包括 Basic 和 Dev-Prod 模式：Basic：选择了Basic模式后，服务单元读取数据时您只能选择到生产数据源。Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时您可以选择开发数据源和生产数据源。您可以在数据源页面，查看您的数据源是...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
设置列索引的排序键
重复执行步骤3，直到合并文件有序排列，然后读取合并文件中的每一行记录，根据偏移值读取数据文件中对应的记录并追加到列存索引中。增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块...
数据加工概述
适用场景 数据规整（一对一）：从源Logstore中读取日志数据，进行加工后输出到目标Logstore中。数据分派（一对多）：从源Logstore中读取日志数据，进行加工后分别输出到不同的目标Logstore中。数据融合（多对一）：分别从不同的源Logstore...
通用云盘IO加速功能技术介绍
一次数据页读取的过程如下：客户端侧发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定数据页：如果在缓存池中找到数据页，则返回结果给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求进入...
IO加速
一次数据页读取的过程如下：客户端发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定的数据页：如果在缓存池中找到数据页，则将结果返回给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求...
通用云盘IO加速功能
一次数据页读取的过程如下：客户端发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定的数据页：如果在缓存池中找到数据页，则将结果返回给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求...
通用云盘IO加速功能
一次数据页读取的过程如下：客户端发起读取数据页的请求。请求进入内存的缓存池（Buffer Pool）中查找指定的数据页：如果在缓存池中找到数据页，则将结果返回给客户端侧，查询和读取结束。如果在缓存池中未找到数据页，则执行步骤3。请求...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
计算引擎版本说明
1.5.0 功能优化 优化CDC（数据源）在数据读取过程中对 null 的处理。修复稳定性问题。1.3.1 新特性 支持运行指定SQL的SparkSQL作业。资源配置项支持resourceTag，详细说明，请参见 资源配置项。功能优化 CDC（数据源）支持将HBase数据解析...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
MaxCompute近实时增全量一体化架构介绍
在输入Time travel查询语句后，会先从Meta服务中解析出要查询的历史数据版本，然后过滤出要读取的Compacted Data File和Delta Data File，进行合并然后输出。其中，Compacted Data File可以用来加速查询，提高读取效率。上图以事务表（src...
续费管理
说明 如果目标数据库自治服务在 自动续费 或 到期不续费 页签中，您可以选中目标数据库自治服务，并在页面下方单击 恢复为手动续费，在弹出的对话框中单击 确认 即可恢复为手动续费。选择续费时长，单击 立即购买 完成支付即可。批量续费：...
创建ClickHouse数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至ClickHouse的能力，您可将其他数据源的数据同步至当前ClickHouse数据源，或将当前ClickHouse数据源的数据同步至其他数据源。您可通过离线同步场景执行相关数据同步操作。增...
添加区块链服务数据源
本文档为您介绍在DataV中添加区块链服务数据源的方法，以及相关参数配置说明。使用阿里云区块链服务（Blockchain as a Service，简称BaaS），您可以通过REST API调用智能合约，查询链上信息，也可以查询区块及交易信息。前提条件 已准备好...
添加日志服务SLS数据源
本文档介绍在DataV中添加日志服务SLS数据源的方法，以及相关参数配置说明。日志服务（Log Service，简称SLS）是针对实时数据的一站式服务。前提条件 已准备好待添加的日志服务SLS数据源。添加日志服务SLS数据源操作步骤 登录 DataV控制台。...
观远BI连接MaxCompute
参数说明请参考下表：参数名称 参数说明 数据库连接方式 直连数据库：通过MaxCompute JDBC从MaxCompute直接读取数据。Guan-Index：会缓存一份数据到观远服务器中，同时支持选择增量更新这份数据。如果选择Guan-index，可以设置一个去重主键...
概述
TableTunnel.DownloadSession 表示一个从MaxCompute表中下载数据的会话。InstanceTunnel 访问MaxCompute Tunnel服务的入口类。您可以通过公网或者阿里云内网环境对MaxCompute及其Tunnel进行访问。当您在阿里云内网环境中使用Tunnel内网连接...
使用MaxCompute控制台（离线）
说明 例如：待上传的数据中，某列值为含字母的字符串类型，但对应目标表的列是BIGINT类型，那么该数据将被视为脏数据。若选择了剔除脏数据，则该条数据不会被上传。是：剔除待上传文件中与目标表中的列类型不统一的数据。否：数据全量上传...
购买与使用独享数据传输服务资源组
当您在MaxCompute中需要对大规模数据进行传输且对传输稳定性和延迟有要求时，您可以使用独享数据传输服务资源组。独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、...
离线同步并发和限流之间的关系
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
通过Logstash导入数仓版
reset_beginning：指定Logstash启动后从哪个位置开始读取数据，默认是结束位置，即Logstash进程会从上次读取结束时的偏移量开始继续读取数据；如果之前没有消费过，则从头读取数据。如果您要导入原数据，需将 reset_beginning 值改为 true...
如何对JSON类型进行高效分析
传统数仓解决方案 数据仓库的处理流程通常包括以下步骤：数据抽取（Extraction）：从各个数据源中抽取需要的数据，包括数据库、文件、Web服务等，并进行清洗、转换和过滤。数据转换（Transformation）：对抽取的数据进行转换，使其符合数据...
常见问题
Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？写入OSS出现随机字符串如何去除？MySQL分库分表如何将分表同步到一张MaxCompute中。数据同步任务where条件没有索引，导致全表扫描同步变慢。目的端...
接入数据库实例
本文介绍如何将数据库实例接入到 数据库自治服务DAS 中。功能说明 DAS支持接入阿里云数据库、阿里云ECS自建数据库、其他自建或其他云厂商数据库（包括本地IDC的自建数据库、其他云上的自建数据库、其他云上的云数据库等）。对于阿里云数据...
ETL工具支持概览
您可以直接从其他数据源读取数据，写入到 AnalyticDB PostgreSQL版 中。如果数据量较大，需要并发导入，则建议您先通过数据集成服务把数据从其他数据源导入到OSS，再通过OSS外部表导入 AnalyticDB PostgreSQL版。Pentaho Kettle 数据集成...
接入阿里云ECS自建数据库实例
本文介绍如何在数据库自治服务DAS中接入阿里云ECS自建数据库。前提条件 DAS目前支持接入的ECS自建数据库引擎有：MySQL PostgreSQL MongoDB Redis 说明 目前DAS仅支持接入6.0及以下版本的自建Redis。部署数据库实例的ECS与DAS属于同一个阿里...
OSS数据源
支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言，OSS Reader支持的功能如下。支持 不支持 支持且仅支持读取TXT格式的文件，且要求TXT中schema为...
备份对数据库的影响
对数据库的影响 从数据库实例中读取数据，对数据库性能有一定影响，但不会造成锁表的情况。从数据库磁盘中读取数据，对数据库IO性能有一定影响，但不会造成锁表的情况。注意事项 建议选择业务低峰期执行备份任务。DBS提供备份速度调节功能...
Data Warehouse的创建
专业版CDP支持使用数据服务Data Warehouse，本文为您介绍如何在Data Warehouse服务中创建虚拟数仓，以管理、分析和操作Base集群中的数据。前提条件 由于Data Service集群的Management Console部署在内网中，因此需要通过SSH隧道访问。隧道...
功能优势
通过Web App调用分析型数据库MySQL版的自定义函数生成向量特征，分析型数据库MySQL版后台通过调用特征提取服务从OSS读取非结构化数据，提取特征，并把特征向量保存在分析型数据库MySQL版中。所有这些操作只需要一条SQL便可轻松完成，SQL...
配置Salesforce输入组件
Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...
配置Salesforce输入组件
Object 选择Salesforce实例内需要读取数据的Object。输入过滤 填写输入字段的过滤信息，例如 ds=${bizdate}。输入过滤 适用于以下两种场景：固定的某一部分数据。参数过滤。说明 支持的判断运算符包括=、!IN、NOT IN等。输出字段 ...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
数据源管理常见问题
在添加数据对话框中，设置 类型，选择 DataV数据代理服务，域名 为数据代理服务的域名、端口 也是数据代理服务的端口，key 和 Secret 需要将数据代理服务的密钥复制粘贴过来即可。配置完成后，单击 获取数据列表，需要注意的是在配置连接...
- 产品推荐
- 这些文档可能帮助您