DataHub数据源
datahub侧对于一次request请求写入的数据条数限制是10000条，超出10000条数据会超出限制导致任务出错，请根据您单条数据平均数据量*10000条数据的数据总量来从侧方面进行单次写入datahub的数据条数控制。比如每条数据10 k，那么此参数的...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
新建数据探查任务
唯一值统计：统计该字段的唯一值记录数及重复次数最高的5个字段值。布尔型不支持唯一值记录数统计。数据过滤 开启后，可在代码框中配置数据过滤的脚本。例如：city='hangzhou'。探查范围 用于设置需要探查记录数。支持全部记录、随机抽样n...
新建数据探查任务
唯一值统计：统计该字段的唯一值记录数及重复次数最高的5个字段值。布尔型不支持唯一值记录数统计。数据过滤 开启后，可在代码框中配置数据过滤的脚本。例如：city='hangzhou'。探查范围 用于设置需要探查记录数。支持全部记录、随机抽样n...
MapReduce
Key值和Reduce Worker是多对一的关系，具有相同Key的数据会被发送给同一个Reduce Worker，单个Reduce Worker有可能会接收到多个Key值的数据。在进入Reduce阶段之前，MapReduce框架会对数据按照Key值排序，使得具有相同Key的数据彼此相邻。...
监测数据质量
背景信息 越来越多的数据需要进行二次数据分析与开发，但这些数据往往来源各异、结构多样、数据量大且相互依赖，在这样的情况下，保障数据正确、符合预期，提高数据质量显得尤为重要。例如，将获取到的数据投入二次数据分析前，先检验数据...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
空间分析
前提条件 支持如下数据库：RDS MySQL、PolarDB MySQL版、MyBase MySQL、自建MySQL 云数据库MongoDB版、自建MongoDB RDS PostgreSQL、PolarDB PostgreSQL版 PolarDB PostgreSQL版（兼容Oracle）PolarDB-X 2.0 注意事项 空间分析功能最多分析...
应用场景
库表级恢复 全量数据备份是最普遍的备份解决方案，发生数据误删除时，传统方案需要将整个实例数据全部恢复，然后从中找出误删除表，其他数据都丢弃掉，大部分时间花费在无效工作上，这种方案会大大延长故障恢复时间。为了降低数据库故障...
X-Engine引擎使用须知
底层持久化的数据页是只读的，数据页采用紧凑存储格式，同时默认进行压缩，存储成本更低。除了LSM-Tree架构自身的优势之外，X-Engine在工程实现上也进行了大量的创新，主要包含如下几个方面：利用先天性的优势，持续优化写入性能，X-Engine...
配置安全规则
在同一个自定义规则中，最多允许添加3条例外规则。说明 规则类型 选择 口令攻击 时，无法设置例外规则。规则名称：设置例外规则的名称。访问来源：设置合法的访问来源信息。不同类型来源信息之间是与的关系，即同时满足所有来源信息，访问...
数据分析整体趋势
市场趋势 数据规模高速增长（全球2010-2025年复合增长达到27%，中国则大于30%）带来了强劲的数据分析需求。据Gartner统计，到2025年实时数据占比达30%，其中非结构数据占比达80%，同时数据存储云上规模达45%，而云上数据库规模可达75%。从...
自媒体：易撰
同时我们业务上会有大量的大范围、多维度的数据查询检索，PolarDB的高性能读能力解决了我们这个业务场景的需求。通过 PolarDB-X 的高并发写能力和PolarDB的高性能读能力，最终完美解决了我们资讯数据入库和大范围查询的业务痛点。—— 长沙...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置DataHub输出组件
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
配置循环SQL节点
背景信息 任务编排的单实例SQL节点，仅可在数据库中单次执行SQL语句，不适用需要循环执行重复逻辑的场景，如：删除冗余的数据库表、SaaS用户更新大量表等场景。循环SQL节点适用于循环执行重复逻辑的场景。例如：删除数据库表中冗余的数据。...
批量配置数据标准
所有成员均可以导出有查看权限的数据标准。使用限制 单个标准集下可创建的标准个数不超过1000个。批量导入标准 说明 批量导入不支持导入监控配置。数据标准的批量导入标准入口不同，所配置的信息有所差异。入口 差异描述 从全部标准列表或...
批量配置数据标准
所有成员均可以导出有查看权限的数据标准。使用限制 单个标准集下可创建的标准个数不超过1000个。批量导入标准 说明 批量导入不支持导入监控配置。数据标准的批量导入标准入口不同，所配置的信息有所差异。入口 差异描述 从全部标准列表或...
常见问题
由于DTS的传输性能受DTS内部、源端和目标端数据库实例的负载、待传输的数据量、DTS实例是否存在增量任务、网络等多种因素影响，所以无法预估DTS任务所需的时间，若对性能有较高要求，建议选择性能上限较大的规格。关于规格的更多信息，请...
Tunnel命令常见问题
您可以在Tunnel Upload命令中使用-dbr true 参数忽略脏数据（多列、少列及列数据类型不匹配等情况）。dbr 参数默认值为False，表示不忽视脏数据；当值为True时，会将不符合表定义的数据全部忽略。详情请参见 Upload。使用Tunnel Upload命令...
功能更新动态（2024年）
查看及管理资产专题 资产详情 数据标准 新增码表目录功能，可对码表进行分类管理，最多创建不超过5层目录。码表列表支持编辑和查看两种展示模式，适配不同角色使用码表功能。支持基于Excel文件批量导入导出码表、词根。标准上线、下线审批...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大...
文档更新动态（2024年）
更新说明 查看及管理资产专题 资产详情 数据标准-数据标准/落地评估/平台管理 新增码表目录功能，可对码表进行分类管理，最多创建不超过5层目录。码表列表支持编辑和查看两种展示模式，适配不同角色使用码表功能。支持基于Excel文件批量...
功能更新动态（2023年）
专题下支持创建最多5级目录，支持添加资产对象（数据表）到专题。资产列表升级，优化搜索及查看路径。数据表列表支持按照专题查询及筛选资产。搜索框升级，可在搜索框内快捷切换资产类型并保留搜索词。数据表列表支持通过鼠标悬停 查看详情...
文档更新动态（2023年）
专题下支持创建最多5级目录，支持添加资产对象（数据表）到专题。资产列表升级，优化搜索及查看路径。数据表列表支持按照专题查询及筛选资产。搜索框升级，可在搜索框内快捷切换资产类型并保留搜索词。数据表列表支持通过鼠标悬停 查看详情...
功能发布记录 2022年之前
提供的实时数据同步功能，可以将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。利用解决方案可以实现全增量一体化同步。2021.4.15 全部地域。解决方案介绍 实时同步介绍 2020-07 功能...
新增消费组
通过创建多个消费组，您可以对同一个数据源的数据进行重复消费，从而降低数据订阅的使用成本，提升数据消费速度。注意事项 一个数据订阅实例最多可以创建20个消费组，通过创建多个消费组可以实现数据的重复消费。一个消费组只能创建一个...
新增消费组
通过创建多个消费组，您可以对同一个数据源的数据进行重复消费，从而降低数据订阅的使用成本。注意事项 若您需要消费的单行数据超过16MB，则可能会导致消费客户端内存OOM（Out of Memory）。一个数据订阅实例最多可以创建20个消费组，通过...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
导入
导入状态：导入并保存：仅导入并保存数据，不生成新的版本 导入并提交：导入数据，并将最新导入的数据提交一个新的版本 批量导入仅支持导入.xlsx 格式文件，每次最多可导入30000条数据，并且文件大小不超过10MB。查看导入结果。在 完成 页...
配置Oracle输入组件
Oracle输入组件用于读取Oracle数据源的数据。同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前...
如何支持超大事务
为 x，则会修改共 x 条数据，每条数据修改约256字节的数据，数据总修改量为 x*2^8 字节。本测试中 x 取值从2^20到2^25不等，数据修改总量从512 MB到8 GB不等。在单表的情况下，当 x 为2^22，事务修改的数据量约为1 GB时，执行该事务会和...
准备数据
说明 如果是通过自定义资源组调度RDS的数据同步任务，必须把自定义资源组的机器IP也加入RDS的白名单中。下载本教程使用的原始数据 indicators_data、steal_flag_data 和 trend_data。上传原始数据至RDS数据源，详情请参见 将Excel的数据...
RestAPI（HTTP形式）数据源
创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建并管理数据源。单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式...
数据质量风险监控
ts(bigint)值为用户时间戳，目的是避免ODS层出现重复的数据。规则模板 选择 重复值个数、固定值。比较方式 选择 等于。期望值 设置为0。监控空值数据。单击 添加监控规则。输入配置参数。参数 描述 规则名称 请输入规则名称。您可以自定义...
数据质量风险监控
ts(bigint)值为用户时间戳，目的是避免ODS层出现重复的数据。规则模板 选择 重复值个数、固定值。比较方式 选择 等于。期望值 设置为0。监控空值数据。单击 添加监控规则。输入配置参数。参数 描述 规则名称 请输入规则名称。您可以自定义...
云监控控制台查看监控
云数据库ClickHouse 监控项 说明 连接数使用比例 客户端的使用连接数与最多可使用连接数的比值。连接数 连接集群的客户端个数。cpu使用率 集群各节点的CPU使用率。磁盘空间已用比例 磁盘空间的使用量与最多可使用磁盘空间容量的比值。磁盘...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
Check节点
策略二：检查目标分区在指定时长是否有更新 若Check节点检查到MaxCompute分区表的目标分区在指定时长内未更新，则表示该分区的数据已产出完成，平台即认为MaxCompute分区表数据已可用。FTP文件或OSS文件 若Check节点检查到目标FTP文件或OSS...
- 产品推荐
- 这些文档可能帮助您