Quick BI数据集抽取加速报错“Quick Engine传输脏数据...
问题描述 Quick BI数据集抽取加速报错“Quick Engine传输脏数据超过用户预期，该错误...之前抽取的数据有兼容问题，关闭后重新加速会拉取最新的元数据重新抽取数据。解决方案 数据集抽取加速关闭后重新保存，再重新打开加速。适用于 Quick BI
哈希分片全链路测试
按类型生产随机数据集，数据集的基本信息如下表，其中每个数据集的query从doc数据中随机抽取100条。数据类型 维数 数量 数值范围 FLOAT 128 10W(0,1)INT8 128 10W(-128,127)BINARY 512 10W 0/1 参数设置。检索方式 参数 graph proxima.hnsw...
无法更换轻量应用服务器的操作系统
解决方案 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。如果您在阿里云...
ResetSystem-重置系统
如果您有恢复服务器数据的需求，可以使用当前服务器对应的快照回滚磁盘数据。非中国内地地域不支持 Windows Server 系统和 Linux 系统互相切换，即 Windows 系统的自定义镜像无法重置 Linux 服务器；Linux 系统的自定义镜像无法重置 ...
CLUSTER_SAMPLE
命令格式 boolean cluster_sample(bigint)OVER([partition_clause])boolean cluster_sample(bigint,bigint)OVER([partition_clause])命令说明 cluster_sample(bigint)：表示随机抽取N条数据。cluster_sample(bigint,bigint)：表示按比例（M...
搭建FTP服务器（Linux）
该模式相较于其他两种模式更加安全，如果您对服务器的数据有较高的安全性要求，建议在相关专业人员的指导下，自行配置该模式。本文主要介绍配置简单的匿名用户模式以及较为安全的本地用户模式。步骤一：准备工作 本文将使用FTP客户端工具...
Dataphin管道任务为什么抽取数据量少于来源表数据量？
概述 本文主要介绍管道任务抽取数据量少于来源表数据量的原因。详细信息 Dataphin管道任务为什么抽取数据量少于来源表数据量？原因如下：管道任务抽取之后，数据库数据发生了变化。数据库主从同步延迟，数据源配置的从库，抽取数据量和主库...
TSDB数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } 从支持OpenTSDB 协议的数据库同步抽取数据到TSDB：{"type":"job","version":"2.0","steps":[{"stepType":"opentsdb","parameter":{"endpoint":"http://localhost:4242","column...
通过向导模式配置离线同步任务
增量同步过滤条件的语法与数据库语法基本一致，同步时，离线同步将拼接为完整SQL向对应数据源抽取数据。当不配置数据过滤条件时，默认同步该表全量数据。关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务...
配置同步任务
并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的记录数超过多少条则任务中止。默认为0条，即不允许出错。配置同步任务的调度参数，详情请参见 调度配置。保存、提交和发布同步任务：单击页面上方的 图标，保存...
FineBI
数据准备标签下没有抽取数据和实时数据的选项 处理方法：FineBI官网提供的版本不包含直连引擎，需要联系FineBI技术支持获取对应版本。更多详情，请参见 处理方法。数据库与BI数据不同步 处理方法：更多详情，请参见 数据库与 BI 数据不同步...
抽奖轮播图
图表样式 抽奖轮播图用于模拟轮播随机抽取奖品的组件。样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标，可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索配置项。尺寸：...
抽奖轮播图
图表样式 抽奖轮播图用于模拟轮播随机抽取奖品的组件。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产配置。图表尺寸...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
Oracle数据源
Oracle Reader根据您配置的信息并发抽取数据，则不能严格保证数据一致性。当Oracle Reader根据 splitPk 进行数据切分后，会先后启动多个并发任务完成数据同步。多个并发任务相互之间不属于同一个读事务，同时多个并发任务存在时间间隔。...
数据集拆分
其他参数 参数名 参数描述 是否必填 参数默认值 参数范围 拆分方式 随机拆分：就是根据指定的拆分比例随机抽取样本形成一个数据集，剩下的样本形成另一个数据集；前后拆分：就是根据指定的拆分比例将样本前面的指定部分形成一个数据集，...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
创建恢复任务
在服务器被勒索病毒入侵前，已为该服务器创建勒索防护策略，且该策略正常运行已完成了服务器数据的备份，即该服务器有可恢复的备份数据。查看服务器是否有可恢复的备份数据 登录云安全中心控制台。在控制台左上角，选择需防护资产所在的...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
CDH Hive数据抽样采集器
您可以通过DataWorks的数据抽样采集器功能，从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则，那么在数据地图表详情页面进行数据预览时，命中的敏感字段将会被脱敏。本文为您介绍...
组件参考：所有组件汇总
条件随机场 条件随机场CRF（conditional random field）是给定一组输入随机变量条件下，另一组输出随机变量条件的概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。文章相似度 文章相似度是在字符串相似度的基础上，基于词，...
常见问题
在一台物理主机数据库服务器上有单实例Oracle数据库，在向阿里云做迁移时，应该选择整台服务器（包含操作系统、数据库）迁移，还是选择数据库迁移（仅迁移数据库）？两种方式都有哪些利弊？增量迁移生成的镜像是启动迁移任务开始时还是结束...
快速入门
入湖模板需要指定抽取数据的具体位置。指定RAM角色，数据湖构建服务所代理的角色，默认为AliyunDLFWorkFlowDefaultRole。选择运行抽取任务所需的资源，并指定任务运行方式。详细操作请参见 入湖模板。创建数据湖的元数据 添加元数据库 创建...
数据迁移方案概览
使用场景 相关操作 将本地数据库迁移到云数据库 SQL Server实例级别迁移上云 自建SQL Server迁移至RDS SQL Server 自建SQL Server通过物理网关迁移上云（自建数据库所在服务器有公网访问条件）自建SQL Server通过堡垒机架构的物理网关迁移...
概述
数据源 用户从数据源抽取数据到注册的数据湖位置，数据湖构建支持多种形式的数据源，目前RDS MySQL已对外开放。参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前支持RDS MySQL 用户名 连接MySQL数据库的用户名 密码 连接MySQL数据...
创建防护策略
云安全中心防勒索功能通过创建服务器数据备份，在服务器数据被勒索病毒感染后，可以快速恢复数据，降低勒索病毒对业务产生的影响。本文介绍如何为服务器创建数据备份防护策略。数据备份说明 云安全中心会将防护策略中设置的备份路径下的...
DB2数据源
上述是在DB2 Reader单线程模型下数据同步一致性的特性，DB2 Reader可以根据您配置信息并发抽取数据，因此不能严格保证数据的一致性。DB2 Reader根据 splitPk 切分数据后，会先后启动多个并发任务完成数据同步。多个并发任务不属于同一个读...
SQL Server数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据集成和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 对于您配置的 table、...
DataX
数据源筛选SQL 从数据源中抽取数据的SQL语句。当节点执行SQL时会自动解析SQL查询的列名，并将其映射为目标表的同步列名。当源表和目标表的列名不一致时，可以通过使用列别名（AS）来进行转换。目标源类型 选择同步数据的数据源类型。目标源...
作业开发入门概述
在实际业务中，ODS层会从数据源抽取数据。为了确保新用户能够轻松完成入门教程，本教程中将向ODS层写入测试数据。DWD：数据明细层，对ODS层数据进行清洗、过滤等处理。本教程以过滤为例。ADS：数据应用层，面向业务进行数据分析、生产报表...
配置PolarDB-X（原DRDS）输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值：抽取对应的数据，例如 ds=20211111。配置变量参数：抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
配置PolarDB-X（原DRDS）输入组件
输入过滤 配置抽取数据的筛选条件。详细配置说明如下：配置固定值：抽取对应的数据，例如 ds=20211111。配置变量参数：抽取某一部分数据，例如 ds=${bizdate}。输出字段 输出字段区域展示了已选中表及筛选条件命中的所有字段。如果不需要将...
实例介绍
离线抽取数据的业务场景。计费方式 PolarDB-X 1.0计算资源只读实例 提供多种规格配置的按量付费，计费周期为1小时，不足1小时按1小时计算，计费详情请参见 只读实例定价说明。说明 关于只读实例欠费后的服务可用性，请参见 欠费预警/停机...
主备方案介绍
使用场景 主备双活：大数据量随机读响应有高要求（P999小于50ms）的实时在线业务，例如用户推荐，安全风控等。主备容灾：当云数据库HBase实例因不可预料的原因（例如设备故障、机房断电断网等）发生故障，容灾机制可用于保障数据的一致性和...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
服务器迁移中问题
迁移带有数据盘的Linux服务器后，启动实例时默认不挂载数据盘。您可以在启动ECS实例后运行 ls/dev/vd*命令查看数据盘设备，根据实际需要手动挂载，并编辑/etc/fstab 配置开机自动挂载。迁移Linux服务器后，根据该自定义镜像创建的实例为何...
最佳实践概览
迁移服务器 如果您有轻量应用服务器之间的数据迁移需求、ECS实例数据迁移至轻量应用服务器的需求或者 轻量应用服务器数据迁移至ECS实例等迁移需求，可以参见以下最佳实践进行数据迁移。迁移场景 说明 轻量应用服务器之间的数据迁移 如果您...
迁移Linux服务器后，启动实例后发现原数据盘目录下...
本文主要介绍使用SMC迁移Linux...问题原因 迁移带有数据盘的Linux服务器后，启动实例时默认不挂载数据盘。解决方案 您可以在启动ECS实例后运行 ls/dev/vd*命令查看数据盘设备，根据实际需要手动挂载，并编辑/etc/fstab 配置开机自动挂载。
MongoDB 4.2
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
通过自定义模型识别
本次模型训练将从您选的样本字段中各随机抽取不超过100条数据进行训练，并根据您的样本字段数量估算耗时。说明 模型训练时间较长，请您等待。等待过程中，您也可以关闭训练弹窗，操作其他功能，模型将在后台自动运行训练。查看模型训练结果...
- 产品推荐
- 这些文档可能帮助您