导入概述
此处的有效数据不包括由于类型转换错误等数据质量问题而被过滤的数据，数据质量问题可以参见 数据导入常见问题。MySQL和HTTP协议 StarRocks提供MySQL协议和HTTP协议两种访问协议接口来提交作业。Broker Load Broker导入，即通过部署的...
常见问题
迁移至企业版 V3后，免费存储原企业版 V1近30天的SQL明细数据，超过该时长的数据会被删除。迁移后新增的SQL明细数据，按照企业版 V3进行收费。登录 DAS控制台。在左侧导航栏，单击 版本管理。在 版本管理 页面，选择 企业版实例>统一计费 ...
表设计规范
普通字段可以被理解为数据文件的数据，而分区字段可以被理解为文件系统的目录。表的存储空间主要是普通字段占用的空间。设置分区字段时，您可以从数据管理和数据扫描方面考虑，来选择对应的字段。不具备规律、类型数量大于10000且不经常...
创建同步任务
因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
实时消费Kafka数据
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
从自建Redis迁移至MyBase Redis
当您需要将业务切换至目标实例时，请务必先结束或释放该任务，避免该任务被自动恢复后，导致源端数据覆盖目标实例的数据。源库单机版Redis迁移到目标库集群版Redis的操作限制：由于集群cluster只允许单个命令操作单个slot，若在源库执行多...
通过脚本模式配置离线同步任务
因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数...
通过向导模式配置离线同步任务
因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。您可以在同步任务配置时，控制同步过程中是否允许脏数据产生，并且支持控制脏数据条数...
数据脱敏
水印功能具有以下特点：安全性：数据水印不会因为数据改动而导致水印信息丢失，保障数据水印被准确鉴别。透明性：在原始数据中嵌入水印标记信息且不易被察觉，不影响原数据使用。可检测性：可以从数据片段中提取水印信息，进行数据溯源，...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
数据查询与分析管控
您可通过 管控数据源的查询权限 功能，对其他用户或角色进行授权，授权时应注意：成员或角色被授权数据源查询权限后，将获得与数据源访问身份同样的权限。为保障数据的安全性（特别是生产数据），建议您合理规划后谨慎分配权限。标准模式...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
当源端删除其中一条数据时，由于匹配条件是 where c1=1 and c2=2，会导致目标端的两条 c1=1 和 c2=2 的数据均被删除，导致源端和目标端的数据不一致。对于 tsvector 类型字段的迁移，如果涉及反向增量至 RDS PostgreSQL 实例，在 OceanBase...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可...被写入数据不经过协调节点，而是直接通过计算节点写入，较大幅度提升写入吞吐。相较于SQL写入（UPSERT或UPDATE）方式，具有更高的性能。写入过程对Master几乎不产生负载。
迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明 数据迁移在某些场景...
数据安全治理的必要性
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
pg_profile
注意事项 采集数据需要使用到 pg_stat_statements 和 pg_stat_kcache 插件，请确保它们已被加到被采样数据库的 shared_preload_libraries 参数中（默认加载）。被采样的数据库中必须创建 pg_stat_statements 插件，可选创建 pg_stat_kcache...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
客户案例
数据源一次性管理，不需要重复劳动，可被多种数据服务需求使用游戏业务拥有上百个数据源。整体技术下沉，使得资源调度等都不需要自己耗费精力和"额外"的coding，而实现专注于管理开发。迁移完成后，飞天大数据平台覆盖数据采集>存储&计算>...
pg_database
这用于跟踪数据库是否需要被清理，以便组织事务ID回环或者允许 pg_xact 被收缩。它是此数据库中所有表的 pg_class.relfrozenxid 值的最小值。datminmxid xid 在此之前的所有多事务ID在数据库中已经被替换为一个事务ID。这用于跟踪数据库...
MapReduce
Shuffle>分配Reduce：在Shuffle阶段后期，数据被发送到Reduce端。Reduce Worker收到数据后依赖Key值再次对数据排序。Reduce阶段：每个Reduce Worker对数据进行处理时，采用与Combiner相同的逻辑，将Key值（Word值）相同的Count累加，得到...
数据源权限管理
如果一个数据源仅被分享给自己，该数据源为私有模式，仅自己可以查看和使用该数据源。其他人即使具备数据源的控制权限，也无法查看该数据源。哪些用户能够收回数据源的分享权限？具备数据源权限管理权限的用户，能够在数据源 权限管理 的...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
SQL 条件过滤数据
完成设置后，只有满足过滤条件的数据才会被迁移或同步至目标数据库。该功能适用于数据的定期同步或迁移、拆分数据表、过滤历史数据和脏数据等多种应用场景。使用限制 通过 SQL 条件过滤数据时，仅支持过滤当前表的字段，不支持跨表过滤。...
管理数据分级
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 新建数据分级 对话框。在 新建数据分级 对话框，配置...说明 如果数据分级已被识别规则引用，则该数据分级不支持删除。
管理数据分级
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 新建数据分级 对话框。在 新建数据分级 对话框，配置...说明 如果数据分级已被识别规则引用，则该数据分级不支持删除。
数据下载配置
是否支持下载 默认开启，开启后该项目数据结果可被下载；若关闭，则该项目数据结果不可被下载。是否需要审批 当是否需要审批 开启 时，需选择审批模板，支持 项目管理员审批、板块管理员审批、安全管理员审批，您也可以自定义审批模板，...
数据下载配置
是否支持下载 默认开启，开启后该项目数据结果可被下载；若关闭，则该项目数据结果不可被下载。是否需要审批 当是否需要审批 开启 时，需选择审批模板，支持 项目管理员审批、板块管理员审批、安全管理员审批，您也可以自定义审批模板，...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
新建数据字典
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
批量添加数据源
例如，如果您选择了杭州作为目标地域，那么您的数据库将被备份在杭州地域。MySQL 数据库引擎，当前仅支持MySQL。account 数据库账号。说明 待添加数据库的账号，且该账号需要具备部分权限，详情请参见 账号权限说明。若您在添加数据源后，...
数据页面管理
移动数据到分组 被移动的数据将会展示在指定的数据分组列表中。编辑分组 单击某个创建完成的分组列表右侧的 图标，即可在左侧名称对话框中自定义修改分组的名称，完成命名后单击空白处即可完成分组的名称修改。删除分组 单击某个创建完成的...
数据页面管理
移动数据到分组 被移动的数据将会展示在指定的数据分组列表中。编辑分组 单击某个创建完成的分组列表右侧的 图标，即可在左侧名称对话框中自定义修改分组的名称，完成命名后单击空白处即可完成分组的名称修改。删除分组 单击某个创建完成的...
创建达梦（DM）数据源
背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...
创建达梦（DM）数据源
背景信息 达梦（DM）属于OLTP类型数据库，被集成在业务系统中。达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据update更新目标表已有数据行，在目标表存在多个数据约束的情况下，数据替换可能会失败并产生脏数据 如果写出数据和目标存储已有...
- 产品推荐
- 这些文档可能帮助您