上线离线数据同步任务
前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工...
上线离线数据同步任务
前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
查看离线数据同步任务监控
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
查看离线数据同步任务监控
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
查看离线同步实例详情
离线同步实例是由离线数据同步时发起的任务实例，运维监控支持查看离线同步任务实例的详情，包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤...
查看离线同步实例详情
离线同步实例是由离线数据同步时发起的任务实例，运维监控支持查看离线同步任务实例的详情，包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤...
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
创建MySQL to MaxCompute离线同步周期任务
在 离线数据同步 管理 页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_d”。在 源端配置 区域，选择数据源为“MySQL/dataq_dws_rds”，数据表选择为“ys_yhkh（未上云）”。在 源端配置 区域，选择目标端...
配置离线数据集成节点
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
数据加工过程卡点校验
您可以通过培训等方式，将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员，使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时，也要考虑数据的目标，做到业务端和数据端一致。离线系统卡...
进入数据质量概览（旧版）
模块 描述 我的订阅 为您展示当前登录用户名下订阅的表，所产生的离线数据和流式数据的报警、阻塞数量，以及订阅的总数。全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 ...
某手游开发公司在离线一体分析方案
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
购买指引-全托管
基础功能和增值功能 智能研发版（离线&实时）基础研发版（离线&实时）敏捷研发版（离线）基础功能 离线数据集成 支持 支持 支持 离线编码研发 支持 支持 支持 实时编码研发 支持 支持 不支持 规范建模 支持 不支持 不支持 资产全景及目录 ...
增量数据同步
在 离线数据同步 页面，单击 新增任务，在 离线数据同步 管理页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_增量”。在 源端配置 区域，配置数据源端。参数 说明 示例 数据源 必选项，数据来源端的数据源类型...
功能简介
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路。提供全量任务自动建表、同名字段自动映射、任务调度配置功能。支持对离线任务实例的运行属性和运行日志...
查看MySQL to MaxCompute离线同步任务监控
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在同步任务列表，在“信用卡客户数据上云_d”任务操作列中，单击 操作 列的 监控。在 离线同步实例 页面，默认展示最新运行的实例任务，在任务的 操作 列单击 详情，...
备份集查询功能概览
搭建离线数据仓库：您可以将DBS备份数据作为数据湖存储，搭建离线数据仓库，实现湖仓一体，挖掘数据价值。应对审计需求：全量备份数据保存在DBS中，若有临时审计需求，可以快速过滤出需要的数据进行审计分析。快速定位数据：库-表-分区的新...
数据同步
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
功能简介
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
购买指引
产品版本 入门版 标准版 高级版 版本选择建议 小型数据团队 中小型数据团队 中型数据团队 功能规格 数据同步 离线数据同步 离线数据同步 实时数据同步 配置化数据同步 离线数据同步 实时数据同步 配置化数据同步 多引擎数据计算任务编排 ...
运行MySQL to MaxCompute离线同步任务
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在同步任务列表，单击“信用卡客户数据上云_d”操作列的 上线，弹出 确定上线 提示页面，单击 确定。预期结果 在 周期任务管理 页面，“信用卡客户数据上云_d”任务的...
数据集成
离线同步任务 场景介绍 离线数据同步支持 源端单表同步至目标端单表、源端分库分表同步至目标端单表 两类同步场景。同时，结合DataWorks调度参数，可实现增量数据和全量数据周期性写入目标表的对应分区；再配合运维中心的补数据功能，可...
数据同步
创建离线同步任务，具体步骤如下：将鼠标移动到左侧导航栏中的 离线数据同步 上，单击 图标。单击 新增任务。输入 任务名称，本次快速入门教程的示例名称为 信用卡客户数据上云_d。在 数据源配置 区域，数据源 选择 ADB for Postgre>adbpg_...
导入MongoDB数据
本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请参见 什么是DataWorks。注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，...
数据风险点监控
本文为您介绍在线数据风险点监控和离线数据风险点监控。在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请...
使用DataWorks
如果您需要导出多张表数据，需要创建多个离线数据同步节点。操作流程 通过数据集成导出MaxCompute数据的流程如下：添加MaxCompute数据源 将MaxCompute数据源添加至DataWorks的数据源列表。添加目标数据源 将目标数据源添加至DataWorks的...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
新增脚本同步任务
高级配置 单击 展开高级配置，配置任务的资源规格、超时自动终止、速率，详情请参考 新增离线数据同步任务。在画布页面，输入任务脚本，单击保存图标。说明 输入脚本时，可参考画布页面右侧的脚本规范。在画布上方工具栏，单击 图标，可...
新增脚本同步任务
高级配置 单击 展开高级配置，配置任务的资源规格、超时自动终止、速率，详情请参考 新增离线数据同步任务。在画布页面，输入任务脚本，单击保存图标。说明 输入脚本时，可参考画布页面右侧的脚本规范。在画布上方工具栏，单击 图标，可...
数据传输作业：数据集成
注意事项 离线同步仅支持单表或分库分表数据离线同步至MaxCompute单表。在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute数据源，详情请参见 配置MaxCompute数据源。在配置同步任务前，您需要确保数据集成资源组...
离线同步写入MongoDB数据
本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。已开通DataWorks并绑定MaxCompute引擎。本实践使用独享数据集成资源组进行离线任务运行，因此您需先...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的...历史离线数据存放于MaxCompute，实时分析数据存放于交互式分析。基于阿里云Quick BI或第三方数据分析工具（如Tableau）执行数据可视化，以及构建各业务板块数据服务门户应用。
通过向导模式配置离线同步任务
不同插件增量同步配置与实现方式不同，关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 在数据过滤和目标表相关配置中定义的变量，当单击下一步，配置调度属性时，您可以为此处定义的变量赋值。实现增量或全量数据...
通过脚本模式配置离线同步任务
关于增量数据同步配置详情请参见：场景：配置增量数据离线同步任务。说明 具体插件是否支持增量同步，及对应增量同步的具体实现，各个插件存在差异，请以实际插件文档为准。支持增量同步相关参数的插件在配置同步任务时，若不配置数据过滤...
审计日志
自定义数据源（支持新建离线数据源和实时数据源）AddCustomDataSource 创建实时自定义数据源。UpdateCustomDataSource 更新实时自定义数据源。DeleteCustomDataSource 删除实时自定义数据源。我的权限 ApplyPrivilege 申请权限。...
- 产品推荐
- 这些文档可能帮助您