管理离线数据归档
所有离线数据存储的月费用为：0.2*(1+2/5)=0.28 元。开启归档 说明 已归档数据也支持导出。具体操作，请参见 导出数据表。登录 物联网平台控制台。在 实例概览 页面，找到对应的企业版实例，单击实例进入 实例详情 页面。在左侧导航栏，...
数据源
如果您选择将离线数据储存在自有的MaxCompute项目中，代表将AIRec算法训练所需的离线数据存储在您的MaxCompute账户中，需要您保证这部分离线数据的稳定性、并具备运维这些数据的能力。注意：对于产出的所有离线数据不要进行高危操作（增加...
通过历史数据启动实例
V 配置离线存储 开通离线存储，代表将智能推荐服务训练所需的离线数据存储部署在您的企业账户的MaxCompute中，需要您保证这部分离线数据的稳定性、并具备运维这些数据的能力。实例启动成功后，可以在控制台-离线存储功能 处，查看离线存储...
离线数据存储概述
您可以使用物联网平台提供的离线数据存储功能，查看您设备基本情况和上报的设备物模型数据。离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据，具体操作，请参见 ...
上线离线数据同步任务
前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工...
上线离线数据同步任务
前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
查看离线数据同步任务监控
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
查看离线数据同步任务监控
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将...
查看离线同步实例详情
离线同步实例是由离线数据同步时发起的任务实例，运维监控支持查看离线同步任务实例的详情，包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤...
添加任务目录
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标，选择 添加子级目录，为根目录添加子目录。在 类目属性设置 对话框，输入类目名称和类目描述，单击 确定。（可选）在左侧导航栏，单击 离线数据同步，将鼠标悬停在新建...
创建MySQL to MaxCompute离线同步周期任务
在 离线数据同步 管理 页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_d”。在 源端配置 区域，选择数据源为“MySQL/dataq_dws_rds”，数据表选择为“ys_yhkh（未上云）”。在 源端配置 区域，选择目标端...
配置离线数据集成节点
离线数据集成节点赋予任务流进行数据传输的能力，帮助您实现数据源之间的数据同步。本文介绍配置离线数据集成节点的方法。应用场景 离线集成节点主要用于数据迁移、数据传输等场景。功能特性 不限制来源表和目标表数据库类型。支持字段映射...
数据加工过程卡点校验
您可以通过培训等方式，将离线数据的诉求、离线数据的加工过程、数据产品的应用方式告知在线业务开发人员，使其了解数据的重要性、价值及风险。确保在线开发人员在完成业务目标时，也要考虑数据的目标，做到业务端和数据端一致。离线系统卡...
某手游开发公司在离线一体分析方案
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
车联网数据存储处理方案
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
数据集成
离线同步任务 场景介绍 离线数据同步支持 源端单表同步至目标端单表、源端分库分表同步至目标端单表 两类同步场景。同时，结合DataWorks调度参数，可实现增量数据和全量数据周期性写入目标表的对应分区；再配合运维中心的补数据功能，可...
购买指引-全托管
基础功能和增值功能 智能研发版（离线&实时）基础研发版（离线&实时）敏捷研发版（离线）基础功能 离线数据集成 支持 支持 支持 离线编码研发 支持 支持 支持 实时编码研发 支持 支持 不支持 规范建模 支持 不支持 不支持 资产全景及目录 ...
增量数据同步
在 离线数据同步 页面，单击 新增任务，在 离线数据同步 管理页面，配置离线同步周期任务。填写基本信息，任务名称“信用卡客户数据上云_增量”。在 源端配置 区域，配置数据源端。参数 说明 示例 数据源 必选项，数据来源端的数据源类型...
备份集查询功能概览
搭建离线数据仓库：您可以将DBS备份数据作为数据湖存储，搭建离线数据仓库，实现湖仓一体，挖掘数据价值。应对审计需求：全量备份数据保存在DBS中，若有临时审计需求，可以快速过滤出需要的数据进行审计分析。快速定位数据：库-表-分区的新...
数据同步
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
功能简介
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路。提供全量任务自动建表、同名字段自动映射、任务调度配置功能。支持对离线任务实例的运行属性和运行日志...
功能简介
离线数据同步 支持单表离线任务、批量离线任务的新建。支持自定义选择已经注册的数据源端数据和目标端，支持多种常见离线同步链路，如PostGIS、Ganos、超图SDX和ArcGIS SDE的空间数据同步到PostGIS和Ganos中（邀测中）。提供全量任务自动建...
方案背景
通过Spark实现实时数据和离线数据处理并将聚合结果保存到表格存储的数据表中。实时流计算通过Spark Structured Streaming实时统计一个窗口周期内订单数量和订单金额的聚合结果。离线批计算通过Spark SQL离线聚合原始订单数据的总金额和用户...
互联网、电商行业离线大数据分析
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
存储类型
本地HDD盘 10ms~300ms 互联网行业、金融行业等有大数据计算与存储分析需求的行业，进行海量数据存储和离线计算的业务场景。宽表引擎、时序引擎、搜索引擎、文件引擎 说明 购买实例时，如果 存储类型 选择 本地HDD盘，仅支持选择 本盘节点...
购买指引
产品版本 入门版 标准版 高级版 版本选择建议 小型数据团队 中小型数据团队 中型数据团队 功能规格 数据同步 离线数据同步 离线数据同步 实时数据同步 配置化数据同步 离线数据同步 实时数据同步 配置化数据同步 多引擎数据计算任务编排 ...
导入MongoDB数据
本文介绍通过DataWorks将MongoDB的离线数据迁移至Lindorm宽表。背景信息 有关大数据开发治理平台DataWorks，具体请参见 什么是DataWorks。注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，...
使用DataWorks
如果您需要导出多张表数据，需要创建多个离线数据同步节点。操作流程 通过数据集成导出MaxCompute数据的流程如下：添加MaxCompute数据源 将MaxCompute数据源添加至DataWorks的数据源列表。添加目标数据源 将目标数据源添加至DataWorks的...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
大数据用户画像解决方案
实时增量归档：通过LTS(Lindorm Tunnel Service)可以实时归档数据到离线存储 4.Bulkload技术：LSM技术架构使其具备高效、低影响的数据加载能力 5.动态列：很好的满足用户画像结构变化频繁的业务特点 6.多维度&复杂查询：原生全局二级索引、...
数据同步
创建离线同步任务，具体步骤如下：将鼠标移动到左侧导航栏中的 离线数据同步 上，单击 图标。单击 新增任务。输入 任务名称，本次快速入门教程的示例名称为 信用卡客户数据上云_d。在 数据源配置 区域，数据源 选择 ADB for Postgre>adbpg_...
概述
同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、集群扩展、安全等问题，可以极大地减少管理成本。大数据分析 如果您的业务采用MySQL数据库，...
数据风险点监控
本文为您介绍在线数据风险点监控和离线数据风险点监控。在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请...
云原生多模数据库 Lindorm助力数禾科技业务系统实现...
技术亮点：高性能&低成本解决方案、基于LTS主备集群数据实时同步、Bulkload离线数据加载。客户感言 从我们看中lindorm容量型存储低廉的价格决定采用阿里云Lindorm产品作为我们eventhub流批一体特征平台的底层数据库服务，阿里云Lindorm专家...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的...历史离线数据存放于MaxCompute，实时分析数据存放于交互式分析。基于阿里云Quick BI或第三方数据分析工具（如Tableau）执行数据可视化，以及构建各业务板块数据服务门户应用。
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
通过向导模式配置离线同步任务
通常，网卡流量是通道流量膨胀的1至2倍，实际流量膨胀取决于具体的数据存储系统传输序列化情况。错误记录数控制（脏数据控制）用于定义脏数据阈值，及对任务的影响。重要 当脏数据过多时，会影响同步任务的整体同步速度。不配置时默认允许...
计费概述
通过本文您可以了解表格存储的计费模式、...按量模式和资源包 计量计费项 资源包介绍 批量离线任务 每天存在定时低频但海量的数据离线读写。按量模式和资源包 计量计费项 资源包介绍 业务测试 前期测试产品搭建测试环境。按量模式 计量计费项
离线同步写入MongoDB数据
准备示例数据表 本实践需准备一个MongoDB数据集合、一个MaxCompute表，用于后续进行离线数据同步。准备MaxCompute表并构造表数据。创建一个名称为 test_write_mongo 的分区表，分区字段为 pt。CREATE TABLE IF NOT EXISTS test_write_mongo...
新建离线自定义源类型
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如Mysql、...
- 产品推荐
- 这些文档可能帮助您