2023年
本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。在本地环境上使用PyODPS 2023-09-01 新增Lambda函数 新说明 Lambda是一种匿名函数，不需要命名，可以作为参数传递给其他函数或方法。本文介绍Lambda函数的使用...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
备份大小
本文介绍如何查看和管理云数据库专属集群MyBase MySQL的备份大小。备份大小=数据备份的大小+日志备份的大小 查看备份大小 登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在左侧导航栏中，选择 实例列表>MySQL。找到目标实例，...
备份与恢复
克隆实例 通过克隆实例的功能，您可以根据备份文件克隆出一个新的包年包月或者按量付费实例，复杂的数据库开发部署操作采用一键式的图形化界面搞定，极大的提高了工作效率。登录 Memcache 管理控制台，定位目标实例。单击实例 ID 或者管理...
DMS支持的数据库
MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库的具体操作，...
使用DMS数据追踪进行恢复
库名 指定数据库实例上某个具体数据库（需要在DMS内有数据库的操作权限，输入库名前缀后可出现联想提示）。表名 在指定的目标表中进行检索，支持添加多张表。追踪类型 支持多选，可按需选中检索的操作。插入：插入类型的回滚语句为 DELETE...
查询备份数据
本文介绍在DMS控制台查询RDS MySQL备份数据的操作步骤。前提条件 RDS实例需满足以下条件：MySQL数据库版本：8.0（包含Serverless实例）、5.7 存储类型：云盘版 说明 您可以前往实例基本信息页面查看以上信息。实例规格为 通用规格。实例...
功能特性
审计配置 审计规则 支持对数据库日志、OSS日志以及MaxComputer日志进行安全审计，内置异常操作、数据泄露、SQL注入、漏洞攻击4大类共计超过900种高危操作规则，支持管理员自定义规则及风险等级。审计规则 审计告警 支持对低、中、高危操作...
什么是DataWorks
中国国际大数据产业博览会十佳大数据案例 中国信通院：数据集成工具、数据管理工具、数据开发平台、数据脱敏工具、数据分类分级等评测 学习路径 您可以通过DataWorks文档首页的 学习路径，快速了解DataWorks的相关概念、基础操作及进阶操作...
SQL处理优化
为了方便用户操作Transactional Table 2.0，MaxCompute计算引擎对SQL全套的数据查询DQL语法和数据操作DML语法进行了支持，并且SQL引擎内核模块包括Compiler、Optimizer、Runtime等都做了专门适配开发以支持相关功能和优化。本文为您介绍...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
重新配置数据同步作业
注意事项 执行该操作后，将造成下述影响，请谨慎操作：数据同步作业将停止同步数据，即不再将源库的增量数据变更和结构变更同步至目标库。数据同步作业的配置（含监控报警策略）信息将被清空，并转变为 未配置 状态。操作步骤 登录 数据...
新建数据源
相关操作 在数据源添加成功后，在 数据源管理 页面，可对数据源进行以下操作：操作 说明 查看数据源详情 在数据源列表，单击目标数据源 操作 列的 更多，选择 查看详情，查看数据源的基本信息和数据对象的表结构信息。编辑数据源 在数据源...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
查看数据导出记录
前提条件 已进行数据导出操作，具体操作，请参见 相关操作-导出数据。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在页面右上角，单击 图标，选择 我的数据导出。在 我的数据导出 页面，即可查看数据导出记录。...
管理数据架构待发布对象
数据架构对象信息：包括对象ID、发布状态/完成时间、对象类型、变更、最近提交人/时间、环境变更。操作：支持查看数据架构对象的版本信息及发布该对象。查看数据架构版本详情：单击 可查看该对象的版本信息。对比详情会根据变更情况有所...
管理数据架构待发布对象
数据架构对象信息：包括对象ID、发布状态/完成时间、对象类型、变更、最近提交人/时间、环境变更。操作：支持查看数据架构对象的版本信息及发布该对象。查看数据架构版本详情：单击 可查看该对象的版本信息。对比详情会根据变更情况有所...
数据处理
操作步骤 数据导入。进入GDB Automl。在页面顶端，单击 数据，选择数据导入方式。说明 目前版本支持从图数据库GDB导入数据、从文件中导入（包括从CSV文件和压缩包文件）、从数据库SQL表导入。数据解析。数据导入后，GDB Automl提供数据解析...
跨账号授权配置
AnalyticDB for PostgreSQL：具体操作，请参见 创建AnalyticDB for PostgreSQL数据源 AnalyticDB for MySQL：具体操作，请参见 创建AnalyticDB for MySQL3.0数据源 数据源为RDS、Hive或Kafka 数据源实例所属云账号操作 登录 RAM 访问控制-...
SQL查询
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
探查数据集
数据列表的操作，请参考以下步骤。在列表上方的统计数据部分，查看每个字段的 唯一值个数。单击 或，查看 高价值数据 和 统计数据。可选，单击复选框，选择不同的字段。可选，单击，选择当前字段的排序方式。可选，单击，在当前字段中筛选...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
创建GreenPlum数据源
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
必读：简单模式和标准模式的区别
绑定后不同工作空间模式下，DataWorks模块对应操作的数据源如下表所示：DataWorks模块 标准模式 简单模式 数据开发 操作开发环境数据源（实例，项目、数据库）操作生产环境数据源（实例，项目、数据库）运维中心 开发环境运维中心：操作...
生成测试数据
背景信息 OceanBase 开发者中心（OceanBase Developer Center，ODC）提供模拟数据功能供用户在测试数据库性能或者验证功能等需要大量模拟数据的场景下，能够快速根据表中的字段类型生成数据。注意事项 单次模拟数据上限为 1 亿行。拥有检查...
操作流程
流程图 流程说明 操作 说明 添加数据 添加矢量数据 添加矢量类数据，具体操作，请参见 添加矢量数据。添加栅格数据 添加栅格类空间数据，具体操作，请参见 添加栅格数据。添加倾斜摄影数据 添加倾斜摄影类数据。具体操作，请参见 添加倾斜...
批量操作数据同步项目
数据同步项目的状态 支持的批量操作 未配置 无 未启动 批量启动、批量修改告警配置 运行中 批量暂停、批量修改告警配置 修改中 批量修改告警配置 合并中 批量修改告警配置 已暂停 批量恢复、批量结束、批量修改告警配置 失败 批量恢复、...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
表设计最佳实践
拉链表的设计 在数据仓库的数据模型设计过程中，经常会遇到如下需求：数据量较大。表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单...
租户实例常见操作
数据库管理 在左侧导航栏单击 数据库管理，进入数据库管理页面，您可在数据库列表中查看 数据库名称、字符集、状态、已使用磁盘、绑定账号 等信息，具体操作参见 数据库管理。账号管理 在左侧导航栏单击 账号管理，进入账号管理页面，可...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
管理数据库档案
其他操作 测试数据库档案连接：在 数据库管理 页面，单击目标数据库档案 操作 列下的 测试，系统会自动执行测试数据库连接操作，待测试结束，测试结果将会显示在页面上。删除数据库档案：在 数据库管理 页面，单击目标数据库档案 操作 列下...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
DMS数据可视化
背景信息 DMS是阿里云提供的图形化数据管理工具，可用于管理关系型数据库和NoSQL数据库，支持数据管理、SQL操作、数据方案（数据导入/导出、数据库克隆等）、性能与优化、安全审计等功能。您可以使用DMS实现易用的数据库管理，在线进行库、...
MongoDB 7.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
- 产品推荐
- 这些文档可能帮助您