查看并管理手动实例
手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理，包括查看运行日志、查看手动任务、查看节点代码等。手动实例入口 请参见 运维中心入口，进入 运维 中心。在 运维 中心页面，单击左侧导航栏 手动实例，进入手动...
V$INSTANCE
HOST_NAME character varying(16)运行数据库实例的服务器主机名。VERSION character varying(17)数据库的版本号。STARTUP_TIME date 实例最后一次启动的时间。STATUS character varying(12)实例当前的状态。例如"OPEN"、"MOUNTED"、...
查看并管理手动实例
手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理，包括查看运行日志、查看手动任务、查看节点代码等。手动实例入口 请参见 运维中心入口，进入 运维 中心。在 运维 中心页面，单击左侧导航栏 手动实例，进入手动...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
Kafka增量数据同步至MaxCompute
创建数据源 准备用于运行数据同步任务的工作空间与数据集成资源组，操作详情请参见 新增和使用独享数据集成资源组。本实践下文以一个标准模式的工作空间使用独享数据集成资源组为例，为您示例操作详情。新建Kafka数据源，并完成Kafka数据源...
Kafka增量数据同步至MaxCompute
创建数据源 准备用于运行数据同步任务的工作空间与数据集成资源组，操作详情请参见 新增和使用独享数据集成资源组。本实践下文以一个标准模式的工作空间使用独享数据集成资源组为例，为您示例操作详情。新建Kafka数据源，并完成Kafka数据源...
通过操作审计查询行为事件日志
DownloadSqlResult 下载数据分析的SQL查询结果 数据分析 DownloadSheet 下载数据分析电子表格 RunTask 运行数据分析中的SQL查询命令 查看事件详情。单击目标事件的 查看事件详情，即可查看事件的事件源、事件记录、相关资源等详细信息。...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
计费方式
运行数据集成任务会产生DataWorks相关费用，此外还可能其他产品费用，具体如下：DataWorks相关收费 数据集成资源组（独享数据集成资源组计费说明：包年包月，如果使用 公共数据集成（调试）资源组：按量计费，则还包括公共数据集成资源组...
公共数据集成（调试）资源组：按量计费
计费周期与定价 该计费项以6档阶梯价的形式，按日收取您每日运行数据集成任务的线程总数所在阶梯的价格，计费标准如下表所示。地域 计费阶梯 计费周期 费用 华东1（杭州）华东2（上海）华北2（北京）华南 1（深圳）西南1（成都）华北3...
添加及管理监控对象
批量操作项 运行 可根据配置的调度或自定义分区来批量运行数据表，非分区表可选择校验全表。说明 校验范围默认对分区表和非分区表生效；批量运行时，可以选择非分区表按照全表校验，分区表仍按照配置的校验范围生效。批量运行时，建议选择...
添加及管理监控对象
批量操作项 运行 可根据配置的调度或自定义分区来批量运行数据表，非分区表可选择校验全表。说明 校验范围默认对分区表和非分区表生效；批量运行时，可以选择非分区表按照全表校验，分区表仍按照配置的校验范围生效。批量运行时，建议选择...
什么是城市视觉智能引擎
城市视觉智能引擎可以打通并连接散落在城市各个单元的视觉资源，让图像、视频帮助城市来做思考、决策和运营，从而整体提升城市运行效率。产品功能 数据接入 实现视频图像数据的接入、编转码与分片服务，支持枪机、球机等点位的实时上线或...
数据治理中心概述
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
数据模型架构规范
数据可回滚 处理逻辑不变，在不同时间多次运行数据的结果需确定不变。一致性 相同的字段在不同表中的字段名必须相同。命名清晰可理解 表命名规范需清晰、一致，表命名需易于下游的理解和使用。说明 一个模型无法满足所有的需求。需合理选择...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
全增量实时同步至Hologres
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
MySQL分库分表同步至Hologres（方案2.0）
限流：考虑到速度过高可能对数据库造成过大的压力从而影响生产，数据集成同时提供了限速选项，您可以通过限流控制同步速率，从而保护读取端数据库，避免抽取速度过大，给数据库造成太大的压力。限速最小配置为1MB/S，最高上限为30MB/s。离...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
离线同步并发和限流之间的关系
任务并发数配置最佳实践：任务并发数越大，任务运行需要抢占的资源越多，DataWorks数据集成任务的资源队列是FIFO（先进先出），即前面提交任务先抢占资源运行，后提交的任务后抢占资源运行。建议您合理配置任务并发数，避免大并发任务长...
基于AnalyticDB实现城市公交系统智能化
启迪公交基于 AnalyticDB MySQL版 和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务水平，助力“互联网+城市公交”的提升发展。业务挑战 启迪公交（北京）科技...
公交出行：启迪公交
PolarDB-X 专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...
东软案例
东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点，将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据，应用运行代码...
客户案例
同时容灾上具备任意时间，任意服务器，任意机房，任意城市出现不可抗拒因素灾难时，完全无需人工接入的无损自适应容灾，RPO=0，RTO秒，极大的减少了运营和维护 IT 基础设施的工作量，从而降低了运行和维护的成本。在平台建设期间和投产后，...
概述
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
实验介绍
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，...
快速体验
数据采集 数据加工 配置数据质量监控 数据可视化展现 目标人群 开发工程师、数据分析师、产品运营等存在数仓数据获取与数据分析洞察人员。涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
保险行业解决方案与案例
与此同时国寿数据应用全面进入实时化，通过DTS将 PolarDB PostgreSQL版（兼容Oracle）实时变化的数据同步到KAFKA平台，下游业务系统和大数据平台通过数据订阅以满足监管报送等各种场景；通过上线前完整兼容性评估，上线过程中全量SQL回归压...
在EMR集群运行TPC-DS Benchmark
阿里云E-MapReduce多次刷新TPC-DS官方最好成绩，并且是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群完整运行TPC-DS的99个SQL，并得到最佳的性能体验。背景信息 TPC-DS是全球最知名的数据管理系统评测基准标准...
功能特性
对于 Oracle 数据库，OceanBase 数据库能够支持绝大部分的 Oracle 语法和几乎全量过程性语言功能，可以做到大部分的 Oracle 业务进行少量修改后自动迁移。在多家金融行业客户和阿里巴巴内部已有多次迁移至 OceanBase 数据库的成功案例。...
捷顺
本文介绍数据库自治服务DAS助力捷顺，实现数据库运维自动化。客户简介 捷顺科技是一家智慧停车、智慧社区综合服务提供商，集研、产、销于一体，公司的产品线涵盖各类软硬件产品，包括捷停车及捷生活APP、停车场智能硬件、智能门禁、通道闸...
计费逻辑说明
计费项 计费方式 计费项说明 购买场景 使用说明 独享数据集成资源组 包年包月 独享数据集成资源组属于平台托管类型的资源组，购买后您将拥有该资源组的独立使用权，此类资源组仅用于运行数据集成任务。资源组详情请参见 独享数据集成资源组...
性能优化与诊断简介
在RDS MySQL日常运维中，您可以通过数据库自治服务DAS（Database Autonomy Service）来处理数据库故障、优化性能、提升效率、降低运维成本。DAS是一种基于机器学习和专家经验的云服务，实现数据库自感知、自修复、自优化、自运维和自安全，...
- 产品推荐
- 这些文档可能帮助您