课程概述
This unit of study provides a comprehensive overview of the internal mechanisms data science platforms and of the systems that manage large data collections. These skills are needed for successful performance tuning and to understand the scalability challenges faced by when processing Big Data. This unit builds upon the second' year DATA2001 - 'Data Science - Big Data and Data Diversity' and correspondingly assumes a sound understanding of SQL and data analysis tasks.
The first part of this subject focuses on mechanisms for large-scale data management. It provides a deep understanding of the internal components of a data management platform. Topics include: physical data organization and disk-based index structures, query processing and optimisation, and database tuning.
The second part focuses on the large-scale management of big data in a distributed architecture. Topics include: distributed and replicated databases, information retrieval, data stream processing, and web-scale data processing.
The unit will be of interest to students seeking an introduction to data management tuning, disk-based data structures and algorithms, and information retrieval. It will be valuable to those pursuing such careers as Software Engineers, Data Engineers, Database Administrators, and Big Data Platform specialists.
本研究单元全面概述了数据科学平台的内部机制和管理大型数据收集的系统。这些技能是成功调优性能和了解处理大数据时面临的可扩展性挑战所必需的。本单元以第二年 DATA2001 - '数据科学 - 大数据和数据多样性' 为基础，相应地假设对 SQL 和数据分析任务有很好的理解。
本主题的第一部分侧重于大规模数据管理机制。它提供了对数据管理平台内部组件的深刻理解。主题包括：物理数据组织和基于磁盘的索引结构、查询处理和优化以及数据库调优。
第二部分重点介绍分布式架构下大数据的大规模管理。主题包括：分布式和复制数据库、信息检索、数据流处理和网络级数据处理。
寻求介绍数据管理调整、基于磁盘的数据结构和算法以及信息检索的学生会对本单元感兴趣。对于从事软件工程师、数据工程师、数据库管理员和大数据平台专家等职业的人来说，这将是有价值的。 学习成果
1.展示使用/调整数据科学平台（如 Apache Spark）的经验
2.了解不同的物理数据组织，包括数据分区和数据复制
3.了解基于磁盘的索引结构，例如 B 树、可扩展散列和位图索引
4.了解查询处理和查询优化的原理
5.了解（分布式）数据科学平台的原理
6.了解数据分片算法和数据复制协议
7.做出有效的物理数据设计决策
8.识别性能问题并能够有效地调整（分布式）数据处理系统的性能 如有更多想要了解的相关课程或者其它需求，可以点击下方链接咨询客服，或者加我们的客服小姐姐（记得备注“知乎”享专属试听课，及套餐优惠）！ 海岸EDU旗下海岸课堂，作为专业的留学生课程辅导机构，无时差提供课业辅导，论文辅导、考前冲刺辅导等。如果，你在留学过程中产生了课业烦恼，都可以来找我们，现在点击上方客服链接咨询，备注知乎还可以领取专属新人优惠及免费试听课哦~
窥视卡
雷达卡
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜