COMP5339课程(数据工程)涵盖了构建强大且可扩展的数据处理管道的数据工程问题。虽然数据工程师可能不直接执行数据分析，但他们必须具备技术知识和技能，以便为数据分析师提供适当的数据分析架构，并为他们提供可靠且格式良好的可供分析的数据。
课程辅导涵盖的主题包括从各种来源(包括数据库、文本文件和 Web 服务)获取数据，到数据清理和数据转换方法，以及允许管道高效自动运行的系统架构。特别考虑使用多种大数据处理技术(包括数据流处理和分布式数据处理平台(如 Apache Spark))构建可扩展的数据分析解决方案。
一、辅导成果
完成本单元后，您应该能够：
LO1 . 使用适当的 Python 库来自动化各种数据的数据工程活动。
LO2 . 使用 Unix 命令行管理和自动化数据工程活动。
LO3 . 从各种数据模型中获取、组合和汇总数据。
LO4 . 具有处理各种数据集的经验，包括关系型、半结构化、时间序列、地理位置、图像、文本。
LO5 .了解数据工程的主要挑战：数据量、多样性、速度、准确性、稳健性、安全性。
LO6 . 在处理数据时表现出对道德和隐私问题的认识。
LO7 .评估存储和处理数据的方法的正确性、效率和易用性。
二、辅导重点
1.数据库设计与管理
数据库设计与管理是数据工程的核心内容之一。学生需要掌握关系型数据库(如MySQL、PostgreSQL)的设计原理和操作方法，包括数据建模、规范化、SQL查询等。此外，还会介绍非关系型数据库(如MongoDB、Cassandra)，以应对不同类型的数据存储需求。课程中会通过实际项目练习，帮助学生理解如何优化数据库性能和确保数据完整性。
2.数据处理与ETL流程
数据处理与ETL(提取、转换、加载)流程是数据工程的重要组成部分。学生需要学习如何从多个数据源提取数据、进行清洗和转换，最终加载到数据仓库或数据湖中。课程会涵盖使用工具如Apache NiFi、Talend和自定义Python脚本来实现ETL过程，同时强调数据质量和一致性的重要性。通过实践项目，学生将能够设计和实施高效的ETL管道。
3.大数据技术与架构
随着数据量的增加，大数据技术成为数据工程师必须掌握的技能。课程将介绍大数据生态系统中的关键技术和工具，如Hadoop、Spark、Kafka等。学生需要了解这些工具的工作原理及其在大数据处理中的应用场景。通过实验和项目，学生将学习如何搭建和管理大数据集群，并优化其性能以处理海量数据。
4.云计算与数据工程
云计算已经成为数据工程的重要支撑技术。课程将讲解主流云服务提供商(如AWS、Azure、Google Cloud)的数据工程解决方案，包括云存储、云数据库、数据流水线和分析工具。学生需要学习如何在云环境中部署和管理数据工程项目，确保其可扩展性、安全性和成本效益。通过实战操作，学生将能熟练运用云计算资源来处理和分析数据。
5.数据可视化与报告
数据可视化和报告是数据工程的最后一环，帮助决策者理解和利用数据。课程将介绍常用的数据可视化工具和技术，如Tableau、Power BI、D3.js等。学生需要掌握如何设计清晰且具有洞察力的图表和报告，并能够根据不同的受众需求调整展示方式。通过实际案例和项目练习，学生将提升数据可视化和报告制作的能力。
海师帮专业课程辅导
1.拥有4000+严选硕博学霸师资。针对学生的薄弱科目和学校教学进度，匹配背景相符的导师。
2.根据学生情况进行1V1专属备课，上课时间灵活安排。
3.中英双语详细讲解课程中的考点、难点问题，并提供多方位的课后辅导，辅助学生掌握全部课程知识，补足短板。
