给大数据工程师的运维修炼手册
大数据在这个互联网时代的重要意义,已经无需再多赘述。阿里、腾讯、美团等几乎你听过名字的公司,都有自己的大数据平台。
过去我们都关注大数据开发,随着大数据平台的逐渐完善,如何保障数据的安全、高效,如何保证系统架构的平稳运行,都成为各数据平台的“心病”。
于是,大数据运维这个岗位一跃成为大数据领域的热词。很多公司会让开发来兼大数据运维的工作,这对开发人员来说也是不小的挑战。
相比大数据开发,大数据运维方向需要更多的经验积累,比如什么架构才能支撑这个数据量、什么资源配置才能满足分析需求,这需要你实际接触过、操作过才能给出答案,而不是靠理论或者猜测。
专栏共七大模块, 26 个课时,引用大量大数据运维的实战案例,来讲述大数据平台的架构设计与部署、大数据平台的监控告警、性能调优,涵盖了大数据运维工作的全方位技能点。
模块一:Hadoop 大数据平台的规划与部署,主要讲解 Hadoop 大数据平台的搭建与基础配置;
模块二:Hadoop 分布式架构解析,主要讲解分布式文件系统 HDFS 和分布式资源管理器 Yarn 的运行机制以及内部实现细节;
模块三:Hadoop 外围应用整合实战,主要讲解大数据平台下如何整合一些外围应用,主要是 Spark、Flink 与 Yarn 的整合应用,以及 HBase 集群的部署;
模块四:Hadoop 大数据平台数据收集应用实践,主要讲解数据收集方法以及如何实现快速查询,Filebeat 、 Logstash、Elasticsearch ;
模块五:大数据平台日志传输与可视化应用实践,主要讲解海量数据环境中如何实现数据的实时传输,并实现可视化展示 ;
模块六:大数据平台运维监控体系的构建,主要讲解如何对大数据平台下每个组件的运行状态、服务状态进行监控;
模块七:大数据平台性能调优与运维经验汇总,主要讲解大数据运维中常见的故障处理方法、集群扩缩容、集群调度策略选型等。