菜鸟教程

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。

闲扯

本序列课程主要和大家一起探讨在瞬息万变的互联网大背景下，面对海量数据、高并发、5个9/6个9的稳定性要求等一序列苛刻条件下，如何构建出一个可以既满足业务的快速迭代需求，又稳定高效的互联网系统架构及其设计实践方案。 本课程由技术栈的选型开始引入主题，结合相应的业务，并且考虑相关配合团队的水平、人员组成情况等一序列的因素，主要从选型比较、解决重点/难点问题、实现策略、实施方案的优势优点、成本对比、实施过程的经验教训、实施案例及其感想、后期的改进与维护升级等具体的方面进行一个完整的陈述。 具体技术方面，本课程主要讲述以自我实现与二次开发为主，包括但不局限于：Java的IOC、ORM，Restful等框架、JOB调度系统、ID生成器、HTTP服务器、DFS分布式文件系统、缓存与存储系统、分布式协调器、配置服务、通讯协议、大数据分析等。 最后我们将讨论这些系统是如何与业务有机的结合案例与当时如此实施的指导思想，并且大家一起探讨实施过程中如何对于项目实现“快速响应”的控制。 整套课程大体上分为三个部分： 1. 以业务为基础的技术栈开发与选择，这部分以Java为基础，开发各种框架； 2. 高性能中间件的设计实现与在业务中的应用，这部分以c为基础，开发各种高性能中间件； 3. 总结陈述：讨论人、团队、业务、架构、系统、Bug之间的关系，我们整套设计的初衷与指导思想。