• 欢迎访问 优知学院 请加入我们的架构交流分享群优知学院-架构师进阶
  • 坚持原创分享BAT面试+架构+CTO进阶干货!

从程序员进阶到架构师,史上最全进阶详解(中篇)-架构扩展篇

Java 优知学院陈睿 2年前 (2017-08-29) 711次浏览 0个评论 扫描二维码

从程序员到架构师进阶,将涉及到数据结构和算法,Java编程语言掌握,Javaweb核心技术,数据库,Java框架与必备工具,系统架构设计等六大环节。
这是中篇,包含数据库设计以及性能, Java相关的框架与工具,由于篇幅有限,以后我会把把每个节点的知识再做完整的详解。
最后一篇,讲重点讲解大型网站系统架构设计。

从程序员进阶到架构师,史上最全进阶详解(中篇)-架构扩展篇

数据库设计原则和大数据方案

从程序员进阶到架构师,史上最全进阶详解(中篇)-架构扩展篇

谈到数据库将涉及到如下范围:


数据库设计原则和范式

第一范式,确保每列保持原子性。

第二范式,确保表中的每列都和主键相关。

第二范式,在第一范式的基础之上更进一层。第二范式需要确保数据库表中的每一列都和主键相关,而不能只与主键的某一部分相关(主要针对联合主键而言)。也就是说在一个数据库表中,一个表中只能保存一种数据,不可以把多种数据保存在同一张数据库表中。

第三范式,确保每列都和主键列直接相关,而不是间接相关。

比如在设计一个订单数据表的时候,可以将客户编号作为一个外键和订单表建立相应的关系。而不可以在订单表中添加关于客户其它信息(比如姓名、所属公司等)的字段。

SQL与NoSql的优缺点以及使用场景分析

SQL (Structured Query Language) 数据库,指关系型数据库 – 主要代表:SQL Server,Oracle,MySQL(开源),PostgreSQL(开源)。

NoSQL(Not Only SQL)泛指非关系型数据库 -。主要代表:MongoDB,Redis,Memcached,Hbase,CouchDB。

目前许多大型互联网项目都会选用MySQL(或任何关系型数据库) + NoSQL的组合方案。

 

关系型数据库适合存储结构化数据,如用户的帐号、地址:

1)这些数据通常需要做结构化查询,比如join,这时候,关系型数据库就要胜出一筹

2)这些数据的规模、增长的速度通常是可以预期的

3)事务性、一致性

 

NoSQL适合存储非结构化数据,如文章、评论:

1)这些数据通常用于模糊处理,如全文搜索、机器学习

2)这些数据是海量的,而且增长的速度是难以预期的

3)根据数据的特点,NoSQL数据库通常具有无限(至少接近)伸缩性

4)按key获取数据效率很高,但是对join或其他结构化查询的支持就比较差

关系式数据库必备


事务(ACID、工作原理、事务的隔离级别、锁、事务的传播机制)


数据库创建,权限分配,表的创建,增删改查,连接,子查询

索引


数据库索引好比是一本书前面的目录,能加快数据库的查询速度。索引分为聚簇索引和非聚簇索引两种,聚簇索引 是按照数据存放的物理位置为顺序的,而非聚簇索引就不一样了;聚簇索引能提高多行检索的速度,而非聚簇索引对于单行的检索很快。

还有触发器、存储过程、事务控制等

数据库性能优化


索引原理及适用,大表查询优化,多表连接查询优化,子查询优化等

大数据方案

分库、分表、备份、迁移

导入,冷备热备,主从备份、双机热备、纵向扩展、横向扩展等这些都是属于比较常见的数据库方案,我在淘宝具体挑战性的一次架构演变中,谈到了数据库纵向和横向的发展策略,里面有详细的方案。

java相关的框架与必备工具

从程序员进阶到架构师,史上最全进阶详解(中篇)-架构扩展篇

web开发框架


Struts2,SpringMVC,spring(IoC、AOP等)

持久化:hibernate/MyBatis

推荐SSM组合(springMVC+Sping+Mybatis)

在搭建日志:Log4j,以及单元测试:JUnit

构建工具

Maven Nexus,推荐自己动手搭建一套nexus以及配置maven


模板引擎

Velocity、FreeMaker等

消息队列

ActiveMQ、RabbitMQ等

负载均衡

Nginx/HaProxy

Web服务器

Tomcat、JBoss、Jetty、Resin、WebLogic、WebSphere等

推荐在eclipse里集成run-jetty-run插件,可以在开发环境实行热部署,高效开发必备

java常用通信协议以及比较


RMI,Hessian,Burlap,Httpinvoker,WebService(cxf的soap、restful协议)

分布式缓存

Redis、Memcached等,缓存在大型网站的架构中也是重中之重,特别是分布式缓存和分布式文件存储系统,起着了天然数据库端的防线作用。

分布式文件存储和大数据

常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。

GFS(Google File System)

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。

下面分布式文件系统都是类 GFS的产品。

 

HDFS(Hadoop Distributed File System)

Hadoop 实现了一个分布式文件系统,简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用,是Google开创其帝国的重要基石。

TFS(Taobao File System)

TFS是淘宝针对海量非结构化数据存储设计的分布式系统,构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问,最初了为了解决淘宝大量小文件的存储早期限制在1M内,现在已经加入大文件的存储。淘宝的TFS其实本身就是从GFS借鉴而来,所以名字也很像。

工作流


Activity、JBPM

搜索引擎

lucene,基于lucene封装的solr

以上,上篇和中篇,讲解到了数据结构和算法,Java编程语言掌握,Java web核心技术,数据库设计和大数据方案,Java相关的框架与必备工具等五大环节。

最后一篇,将重点讲解最后一环节,系统架构设计,涉及到架构设计以的策略以及大型网站的架构方案,从负载均衡的开始,到web服务器集群和搭建,再到中间应用服务器集群以及中间件搭建(分布式缓存,分布式存储等)的架构设计方案,再到后端数据库端的策略,一份完整的大型网站系统架构设计方案


本文标题:从程序员进阶到架构师,史上最全进阶详解(中篇)-架构扩展篇
转载请保留页面地址:http://youzhixueyuan.com/programmers-advance-to-architect-2.html
喜欢 (1)
[mike.r.chen@163.com]
分享 (0)
优知学院陈睿
关于作者:
优知学院创始人,13年互联网从业经验,资深架构设计经验,曾就职于淘宝、盛大、百度、携程,历程高级研发工程师、架构师、研发经理、事业部CTO。
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址