整理
Thread.sleep(0)
Thread.sleep(0):设置安全点,一般用在循环中,防止 GC 等待时间过长。
Thread.sleep(0)的作用:
Thread.Sleep(0)作用,就是“触发操作系统立刻重新进行一次 CPU竞争”。竞争的结果也许是当前线程仍然获得 CPU 控制权,也许会换成别的线程获得 CPU 控制权。这也是我们在大循环里面经常会写一句 Thread.Sleep(0) ,因为这样就给了其他线程比如 Paint 线程获得 CPU 控制权的权力,这样界面就不会假死在那里。
关于 sleep()方法和 yield()方法的区别如下:
- sleep() 方法暂停当前线程后,会给其他线程执行机会,不会理会其他线程的优先级;但 yield() 方法只会给优先级相同或更高的线程执行机会。
- sleep() 方法会将线程转入阻塞状态,直到经过阻塞时间才会转入就绪状态;而 yield() 不会将线程转入阻塞状态,它只是强制当前线程进入就绪状态。因此完全有可能某个线程调用 yield() 方法暂停后,立即再次获得处理器资源被执行。
- sleep() 方法声明抛出了 InterruptedException 异常,所有调用 sleep() 方法时要么捕捉该异常,要么显式声明抛出该异常;而 yield() 方法则没有抛出任何异常。
- sleep() 方法比 yield() 方法有更好的可移植性,通常不建议使用 yield() 方法来控制并发线程的执行。
STW:Stop The World,是在垃圾回收算法执⾏过程当中,将 JVM内存冻结、应用程序停顿的⼀种状态。
- 在 STW 状态下,Java 的所有线程都是停止执行的 —— GC线程除外。
- 一旦 Stop-The-World 发生,除了 GC 所需的线程外,其他线程都将停止工作,中断了的线程直到 GC 任务结束才继续它们的任务。
- STW 是不可避免的,垃圾回收算法执行一定会出现 STW,我们要做的只是减少停顿的时间。
- GC 各种算法优化的重点,就是减少 STW(暂停),同时这也是 JVM 调优的重点。
- 减少 STW(暂停)和降低 GC 垃圾回收的频率是调优的重点。
char 和 varchar
MySQL 中使用 char 类型存储的数据,插入的数据右侧空格会被删除,但左侧空格保留,如: “abc ” → “abc” ;查询时,char 数据类型只会判断查询条件中左侧的空格,因此查询条件为: “abc ” 和 “abc” 都是正确的。
MySQL 中使用 varchar 类型存储的数据,插入的数据保留所有的空格,查询时只会判断查询条件中左侧的空格。
truncate、delete、drop
truncate、delete、drop 的区别:
- drop(DDL 语句):删除表(结构和数据),是不可逆操作,会将表所占用的空间全部释放掉;
- truncate(DDL 语句):清空表,只针对于删除表的操作,在删除的过程中不会激活与表有关的删除触发器并且不会把删除记录放在日志中;当表被 truncate 后,这个表和索引会恢复到初始大小;
- delete(DML 语句):可以删除表也可以删除行,但是删除记录会被计入日志保存,且表空间大小不会恢复到原来;
- 执行速度:drop > truncate > delete
分库分表
http://t.csdn.cn/S91iD
在面对数据库容量瓶颈(单表数据千万级以上)和写并发量大的问题时,可以采用垂直拆分和水平拆分来解决,不过要注意,这两种方式虽然能够解决问题,但是也会引入诸如查询必须带上分区键,列表总数需要单独冗余存储等问题。而且,数据从单库单表迁移到多库多表是一件既繁杂有容易出错的事情,而且如果初期没有规划得当,后面要继续增加数据库数量或表数量时,还要经历这个迁移的过程。
一般来说,垂直分表并不会把列平分到 2 个表中,而是会将一些重要的字段单独剥离成小表,把剩余的不太重要的字段放在大表中。比如,把查询、排序时需要的字段,高频访问的小字段放在小表,而把低频访问字段以及一些大字段放在大表中。
分库分表的原则
- 如果在性能上没有瓶颈点那么就尽量不做分库分表;
- 如果要做,就尽量一次到位,比如说 16 库,每个库 64 表就基本能够满足几年内的业务需求;
- 很多的 NoSQL 数据库,例如 Hbase、MongoDB 都提供 auto sharding 的特性,如果团队内部对于这些组件比较熟悉,有较强的运维能力,那么也可以考虑使用这些 NoSQL 数据库代替传统的关系型数据库。
分库分表带来的问题
- 分布式事务
- 跨库 join 查询
- 分布式全局唯一 id
- 开发成本,对程序员要求高分库分表技术选型
相关开源框架
- jdbc 直连层:shardingsphere、tddl,性能高,只支持 java 语言,支持跨数据库。
- proxy 代理层:mycat,mysql-proxy(360),开发成本低,支持跨语言,不支持跨数据库。
jdbc直连层又叫jdbc应用层,是因为所有分片规则,所有分片逻辑,包括处理分布式事务所有这些问题它都是在应用层,所有项目都是由 war 包构成的,所有分片都写成了 jar 包,放到了 war 包里面,java 需要虚拟机去运行的,虚拟机运行的时候就会把 war 包里面的字节文件进行 classLoder 加载到 jvm 内存中,所有分片逻辑都是基于内存方进行操作的。
proxy 代理层,所有分片规则,所有分片逻辑,包括处理分布式事务都在 mycat 写好了,所有分片逻辑都是基于 mycat 方进行操作。
MySQL
MySQL 使用可重复读来作为默认隔离级别的主要原因是语句级的 Binlog。可重复读能提供 SQL 语句的写可串行化,保证了主从一致。
1、MySQL 一个表最多 16 个索引,最大索引长度 256 字节
2、DDL 和 DML
- DDL:数据库定义语言,针对表结构,主要关键字:create、alter、drop。
- DML:数据库操作语言,针对表数据,主要关键字:insert、delete、update、select
3、B 树和 B+ 树之间的区别是什么?
- B 树数据在每个节点上,B+树数据在叶子结点上;
- B+ 树叶子结点之间有指针连接。
B+树:
- MySQL 中默认每个节点大小为 16KB,一个节点就是一页;
- 高度为 3 的 B+树能存放几千万的索引元素;
4、慢 SQL 优化思路
看执行计划,看是否适合加索引。
5、mysql 索引
索引是帮助 MySQL 高效获取数据的排好序的数据结构。
6、mysql 索引类型
- 聚集索引(聚簇索引):叶子节点包含了完整的数据记录,即索引与数据位于同一文件。InnoDB 是聚集索引。
- 非聚集索引(非聚簇索引):索引和数据存放在不同的文件。MyISAM 是非聚集索引。
7、什么是回表查询
http://t.csdn.cn/SKzTU
InnoDB 引擎中,主键索引是聚集索引,即主键和行记录放在同一个叶节点,找到了主键也就找到了行记录;而它的非主键索引,或者说是辅助索引,是非聚集索引,跟 MyISAM 引擎的非聚集索引不同的是,MyISAM 叶节点保存的是地址,而 InnoDB 是主键,InnoDB 非聚集索引的索引文件和数据文件分开存储,索引文件的叶节点只保存主键,在查找时,要先找到叶节点中的主键,再根据主键去主索引文件查找详细行记录;因此,在设计表的时候,主键字段不宜过长。即非主键索引查找数据时需要先找到主键,再根据主键查找具体行数据,这种现象叫回表查询。
如何避免?
索引覆盖,即将查询 sql 中的字段添加到联合索引里面,只要保证查询语句里面的字段都在索引文件中,就无需进行回表查询;
8、联合索引最左前缀原则
假设有(a、b、c)联合索引,则查询条件中必须有 a字段,且与条件中的顺序无关,即只能为:a、ab、abc,ba,cba,bca,bac,cab。如:select * from user where a = 1 and b = 2 and c = 3;
- 用 or 也会走索引。
- 用 a > 1 不走索引。
- select * from user where a = 1 and c > 3; 中 a 走索引,c 不走索引
8、索引下推
索引下推是索引下推是 MySQL 5.6 及以上版本上推出的,用于对查询进行优化,默认开启。
索引下推是把本应该在 server 层进行筛选的条件,下推到存储引擎层来进行筛选判断,这样能有效减少回表。如:联合索引(a,b,c),查询语句:select * from user where a = 1 and c > 3; a 走联合索引,c 不走联合索引,如果开启索引下推,那么存储引擎会将 a 在索引中匹配的结果用 c > 3 筛选一下,直接得出结果,不用回表。
9、为什么推荐整形的自增主键
使用整形是因为其折半查找效率高。而使用 UUID 字符串需要比较字符串中的每一位字符,效率低,而且会占用更多空间。
至于设置主键自增,是因为这样只会在树的右边增加,不会插入到前面的位置,导致节点内数据逼近最大值而分裂(叶子结点是有序的,由数据库自动维护),额外消耗系统性能。
10、数据页
一页就是 B+ 树的一个节点。
11、mysql 中的锁机制
Mysql 用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁。这些锁统称为悲观锁(Pessimistic Lock)。
- 表级锁:开销小,加锁快;不会出现死锁;锁定粒度大,发生锁冲突的概率最高,并发度最低。
- 行级锁:开销大,加锁慢;会出现死锁;锁定粒度最小,发生锁冲突的概率最低,并发度也最高。
- 页面锁:开销和加锁时间界于表锁和行锁之间;会出现死锁;锁定粒度界于表锁和行锁之间,并发度一般
从上述特点可见,很难笼统地说哪种锁更好,只能就具体应用的特点来说哪种锁更合适!
仅从锁的角度 来说:表级锁更适合于以查询为主,只有少量按索引条件更新数据的应用,如 Web 应用;而行级锁则更适合于有大量按索引条件并发更新少量不同数据,同时又有 并发查询的应用,如一些在线事务处理(OLTP)系统。
Spring
spring 事务
spring 事务分为声明式事务(@Transactional 注解)和编程式事务(用 try {} catch {} 包裹)。
@Transactional 注解有哪些属性?
- propagation 属性,propagation 代表事务的传播行为,默认值为 Propagation.REQUIRED,意思是如果当前存在事务,则加入该事务,如果当前不存在事务,则创建一个新的事务。( 也就是说如果 A 方法和 B 方法都添加了注解,在默认传播模式下,A 方法内部调用 B方法,会把两个方法的事务合并为一个事务 )
- isolation 属性,就是事务的隔离级别,默认值为 Isolation.DEFAULT,即使用底层数据库默认的隔离级别,其他的隔离级别跟 mysql 一样:read_uncommitted、read_committed、repeatable_read、serializable。
- 。。。
- 。。。
@Transactional 失效场景(六种),常见的是:
- @Transactional 应用在非 public 修饰的方法上
- 同一个类中方法调用,导致@Transactional 失效:比如有一个类 Test,它的一个方法 A,A 再调用本类的方法 B(不论方法 B 是用 public 还是 private 修饰),但方法 A 没有声明注解事务,而 B 方法有。则外部调用方法 A 之后,方法 B 的事务是不会起作用的。
- 异常被你的 catch“吃了”导致@Transactional 失效
重定向请求
- 对于 GET 请求, 301 跳转会默认被浏览器 cache,如果后续重定向地址发生变化,需要先清除浏览器缓存,才能生效;若无变化,则无需发送网络请求,可以直接条转到对应地址,如:http://localhost:8080?url=https://www.baidu.com,可以在短连接中使用。
- 对于 302 跳转,除非在响应中通过 Cache-Control 或 Expires 暗示浏览器缓存,否则浏览器不会缓存。
SpringBoot
1、什么是 SpringBoot?
是基于 spring 的开发框架,可以简化新 Spring 应用的初始搭建以及开发过程。
2、SpringBoot 的特点?
- 创建独立的 Spring 应用程序
- 直接嵌入 Tomcat,Jetty 或 Undertow(无需部署 WAR 文件)
- 提供固化的“starter”依赖项,以简化构建配置
- 尽可能自动配置 Spring 和第三方库
- 提供可用于生产的功能,例如指标,运行状况检查和外部化配置
- 完全没有代码生成,也不需要 XML 配置
3、如何快速构建一个 SpringBoot 项目?
- 通过 Web 界面使用。http://start.spring.io
- 通过 IntelliJ IDEA 使用。
- 通过 Spring Tool Suite 使用。
- 使用 Spring Boot CLI 使用。
4、说说 SpringBoot 启动类注解(核心注解),它是由哪些注解组成?
- @SpringBootApplication
- @SpringBootConfiguration:组合了 @Configuration 注解,实现配置文件的功能。
- @EnableAutoConfiguration:打开自动配置的功能,也可以关闭某个自动配置的选项。
- @SpringBootApplication(exclude ={ DataSourceAutoConfiguration.class })
- @ComponentScan:Spring 组件扫描
5、SpringBoot 支持配置文件的格式?
- properties
- yml(不支持 @PropertySource 注解导入)
注意:springboot 的核心配置文件是:bootstrap.yml/properties 和 application.yml/properties
6、SpringBoot 启动方式?
- main 方法
- 命令行 java -jar 的方式
- mvn/gradle
7、SpringBoot 配置途径?
- 命令行参数
- java:comp/env 里的 JNDI 属性
- JVM 系统属性
- 操作系统环境变量
- 随机生成的带 random.* 前缀的属性(在设置其他属性时,可以引用它们,比如${random.long})
- 应用程序以外的 application.properties 或者 appliaction.yml 文件
- 打包在应用程序内的 application.properties 或者appliaction.yml 文件
- 通过@PropertySource 标注的属性源
- 默认属性
tips:这个列表按照优先级排序,也就是说,任何在高优先级属性源里设置的属性都会覆盖低优先级的相同属性。
8、application.properties 和 application.yml 文件可放位置?
- 外置,在相对于应用程序运行目录的/config 子目录里。
- 外置,在应用程序运行的目录里。
- 内置,在 config 包内。
- 内置,在 Classpath 根目录。
这个列表按照优先级降序,优先级高的会覆盖优先级低的。当然我们可以自己指定文件的位置来加载配置文件:
java -jar xiaoka.jar --spring.config.location=/home/application.yml
9、SpringBoot 自动配置原理
@EnableAutoConfiguration (开启自动配置) 注解引入了 AutoConfigurationImportSelector 类,该类中的方法会扫描所有存在 META-INF/spring.factories 的 jar 包。
10、SpringBoot 热部署方式
- spring-boot-devtools(添加 devtools 库,在配置文件中把 spring.devtools.restart.enabled 设置为 true)
- Spring Loaded
- Jrebel
- 模版热部署
11、bootstrap.yml 优先于 application.yml,并且 bootstrap.yml 中的属性不能被覆盖。
12、SpringBoot 如何修改端口号
- 配置文件修改:server.port
- 通过命令行:java -jar xiaoka.jar --server.port=8888 或者 java -Dserver.port=8888 -jar xiaoka.jar
13、开启 SpringBoot 特性
- 继承 spring-boot-starter-parent 项目
- 导入 spring-boot-dependencies 项目依赖
14、SpringBoot 如何兼容 Spring 项目?
在启动类添加加:@ImportResource(locations = {"classpath:spring.xml"})。
15、SpringBoot 配置监控
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
- 获得 Bean 装配报告信息访问哪个端点?/beans 端点
- 关闭应用程序访问哪个端点?/shutdown,该端点默认是关闭的,
- 如果开启,需要如下设置:endpoints.shutdown.enabled = true
- 查看发布应用信息访问哪个端点?/info
16、 针对请求访问的几个组合注解
@PatchMapping、@PostMapping、@GetMapping、@PutMapping、@DeleteMapping
17、SpringBoot 中的 starter
可以理解成对依赖的一种合成,starter 会把一个或一套功能相关依赖都包含进来,避免了自己去依赖费事,还有各种包的冲突问题。大大的提升了开发效率。并且相关配置会有一个默认值,如果我们自己去配置,就会覆盖默认值。
18、SpringBoot 集成 Mybatis
引入依赖:mybatis-spring-boot-starter
19、什么是 SpringProfiles
就是为了方便在开发、测试、生产环境使用不同的配置的一种方式。一般来说我们从开发到生产,经过开发(dev)、测试(test)、上线(prod)。不同的时刻我们会用不同的配置。SpringProfiles 允许用户根据配置文件(dev,test,prod 等)来注册 bean。它们可以让我们自己选择什么时候用什么配置。
20、不同的环境的配置文件
dev、prod、local、test,通过 spring.profiles.active 激活对应的配置文件。
21、编写测试用例的注解
@SpringBootTest
22、SpringBoot 异常处理相关注解
@ControllerAdvice、@ExceptionHandler
23、SpringBoot 1.x 和 2.x 区别
- 配置变更
- JDK 版本升级
- 第三方类库升级
- 响应式 Spring 编程支持
- HTTP/2 支持
- 配置属性绑定
24、SpringBoot 读取配置相关注解
@PropertySource、@Value、@Environment、@ConfigurationProperties
25、为什么要用 SpringBoot
快速开发,快速整合,配置简化、内嵌服务容器 。
开发和整合都比较方便,并且简化了配置,内嵌服务容器。
26、SpringBoot 与 SpringCloud 区别
SpringBoot 是快速开发的 Spring 框架,SpringCloud 是完整的微服务框架,SpringCloud 依赖于 SpringBoot。
27、 Spring Boot 支持哪些日志框架?推荐和默认的日志框架是哪个?
Log4j2, Lockback
如果你使用 Starters 启动器,Spring Boot 将使用 Logback 作为默认日志框架,但是不管是那种日志框架他都支持将配置文件输出到控制台或者文件中。
28、SpringBoot Starter 的工作原理
在 sprinBoot 启动时由 @SpringBootApplication 注解会自动去 maven 中读取每个 starter 中的 spring.factories 文件,该文件里配置了所有需要被创建 spring 容器中的 bean,并且进行自动配置把 bean 注入 SpringContext 中 (SpringContext 是 Spring的配置文件)。
29、SpringBoot 支持什么前端模板
thymeleaf,freemarker,jsp,官方不推荐 JSP 会有限制
30、SpringBoot 事物的使用
首先使用注解 @EnableTransactionManagement
开启事物之后,然后在 Service 方法上添加注解 @Transactional
便可。
31、Async 异步调用方法
只需要在方法上使用 @Async
注解即可实现方法的异步调用。
注意:在异步配置类上加入 @EnableAsync
使异步调用 @Async
注解生效,异步配置类中可以配置线程池大小等信息。
32、如何在 Spring Boot 启动的时候运行一些特定的代码?
可以实现接口 ApplicationRunner
或者 CommandLineRunner
,这两个接口实现方式一样,它们都只提供了一个 run 方法。
33、什么是 JavaConfig?
如:@Configuration、@ComponentScan、@Bean 就是常用的 JavaConfig。
34、 SpringBoot 的自动配置原理是什么
主要是 Spring Boot 的启动类上的核心注解 @SpringBootApplication 注解主配置类,有了这个主配置类启动时就会为 SpringBoot 开启一个@EnableAutoConfiguration 注解自动配置功能。
35、保护 Spring Boot 应用有哪些方法?
- 在生产中使用 HTTPS
- 使用 Snyk 检查你的依赖关系
- 升级到最新版本
- 启用 CSRF(跨站请求伪造)保护
- 使用内容安全策略防止 XSS 攻击(跨站脚本攻击)
36、如何实现 Spring Boot 应用程序的安全性?
使用 spring-boot-starter-security 依赖项,并且必须添加安全配置。它只需要很少的代码。配置类将必须扩展 WebSecurityConfigurerAdapter 并覆盖其方法。
37、Spring Security 和 Shiro 各自的优缺点 ?
- Spring Security 是一个重量级的安全管理框架;Shiro 则是一个轻量级的安全管理框架
- Spring Security 概念复杂,配置繁琐;Shiro 概念简单、配置简单
- Spring Security 功能强大,Shiro 功能简单
38、Spring Boot 中如何解决跨域问题 ?
https://www.jb51.net/article/231351.htm
在控制类或方法上使用注解 @CrossOrigin
。通过CORS(Cross-origin resource sharing)来解决跨域问题。这种解决方案并非 Spring Boot 特有的,在传统的 SSM 框架中,就可以通过 CORS 来解决跨域问题,只不过之前我们是在 XML 文件中配置 CORS ,现在可以通过实现 WebMvcConfigurer
接口然后重写 addCorsMappings
方法解决跨域问题。
@Configuration
public class CorsConfig implements WebMvcConfigurer {
@Override
public void addCorsMappings(CorsRegistry registry) {
registry.addMapping("/**")
.allowedOrigins("*")
.allowCredentials(true)
.allowedMethods("GET", "POST", "PUT","DELETE", "OPTIONS")
.maxAge(3600);
}
}
39、SpringBoot 性能如何优化
- 在项目启动时设置 JVM 初始内存和最大内存相同
- 将 springboot 内置服务器由 tomcat 设置为 undertow
- 采用 @Compoment 指定扫包范围
40、 SpringBoot 微服务中如何实现 session 共享 ?
常见的方案就是 Spring Session + Redis 来实现 session 共享。将所有微服务的 session 统一保存在 Redis 上,当各个微服务对 session 有相关的读写操作时,都去操作 Redis 上的 session 。
41、您使用了哪些 starter maven 依赖项?
- spring-boot-starter-web
- spring-boot-starter-data-jpa
- spring-boot-starter-data-redis
- spring-cloud-starter
- spring-cloud-starter-netflix-eureka-client
42、Spring Boot 中的 starter 到底是什么 ?
一套功能相关的依赖的组合。
43、Spring Boot 中如何实现定时任务 ?
一个就是使用 Spring 中的 @Scheduled
注解,另一个则是使用第三方框架 Quartz。
44、spring-boot-starter-parent 有什么用 ?
总结就是打包用的:
- 定义了 Java 编译版本为 1.8 。
- 使用 UTF-8 格式编码。
- 继承自 spring-boot-dependencies,这个里边定义了依赖的版本,也正是因为继承了这个依赖,所以我们在写依赖时才不需要写版本号。
- 执行打包操作的配置。
- 自动化的资源过滤。
- 自动化的插件配置。
45、SpringBoot 如何实现打包
进入项目目录在控制台输入 mvn clean package
,clean 是清空已存在的项目包,package 进行打包;或者点击左边选项栏中的 Mavne,先点击 clean 在点击 package。
46、Spring Boot 打成的 jar 和普通的 jar 有什么区别 ?
Spring Boot 项目最终打包成的 jar 是可执行 jar ,这种 jar 可以直接通过 java -jar xxx.jar 命令来运行,这种 jar 不可以作为普通的 jar 被其他项目依赖,即使依赖了也无法使用其中的类。Spring Boot 的 jar 无法被其他项目依赖,主要还是他和普通 jar 的结构不同。普通的 jar 包,解压后直接就是包名,包里就是我们的代码,而 Spring Boot 打包成的可执行 jar 解压后,在 \BOOT INF\classes 目录下才是我们的代码,因此无法被直接引用。如果非要引用,可以在 pom.xml 文件中增加配置,将 Spring Boot 项目打包成两个 jar ,一个可执行,一个可引用。
SpringCloud 微服务
1、什么是微服务架构
微服务架构就是将单体的应用程序分成多个应用程序,这多个应用程序就称为微服务,每个微服务运行在自己的进程中,并使用轻量级的机制通信。这些服务围绕业务能力来划分,并通过自动化部署机制来独立部署。这些服务可以使用不同的编程语言,不同数据库,以保证最低限度的集中式管理。
2、为什么需要使用 Spring Cloud
优雅简洁、开箱即用、springcloud 大多数子模块都是直击痛点,像 zuul 解决的跨域,fegin 解决的负载均衡,hystrix 的熔断机制等等等等。
3、Spring Cloud 是什么
Spring Cloud 是一系列框架的有序集合。它利用 Spring Boot 的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、智能路由、消息总线、负载均衡、断路器、数据监控等,都可以用 Spring Boot 的开发风格做到一键启动和部署。
Spring Cloud 并没有重复制造轮子,它只是将各家公司开发的比较成熟、经得起实际考验的服务框架组合起来,通过 Spring Boot 风格进行再封装屏蔽掉了复杂的配置和实现原理,最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。
4、 SpringCloud 的优缺点
优点:
耦合度比较低
。不会影响其他模块的开发。- 减轻团队的成本,
可以并行开发
,不用关注其他人怎么开发,先关注自己的开发。 - 配置比较简单,基本用注解就能实现,不用使用过多的配置文件。
- 微服务是
跨平台
的,可以用任何一种语言开发。 - 每个微服务可以有自己的
独立的数据库
也有用公共的数据库。 - 直接写后端的代码,
不用关注前端
怎么开发,直接写自己的后端代码即可,然后暴露接口,通过组件进行 服务通信。
缺点:
- 部署比较麻烦,给运维工程师带来一定的麻烦。
- 针对数据的管理比麻烦,因为微服务可能每个微服务都有一个数据库。
- 系统集成测试比较麻烦
- 性能的监控比较麻烦。【最好开发一个大屏监控系统】
5、SpringBoot 和 SpringCloud 的区别
- SpringBoot 专注于快速方便的开发单个个体微服务。
- SpringCloud 是关注全局的微服务协调整理治理框架,它将SpringBoot 开发的一个个单体微服务整合并管理起来,为各个微服务提供配置管理、服务发现、断路器、路由、微代理、事件总线、全局锁、决策竞选、分布式会话等等集成服务。
- SpringBoot 可以离开 SpringCloud 独立使用开发项目,但是 SpringCloud 离不开 SpringBoot ,属于依赖的关系。
- SpringBoot 专注于快速、方便的开发单个微服务个体,SpringCloud 关注全局的服务治理框架。
6、 Spring Cloud 和 SpringBoot 版本对应关系
Spring Cloud 是一个由许多子项目组成的综合项目,各子项目有不同的发布节奏。 为了管理 Spring Cloud 与各子项目的版本依赖关系,发布了一个清单,其中包括了某个 Spring Cloud 版本对应的子项目版本。为了避免 Spring Cloud 版本号与子项目版本号混淆,Spring Cloud 版本采用了名称而非版本号的命名,这些版本的名字采用了伦敦地铁站的名字,根据字母表的顺序来对应版本时间顺序,例如 Angel 是第一个版本,Brixton 是第二个版本。 当 Spring Cloud 的发布内容积累到临界点或者一个重大 BUG 被解决后,会发布一个 "service releases" 版本,简称 SRX 版本
,比如 Greenwich.SR2 就是 Spring Cloud 发布的 Greenwich 版本的第 2 个 SRX 版本。目前 Spring Cloud 的最新版本是 Hoxton。
Spring Cloud Version | SpringBoot Version |
---|---|
Hoxton | 2.2.x |
Greenwich | 2.1.x |
Finchley | 2.0.x |
Edgware | 1.5.x |
Dalston | 1.5.x |
7、SpringCloud 由什么组成
- Spring Cloud Eureka:服务注册与发现
- Spring Cloud Zuul:服务网关
- Spring Cloud Ribbon:客户端负载均衡
- Spring Cloud Feign:声明性的 Web 服务客户端
- Spring Cloud Hystrix:断路器
- Spring Cloud Config:分布式统一配置管理
8、使用 Spring Boot 开发分布式微服务时,会面临什么问题
- 与分布式系统相关的复杂性:包括网络问题,延迟开销,带宽问题,安全问题等
- 分布式系统中的冗余问题。
- 由于各种运营开销导致的性能问题。
- 负载均衡问题
9、 Spring Cloud 和 dubbo 区别
- 服务调用方式:dubbo 是 RPC;springcloud 是 Rest Api
- 注册中心:
- dubbo 是 zookeeper;
- springcloud 是 eureka 与
- zookeeper 皆可
- 服务网关:dubbo 本身没有实现,只能通过其他第三方技术整合;springcloud 有 Zuul 路由网关
10、服务注册和发现是什么意思?Spring Cloud 如何实现?
当我们开始一个项目时,我们通常在属性文件中进行所有的配置。随着越来越多的服务开发和部署,添加和修改这些属性变得更加复杂。有些服务可能会下降,而某些位置可能会发生变化。手动更改属性可能会产生问题。 Eureka 服务注册和发现可以在这种情况下提供帮助。由于所有服务都在 Eureka 服务器上注册并通过调用 Eureka 服务器完成查找,因此无需处理服务地点的任何更改和处理。
11、 什么是 Eureka
SpringCloud 的注册中心,可以监控各个微服务的状态。
Eureka 作为 SpringCloud 的服务注册功能服务器,他是服务注册中心,系统中的其他服务使用 Eurek 的客户端将其连接到 Eureka Service 中,并且保持心跳,这样工作人员可以通过 Eureka Service 来监控各个微服务是否运行正常。
12、Eureka 怎么实现高可用
构建集群:注册多台 Eureka,然后把 SpringCloud 服务互相注册,客户端从 Eureka 获取信息时,按照 Eureka 的顺序来访问。
13、什么是 Eureka 的自我保护模式
默认情况下,如果 Eureka Service 在一定时间内没有接收到某个微服务的心跳,Eureka Service 就会进入自我保护模式,在该模式下 Eureka Service 会保护服务注册表中的信息,不再删除注册表中的数据,当网络故障恢复后,Eureka Servic 节点会自动退出自我保护模式。
14、DiscoveryClient 的作用
从注册中心中根据服务别名获取注册的服务信息。
15、Eureka 和 ZooKeeper 都可以提供服务注册与发现的功能,请说说两个的区别
- ZooKeeper 中的节点服务挂了就要选举,在选举期间注册服务瘫痪,虽然服务最终会恢复,但是选举期间不可用的,选举的前提是微服务做了集群,且必须有一台主其他的都是从。
- Eureka 各个节点是平等关系,服务器挂了没关系,只要有一台 Eureka 就可以保证服务可用,数据都是最新的。如果查询到的数据并不是最新的,就是因为 Eureka 的自我保护模式导致的。
- Eureka 本质上是一个工程,而 ZooKeeper 只是一个进程。
- Eureka 可以很好的应对因网络故障导致部分节点失去联系的情况,不会像 ZooKeeper 一样使得整个注册系统瘫痪。
- ZooKeeper 保证的是 CP,Eureka 保证的是 AP,即
ZooKeeper 强调一致性,Eureka 强调可用性
。
CAP:
- C:一致性>Consistency; 取舍:(强一致性、单调一致性、会话一致性、最终一致性、弱一致性)
- A:可用性>Availability;
- P:分区容错性>Partition tolerance;
16、什么是网关
网关相当于一个网络服务架构的入口,所有网络请求必须通过网关转发到具体的服务。
17、网关的作用是什么
统一管理微服务请求,权限控制、负载均衡、路由转发、监控、安全控制、黑名单和白名单等。
18、什么是 Spring Cloud Zuul(服务网关)
- Zuul 是对 SpringCloud 提供的成熟对的路由方案,他会根据请求的路径不同,网关会定位到指定的微服务,并代理请求到不同的微服务接口,他对外隐蔽了微服务的真正接口地址。
- 三个重要概念:动态路由表,路由定位,反向代理:
- 动态路由表:Zuul 支持 Eureka 路由和手动配置路由,这俩种都支持自动更新
- 路由定位:根据请求路径,Zuul 有自己的一套定位服务规则以及路由表达式匹配
- 反向代理:客户端请求到路由网关,网关受理之后,在对目标发送请求,拿到响应之后在给客户端,它可以和 Eureka、Ribbon、Hystrix 等组件配合使用。
- Zuul 的应用场景:对外暴露,权限校验,服务聚合,日志审计等
19、网关与过滤器有什么区别
网关是对所有服务的请求进行分析过滤,过滤器是对单个服务而言。
20、常用网关框架有那些
Nginx、Zuul、Gateway
21、Zuul 与 Nginx 有什么区别
- Zuul 是 java 语言实现的,主要为 java 服务提供网关服务,尤其在微服务架构中可以更加灵活的对网关进行操作。
- Nginx 是 C 语言实现的,性能高于 Zuul,但是实现自定义操作需要熟悉 lua 语言,对程序员要求较高,可以使用 Nginx 做 Zuul 集群。
22、既然 Nginx 可以实现网关?为什么还需要使用 Zuul 框架
Zuul 是 SpringCloud 集成的网关,使用 Java 语言编写,可以对 SpringCloud 架构提供更灵活的服务。
23、如何设计一套 API 接口
考虑到 API 接口的分类,可以将 API 接口分为开发 API 接口和内网 API 接口。内网 API 接口用于局域网,为内部服务器提供服务;开放 API 接口用于对外部合作单位提供接口调用,需要遵循 Oauth2.0 权限认证协议。同时还需要考虑安全性、幂等性等问题。
24、ZuulFilter 有哪些常用方法
- Run():过滤器的具体业务逻辑
- shouldFilter():判断过滤器是否有效
- filterOrder():过滤器执行顺序
- filterType():过滤器拦截位置
25、如何实现动态 Zuul 网关路由转发
通过 path 配置拦截请求,通过 ServiceId 到配置中心获取转发的服务列表,Zuul 内部使用 Ribbon 实现本地负载均衡和转发。
26、Zuul 网关如何搭建集群
使用 Nginx 的 upstream 设置 Zuul 服务集群,通过 location 拦截请求并转发到 upstream,默认使用轮询机制对 Zuul 集群发送请求。
27、负载均衡的意义是什么
- 负载均衡的话就是用来控制集群,他把做的最多的人让他慢慢做休息会,把做的最少的人让他加量让他做多点。
- 负载均衡可以
改善
跨计算机、计算机集群、网络链接、中央处理单元或磁盘驱动器等多种计算资源的工作负载分布
。 - 负载均衡旨在
优化资源使用
,最大化吞吐量,最小化响应时间并避免任何单一资源的过载
。 - 使用多个组件进行负载均衡而不是单个组件,因为可能会
通过冗余来提高可靠性和可用性
。 - 负载均衡通常涉及专用软件或硬件,例如多层交换机或域名系统服务器进程。
28、 Ribbon 是什么
一个负载均衡组件,为网关提供负载均衡算法。Ribbon 是 Netflix 发布的开源项目,主要功能是提供客户端的软件负载均衡算法
Ribbon 客户端组件提供一系列完善的配置项,如连接超时,重试等。简单的说,就是在配置文件中列出后面所有的机器,Ribbon 会自动的帮助你基于某种规则(如简单轮询,随机连接等)去连接这些机器。我们也很容易使用 Ribbon 实现自定义的负载均衡算法。(有点类似 Nginx)
29、Nginx 与 Ribbon 的区别
- Nginx 是反向代理同时可以实现负载均衡,nginx 拦截客户端请求采用负载均衡策略根据 upstream 配置进行转发,相当于请求通过 nginx 服务器进行转发。
- Ribbon 是客户端负载均衡,从注册中心读取目标服务器信息,然后客户端采用轮询策略对服务直接访问,全程在客户端操作。
30、Ribbon 底层实现原理
Ribbon 使用 discoveryClient
从注册中心读取目标服务信息,对同一接口请求进行计数,使用%取余算法
获取目标服务集群索引,返回获取到的目标服务信息。
@LoadBalanced
注解的作用:开启客户端负载均衡。
31、什么是断路器
用于应对服务雪崩的一个组件,作用是当某个服务发生故障时,向调用方返回一个错误响应,而不是长时间的等待。
当一个服务调用另一个服务由于网络原因或自身原因出现问题,调用者就会等待被调用者的响应,当更多的服务请求到这些资源导致更多的请求等待,发生连锁效应(雪崩效应)
断路器有三种状态:
- 打开状态:一段时间内达到一定的次数无法调用,并且多次监测没有恢复的迹象,断路器完全打开,那么下次请求就不会请求到该服务
- 半开状态:短时间内,有恢复迹象,断路器会将部分请求发给该服务,正常调用时,断路器关闭
- 关闭状态:当服务一直处于正常状态,能正常调用时,处于关闭状态
32、什么是 Hystrix
在分布式系统,我们一定会依赖各种服务,那么这些个服务一定会出现失败的情况,就会导致雪崩,Hystrix 就是这样的一个工具,防雪崩利器,它具有服务降级,服务熔断,服务隔离,监控等一些防止雪崩的技术。
Hystrix 四种防雪崩方式:
- 服务降级:接口调用失败就调用本地的方法返回一个空或者提示信息。
- 服务熔断:服务熔断是在服务降级的基础上更直接的一种保护方式,当在一个统计时间范围内的请求失败数量达到设定值或当前的请求错误率达到设定的错误率阈值时开启断路,之后的请求直接走 fallback 方法,在设定时间后尝试恢复。
- 服务隔离:Hystrix 为隔离的服务开启一个独立的线程池,这样在高并发的情况下不会影响其他服务。服务隔离有线程池和信号量两种实现方式,一般使用线程池方式。
- 服务监控:在服务发生调用时,会将每秒请求数、成功请求数等运行指标记录下来。
33、谈谈服务雪崩效应
雪崩效应是在大型互联网项目中,当某个服务发生宕机时,调用这个服务的其他服务也会发生宕机,大型项目的微服务之间的调用是互通的,这样就会将服务的不可用逐步扩大到各个其他服务中,从而使整个项目的服务宕机崩溃。
发生雪崩效应的原因有以下几点:
- 单个服务的代码存在 bug
- 高并发:请求访问量激增导致服务发生崩溃(如大型商城的枪红包,秒杀功能)
- 服务器的硬件故障
34、 在微服务中,如何保护服务
使用使用 Hystrix 框架,实现服务隔离,来避免出现服务的雪崩效应,从而达到保护服务的效果。
当微服务中,高并发的数据库访问量导致服务线程阻塞,使单个服务宕机,服务的不可用会蔓延到其他服务,引起整体服务灾难性后果,使用服务降级能有效为不同的服务分配资源,一旦服务不可用则返回友好提示,不占用其他服务资源,从而避免单个服务崩溃引发整体服务的不可用。
35、 服务降级底层是如何实现的
Hystrix 实现服务降级的功能是通过重写 HystrixCommand 中的 getFallback() 方法,当 Hystrix 的 run 方法或 construct 执行发生错误时转而执行 getFallback() 方法。
36、什么是 Feign
- Feign 是一个声明式的 web 服务客户端,这使得编写 web 服务客户端更容易,类似 Controller 调用 Service。
- 他将我们需要调用的服务方法定义成抽象方法保存在本地,不需要自己构建 Http 请求,直接调用接口就行了,不过要注意,调用方法要和本地抽象方法的签名完全一致。
37、SpringCloud 有几种调用接口方式?
Feign、RestTemplate。
38、Ribbon 和 Feign 调用服务的区别
调用方式不同:
- Ribbon 需要我们自己构建、模拟 Http 请求然后通过 RestTemplate 发给其他服务,步骤相当繁琐。
- Feign 则是在 Ribbon 的基础上进行了一次改进,采用接口的形式,将我们需要调用的服务方法定义成抽象方法保存在本地,不需要自己构建 Http 请求,直接调用接口就行了,不过要注意,调用方法要和本地抽象方法的签名完全一致。
39、 什么是 Spring Cloud Bus
用于传播集群状态变化的消息总线,使用轻量级消息代理链接分布式系统中的节点,可以用来动态刷新集群中的服务配置信息。简单来说就是修改了配置文件,发送一次请求,所有客户端便会重新读取配置文件(需要利用中间插件 MQ)。
- Spring Cloud Bus 就像一个分布式执行器,用于扩展的 Spring Boot 应用程序的配置文件,但也可以用作应用程序之间的通信通道。
- 不能单独完成通信,需要配合 MQ 支持。
- 支持 RabbitMQ 和 Kafka。
- 一般是配合 Spring Cloud Config 做配置中心。
- Springcloud config 实时刷新也必须采用 SpringCloud Bus 消息总线。
30、什么是 Spring Cloud Config
- 能够管理所有微服务的配置文件。
- 集中配置管理工具,分布式系统中统一的外部配置管理,默认使用 Git 来存储配置,可以支持客户端配置的刷新及加密、解密操作。
- Spring Cloud Config 为分布式系统中的外部配置提供服务器和客户端支持,可以方便的对微服务各个环境下的配置进行集中式管理。
- Spring Cloud Config 分为 Config Server 和 Config Client 两部分。Config Server 负责读取配置文件,并且暴露 Http API 接口,Config Client 通过调用 Config Server 的接口来读取配置文件。
31、分布式配置中心有那些框架
Apollo、zookeeper、springcloud config。
32、分布式配置中心的作用
动态变更项目配置信息而不必重新部署项目。
33、SpringCloud Config 可以实现实时刷新吗
采用 SpringCloud Bus 消息总线实现实时刷新。
34、 什么是 Spring Cloud Gateway
- Spring Cloud Gateway 是 Spring Cloud 官方推出的第二代网关框架,常见的功能有路由转发、权限校验、限流控制等。
- 使用了一个 RouteLocatorBuilder 的 bean 去创建路由,可以添加各种 predicates(断言) 和 filters(过滤器)。
35、SpringCloud 主要项目
Spring Cloud 的子项目,大致可分成两类,一类是对现有成熟框架 “Spring Boot 化” 的封装和抽象,也是数量最多的项目;第二类是开发了一部分分布式系统的基础设施的实现,如 Spring Cloud Stream 扮演的就是 kafka,ActiveMQ 这样的角色。
36、Spring Cloud Netflix(重点,这些组件用的最多)
即 Netflix OSS 开源组件集成,包括Eureka、Hystrix、Ribbon、Feign、Zuul 等核心组件。
- Eureka:服务治理组件,包括服务端的注册中心和客户端的服务发现机制;
- Ribbon:负载均衡的服务调用组件,具有多种负载均衡调用策略;
- Hystrix:服务容错组件,实现了断路器模式,为依赖服务的出错和延迟提供了容错能力;
- Feign:基于 Ribbon 和 Hystrix 的声明式服务调用组件;
- Zuul:API 网关组件,对请求提供路由及过滤功能。
37、Spring Cloud Consul(类似 Eureka)
Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置。与其它分布式服务注册与发现的方案相比,Consul 的方案更“一站式”,内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案,不再需要依赖其它工具(比如 ZooKeeper 等)。使用起来也较为简单。Consul 使用 Go 语言编写,因此具有天然可移植性(支持 Linux、windows 和 Mac OS X);安装包仅包含一个可执行文件,方便部署,与 Docker 等轻量级容器可无缝配合。
38、Spring Cloud Security
安全工具包,主要用来做身份认证和令牌相关的一些操作:
- 对 Zuul 代理中的负载均衡
- 从前端到后端服务中获取 SSO 令牌
- 资源服务器之间的中继令牌
- 使 Feign 客户端表现得像 OAuth2RestTemplate (获取令牌等)的拦截器
- 在 Zuul 代理中配置下游身份验证
- 通常具有中央身份管理服务
- 可以快速创建实现常见模式的系统,如单点登录,令牌中继和令牌交换。
39、Spring Cloud Sleuth(链路跟踪)
跟踪请求的调用路径,方便定位问题。
在微服务中,通常根据业务模块分服务,项目中前端发起一个请求,后端可能跨几个服务调用才能完成这个请求。如果系统越来越庞大,服务之间的调用与被调用关系就会变得很复杂,假如一个请求中需要跨几个服务调用,其中一个服务由于网络延迟等原因挂掉了,那么这时候我们需要分析具体哪一个服务出问题了就会显得很困难。Spring Cloud Sleuth 服务链路跟踪功能就可以帮助我们快速的发现错误根源以及监控分析每条请求链路上的性能等等。
40、Spring Cloud Stream
轻量级事件驱动微服务框架,可以使用简单的声明式模型来发送及接收消息,主要实现为 Apache Kafka 及 RabbitMQ。
41、Spring Cloud Task
Spring Cloud Task 的目标是为 Spring Boot 应用程序提供创建短运行期微服务的功能。在 Spring Cloud Task 中,我们可以灵活、动态的运行任何任务,按需分配资源并在任务完成后检索结果。
Tasks 是 Spring Cloud Data Flow 中的一个基础项目,允许用户将几乎任何 Spring Boot 应用程序作为一个短期任务执行。
42、Spring Cloud Zookeeper
Spring Cloud Zookeeper 是基于 Apache Zookeeper 的服务治理组件。
Spring Cloud 支持三种注册方式:Eureka,Consul(go 语言编写),zookeeper。
Java 基础
1、JDK 和 JRE 有什么区别
- JDK:Java Development Kit 的简称,Java 开发工具包,提供了 Java 的开发环境和运行环境。
- JRE:Java Runtime Environment 的简称,Java 运行环境,为 Java 的运行提供了所需环境。
- JDK 其实包含了 JRE,如果你需要运行 Java 程序,只需安装 JRE 就可以了,如果你需要编写 Java 程序,需要安装 JDK。
2、== 和 equals 的区别是什么
- ==:基本类型比较值,引用类型比较引用。
- equals:比较值,起始本质上就是 ==,只不过 String 和 Integer 等重写了 equals 方法。
3、两个对象的 hashCode() 相同,则 equals() 也一定为 true,对吗
不对,两个对象的 hashCode() 相同,equals() 不一定 true。
4、final 在 Java 中有什么作用
- final 修饰的类叫最终类,该类不能被继承。
- final 修饰的方法不能被重写。
- final 修饰的变量叫常量,常量必须初始化,初始化之后值就不能被修改。
5、Java 中的 Math. round(-1. 5) 等于多少
等于 -1,Math. round 四舍五入大于 0. 5 向上取整的。
6、String 属于基础的数据类型吗
String 不属于基础类型,基础类型有 8 种:byte、boolean、char、short、int、float、long、double,而 String 属于对象。
7、Java 中操作字符串都有哪些类?它们之间有什么区别?
- 操作字符串的类有:String、StringBuffer、StringBuilder。
- String 声明的是不可变的对象,每次操作都会生成新的 String 对象,然后将指针指向新的 String 对象,而 StringBuffer、StringBuilder 可以在原有对象的基础上进行操作,所以在经常改变字符串内容的情况下最好不要使用 String。
- StringBuffer 是线程安全的,而 StringBuilder 是非线程安全的,但 StringBuilder 的性能却高于 StringBuffer,所以在单线程环境下推荐使用 StringBuilder,多线程环境下推荐使用 StringBuffer。
8、String str="i" 与 String str=new String(“i”) 一样吗
不一样,因为内存的分配方式不一样。String str="i"的方式,Java 虚拟机会将其分配到常量池中;而 String str=new String(“i”) 则会被分到堆内存中。
9、如何将字符串反转
使用 StringBuilder 或者 stringBuffer 的 reverse() 方法。
StringBuffer stringBuffer = new StringBuffer();
stringBuffer. append(“abcdefg”);
System. out. println(stringBuffer. reverse());
10、String 类的常用方法都有哪些
- indexOf():返回指定字符的索引。
- charAt():返回指定索引处的字符。
- replace():字符串替换。
- trim():去除字符串两端空白。
- split():分割字符串,返回一个分割后的字符串数组。
- getBytes():返回字符串的 byte 类型数组。
- length():返回字符串长度。
- toLowerCase():将字符串转成小写字母。
- toUpperCase():将字符串转成大写字符。
- substring():截取字符串。
- equals():字符串比较。
11、抽象类必须要有抽象方法吗
不需要,抽象类不一定非要有抽象方法。
abstract class Cat {
public static void sayHi() {
System. out. println(“hi~”);
}
}
12、普通类和抽象类有哪些区别
- 普通类不能包含抽象方法,抽象类可以包含抽象方法。
- 抽象类不能直接实例化,普通类可以直接实例化。
13、抽象类能使用 final 修饰吗
不能,定义抽象类就是让其他类继承的(类似接口),如果定义为 final 该类就不能被继承,这样彼此就会产生矛盾,所以 final 不能修饰抽象类。
14、接口和抽象类有什么区别
- 抽象类可以有默认的方法实现;接口不能有默认的方法实现。
- 抽象类的子类使用 extends 来继承;接口必须使用 implements 来实现接口。
- 抽象类可以有构造函数;接口不能有。
- 抽象类可以有 main 方法,并且我们能运行它;接口不能有main 方法。
- 一个类可以实现很多个接口;但是只能继承一个抽象类。
- 接口中的方法默认使用 public 修饰;抽象类中的方法可以是任意访问修饰符。
15、Java 中 IO 流分为几种
- 按功能来分:输入流(input)、输出流(output)。
- 按类型来分:字节流和字符流。
- 字节流和字符流的区别是:字节流按 8 位传输以字节为单位输入输出数据,字符流按 16 位传输以字符为单位输入输出数据。
16、BIO、NIO、AIO 有什么区别
- BIO:Block IO 即同步阻塞式 IO,就是我们平常使用的传统 IO,它的特点是模式简单使用方便,并发处理能力低。
- NIO:New IO 即同步非阻塞 IO,是传统 IO 的升级,客户端和服务器端通过 Channel(通道)通讯,实现了多路复用。
- AIO:Asynchronous IO 是 NIO 的升级,也叫 NIO2,实现了异步非阻塞 IO ,异步 IO 的操作基于事件和回调机制。
17、Files 的常用方法都有哪些
- Files. exists():检测文件路径是否存在。
- Files. createFile():创建文件。
- Files. createDirectory():创建文件夹。
- Files. delete():删除一个文件或目录。
- Files. copy():复制文件。
- Files. move():移动文件。
- Files. size():查看文件个数。
- Files. read():读取文件。
- Files. write():写入文件。
18、Java 容器都有哪些
Java 容器分为 Collection 和 Map 两大类,其下又有很多子类,如下所示:
- Collection
- List
- ArrayList
- LinkedList
- Vector
- Stack
- Set
- HashSet
- LinkedHashSet
- TreeSet
- List
- Map
- HashMap
- LinkedHashMap
- TreeMap
- ConcurrentHashMap
- Hashtable
19、Collection 和 Collections 有什么区别
- Collection 是一个集合接口,它提供了对集合对象进行基本操作的通用接口方法,所有集合都是它的子类,比如 List、Set 等。
- Collections 是一个包装类,包含了很多静态方法,不能被实例化,就像一个工具类,比如提供的排序方法:Collections. sort(list)。
20、List、Set、Map 之间的区别是什么
- List 和 Set 是存储单列数据的集合,Map 是存储键值对这样的双列数据的集合;
- List 中存储的数据是有顺序的,并且值允许重复;Map 中存储的数据是无序的,它的键是不允许重复的,但是值是允许重复的;
- Set 中存储的数据对于用户来说是无顺序的,并且不允许重复,但元素在集合中的位置是由元素的 hashcode 决定,即位置是固定的(Set 集合是根据 hashcode 来进行数据存储的,所以位置是固定的,但是这个位置不是用户可以控制的,所以对于用户来说 set 中的元素还是无序的)。
21、HashMap 和 Hashtable 有什么区别
- HashMap 允许 key 和 value 为 null,而 Hashtable 不允许。
- Hashtable 是线程安全的,而 HashMap 是非线程安全的。
- Hashtable 是保留类不建议使用,推荐在单线程环境下使用HashMap 替代,如果需要多线程使用则用 ConcurrentHashMap 替代。
22、如何决定使用 HashMap 还是 TreeMap
- 对于在 Map 中插入、删除、定位一个元素这类操作,使用 HashMap 。
- 对一个 key 集合进行有序的遍历,那 TreeMap 是更好的选择。
23、说一下 HashMap 的实现原理
HashMap 基于 Hash 算法实现的,我们通过 put(key,value) 存储,get(key) 来获取。当传入 key 时,HashMap 会根据 key.hashCode() 计算出 hash 值,根据 hash 值将 value 保存在 bucket 里。当计算出的 hash 值相同时,我们称之为 hash 冲突,HashMap 的做法是用链表和红黑树存储相同 hash 值的 value。当 hash 冲突的个数比较少时使用链表,否则使用红黑树。
24、说一下 HashSet 的实现原理
HashSet 是基于 HashMap 实现的,HashSet 底层使用 HashMap 来保存所有元素,因此 HashSet 的实现比较简单,相关 HashSet 的操作,基本上都是直接调用底层 HashMap 的相关方法来完成,HashSet 不允许重复的值。
25、ArrayList 和 LinkedList 的区别是什么
- ArrayList 是动态数组的数据结构实现,而 LinkedList 是双向链表的数据结构实现。
- ArrayList 比 LinkedList 在随机访问的时候效率要高,因为 LinkedList 是线性的数据存储方式,所以需要移动指针从前往后依次查找。
- 在非首尾的增加和删除操作,LinkedList 要比 ArrayList 效率要高,因为 ArrayList 增删操作要影响数组内的其他数据的下标。
- 综合来说,在需要频繁读取集合中的元素时,更推荐使用 ArrayList,而在插入和删除操作较多时,更推荐使用 LinkedList。
26、如何实现数组和 List 之间的转换
- 数组转 List:使用 Arrays. asList(array) 进行转换。
- List 转数组:使用 List 自带的 toArray() 方法。
27、 ArrayList 和 Vector 的区别是什么
- Vector 使用了 Synchronized 来实现线程同步,是线程安全的,而 ArrayList 是非线程安全的。
- ArrayList 在性能方面要优于 Vector。
- ArrayList 和 Vector 都会根据实际的需要动态的调整容量,只不过 Vector 扩容每次会增加 1 倍,而 ArrayList 只会增加 50%。
28、 Array 和 ArrayList 有何区别
- Array 可以存储基本数据类型和对象,ArrayList 只能存储对象。
- Array 是指定固定大小的,而 ArrayList 大小是自动扩展的。
- Array 内置方法没有 ArrayList 多,比如 addAll、removeAll、iteration 等方法只有 ArrayList 有。
29、在 Queue 中 poll()和 remove() 有什么区别
- 相同点:都是返回第一个元素,并在队列中删除返回的对象。
- 不同点:如果没有元素 poll()会返回 null,而 remove() 会直接抛出 NoSuchElementException 异常。
30、哪些集合类是线程安全的
Vector、Hashtable、Stack 都是线程安全的,而像 HashMap 则是非线程安全的,不过在 JDK 1.5 之后随着 Java.util. concurrent 并发包的出现,它们也有了自己对应的线程安全类,比如 HashMap 对应的线程安全类就是 ConcurrentHashMap。
31、迭代器 Iterator 是什么
Iterator 接口提供遍历任何 Collection 的接口。我们可以从一个 Collection 中使用迭代器方法来获取迭代器实例。迭代器取代了 Java 集合框架中的 Enumeration,迭代器允许调用者在迭代过程中移除元素。
32、Iterator 怎么使用?有什么特点?
Iterator 的特点是更加安全,因为它可以确保,在当前遍历的集合元素被更改的时候,就会抛出 ConcurrentModificationException 异常。
List<String> list = new ArrayList<>();
Iterator it = list. iterator();
while(it. hasNext()){
String obj = it. next();
System. out. println(obj);
}
33、Iterator 和 ListIterator 有什么区别
- Iterator 可以遍历 Set 和 List 集合,而 ListIterator 只能遍历 List。
- Iterator 只能单向遍历,而 ListIterator 可以双向遍历(向前/后遍历)。
- ListIterator 从 Iterator 接口继承,然后添加了一些额外的功能,比如添加一个元素、替换一个元素、获取前面或后面元素的索引位置。
34、怎么确保一个集合不能被修改
可以使用 Collections.unmodifiableCollection(Collection c) 方法来创建一个只读集合,这样改变集合的任何操作都会抛出 Java. lang.UnsupportedOperationException 异常。
35、什么是反射
反射是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法;对于任意一个对象,都能够调用它的任意一个方法和属性;这种动态获取的信息以及动态调用对象的方法的功能称为 Java 语言的反射机制。
36、什么是 Java 序列化?什么情况下需要序列化?
Java 序列化是为了保存各种对象在内存中的状态,并且可以把保存的对象状态再读出来。以下情况需要使用 Java 序列化:
- 想把内存中的对象状态保存到一个文件中或者数据库中时候;
- 想用套接字在网络上传送对象的时候;
- 想通过 RMI(远程方法调用)传输对象的时候。
37、 动态代理是什么?有哪些应用?
动态代理是运行时动态生成代理类。
动态代理的应用有 spring aop、hibernate 数据查询、测试框架的后端 mock、rpc,Java 注解对象获取等。
38、怎么实现动态代理
JDK 原生动态代理和 cglib 动态代理。
JDK 原生动态代理是基于接口实现的,而 cglib 是基于继承当前类的子类实现的。
39、为什么要使用克隆
克隆的对象可能包含一些已经修改过的属性,而 new 出来的对象的属性都还是初始化时候的值,所以当需要一个新的对象来保存当前对象的“状态”就靠克隆方法了。
40、如何实现对象克隆
- 实现 Cloneable 接口并重写 Object 类中的 clone() 方法。
- 实现 Serializable 接口,通过对象的序列化和反序列化实现克隆,可以实现真正的深度克隆。
41、深拷贝和浅拷贝区别是什么
- 浅克隆:当对象被复制时只复制它本身和其中包含的值类型的成员变量,而引用类型的成员对象并没有复制。
- 深克隆:除了对象本身被复制外,对象所包含的所有成员变量也将复制。
42、JSP 和 servlet 有什么区别
JSP 是 servlet 技术的扩展,本质上就是 servlet 的简易方式。servlet 和 JSP 最主要的不同点在于,servlet 的应用逻辑是在 Java 文件中,并且完全从表示层中的 html 里分离开来,而 JSP 的情况是 Java 和 html 可以组合成一个扩展名为 JSP 的文件。JSP 侧重于视图,servlet 主要用于控制逻辑。
43、JSP 有哪些内置对象?作用分别是什么?
JSP 有 9 大内置对象:
- request:封装客户端的请求,其中包含来自 get 或 post 请求的参数;
- response:封装服务器对客户端的响应;
- pageContext:通过该对象可以获取其他对象;
- session:封装用户会话的对象;
- application:封装服务器运行环境的对象;
- out:输出服务器响应的输出流对象;
- config:Web 应用的配置对象;
- page:JSP 页面本身(相当于 Java 程序中的 this);
- exception:封装页面抛出异常的对象。
44、说一下 JSP 的 4 种作用域
- page:代表与一个页面相关的对象和属性。
- request:代表与客户端发出的一个请求相关的对象和属性。一个请求可能跨越多个页面,涉及多个 Web 组件;需要在页面显示的临时数据可以置于此作用域。
- session:代表与某个用户与服务器建立的一次会话相关的对象和属性。跟某个用户相关的数据应该放在用户自己的 session 中。
- application:代表与整个 Web 应用程序相关的对象和属性,它实质上是跨越整个 Web 应用程序,包括多个页面、请求和会话的一个全局作用域。
45、 session 和 cookie 有什么区别
- session 存储在服务器端;cookie 存储在浏览器端。
- cookie 安全性一般,在浏览器存储,可以被伪造和修改。
- cookie 有容量限制,每个站点下的 cookie 也有个数限制。
- session 可以存储在 Redis 中、数据库中、应用程序中;而 cookie 只能存储在浏览器中。
46、 说一下 session 的工作原理
session 的工作原理是:客户端登录完成之后,服务器会创建对应的 session,session 创建完之后,会把 session 的id 发送给客户端,客户端再存储到浏览器中。这样客户端每次访问服务器时,都会带着 sessionid,服务器拿到 sessionid 之后,在内存找到与之对应的 session,这样就可以正常工作了。
47、如果客户端禁止 cookie,那 session 还能用吗
可以用,session 只是需要 cookie 存储 sessionid,如果 cookie 被禁用了,可以使用 url 中添加 sessionid 的方式保证 session 能正常使用。
48、spring mvc 和 struts 的区别是什么
- struts2 是类级别的拦截;spring mvc 是方法级别的拦截。
- spring mvc 的方法之间基本上是独立的,独享 request 和 response 数据,请求数据通过参数获取,处理结果通过 ModelMap 交回给框架,方法之间不共享变量;而 struts2 虽然方法之间也是独立的,但其所有 action 变量是共享的,这不会影响程序运行,却给我们编码和读程序时带来了一定的麻烦。
- struts2 有以自己的 interceptor 机制,spring mvc 用的是独立的 aop 方式,这样导致 struts2 的配置文件量比 spring mvc 大。
- spring mvc 集成了 ajax,所有 ajax 使用很方便,只需要一个注解 @ResponseBody 就可以实现了;而 struts2 一般需要安装插件或者自己写代码才行。
49、如何避免 SQL 注入
- 使用预处理 PreparedStatement。
- 使用正则表达式过滤掉字符中的特殊字符。
为什么使用预处理能避免 SQL 注入?因为预处理后会把传入的参数只作为参数。比如:select * from user where name
= ?,假如传的参数是:zs or id = 1,那么在执行查询时会把这个参数作为一个整体,不会去解析里面的 or 连接词。
50、什么是 XSS 攻击,如何避免
XSS 攻击:即跨站脚本攻击,它是 Web 程序中常见的漏洞。原理是攻击者往 Web 页面里插入恶意的脚本代码(css 代码、Javascript 代码等),当用户浏览该页面时,嵌入其中的脚本代码会被执行,从而达到恶意攻击用户的目的,如盗取用户 cookie、破坏页面结构、重定向到其他网站等。预防 XSS 的核心是必须对输入的数据做过滤处理。
51、什么是 CSRF 攻击,如何避免
CSRF:Cross-Site Request Forgery(中文:跨站请求伪造),可以理解为攻击者盗用了你的身份,以你的名义发送恶意请求,比如:以你名义发送邮件、发消息、购买商品,虚拟货币转账等。
防御手段:
- 验证请求来源地址;
- 关键操作添加验证码;
- 在请求地址添加 token 并验证。
52、 throw 和 throws 的区别
- throw:是真实抛出一个异常。
- throws:是声明可能会抛出一个异常。
53、 final、finally、finalize 有什么区别
- final:是修饰符,如果修饰类,此类不能被继承;如果修饰方法和变量,则表示此方法和此变量不能在被改变,只能使用。
- finally:是 try{} catch{} finally{} 的最后一部分,表示不论发生任何情况都会执行,finally 部分可以省略,但如果 finally 部分存在,则一定会执行里面的代码。
- finalize: 是 Object 类的一个方法,在垃圾收集器执行的时候会调用被回收对象的此方法。
54、try-catch-finally 中哪个部分可以省略?
catch 和 finally 都可以被省略,但是不能同时省略,也就是说有 try 的时候,必须后面跟一个 catch 或者 finally。
55、try-catch-finally 中,如果 catch 中 return 了,finally 还会执行吗?
finally 一定会执行,即使是 catch 中 return 了,catch 中的 return 会等 finally 中的代码执行完之后,才会执行。
56、常见的异常类有哪些
- NullPointerException:空指针异常
- ClassNotFoundException:指定类不存在
- NumberFormatException:字符串转换为数字异常
- IndexOutOfBoundsException:数组下标越界异常
- ClassCastException:数据类型转换异常
- FileNotFoundException:文件未找到异常
- NoSuchMethodException:方法不存在异常
- IOException:IO 异常
- SocketException:Socket 异常
57、http 响应码 301 和 302 代表的是什么?有什么区别?
- 301:永久重定向。
- 302:暂时重定向。
它们的区别是:
- 301 对搜索引擎优化(SEO)更加有利;
- 302有被提示为网络拦截的风险。
58、forward 和 redirect 的区别?
- forward 是转发 和 redirect 是重定向;
- foward url 不会发生改变,redirect url 会发生改变;
- forward 可以共享 request 里的数据,redirect 不能共享;
- forward 比 redirect 效率高。
59、简述 tcp 和 udp 的区别
tcp 和 udp 是 OSI 模型中的运输层中的协议。tcp 提供可靠的通信传输,而 udp 则常被用于让广播和细节控制交给应用的通信传输。
两者的区别大致如下:
- tcp 面向连接,udp 面向非连接即发送数据前不需要建立链接;
- tcp 提供可靠的服务(数据传输),udp 无法保证;
- tcp 面向字节流,udp 面向报文;
- tcp 数据传输慢,udp 数据传输快;
60、tcp 为什么要三次握手,两次不行吗?为什么?
避免资源浪费、防止历史连接(旧的重复连接)初始化造成混乱。
如果采用两次握手,那么只要服务器发出确认数据包就会建立连接,但由于客户端此时并未响应服务器端的请求,那此时服务器端就会一直在等待客户端,这样服务器端就白白浪费了一定的资源。若采用三次握手,服务器端没有收到来自客户端的再此确认,则就会知道客户端并没有要求建立请求,就不会浪费服务器的资源。
https://mp.weixin.qq.com/s/2yR1ZhaSlNoMEwfDXaQBtw
问:TCP 三次握手中,客户端收到的第二次握手中 ack 确认号不是自己期望的,会发生什么?是直接丢弃 or 回 RST(连接中止) 报文?
答:回 RST 报文。
问:什么情况下会收到不正确的 ack(第二次握手中的 ack) 呢?
答:当客户端发起多次 SYN 报文,然后网络拥堵的情况下,「旧的 SYN 报文」比「新的 SYN 报文」早抵达服务端,此时服务端就会按照收到的「旧的 SYN 报文」回复 syn+ack 报文,而此报文的确认号并不是客户端期望收到的,于是客户端就会回 RST 报文。
61、说一下 tcp 粘包是怎么产生的
tcp 粘包可能发生在发送端或者接收端,分别来看两端各种产生粘包的原因:
- 发送端粘包:发送端需要等缓冲区满才发送出去,造成粘包;
- 接收方粘包:接收方不及时接收缓冲区的包,造成多个包接收。
62、OSI 的七层模型都有哪些?
- 物理层:利用传输介质为数据链路层提供物理连接,实现比特流的透明传输。
- 数据链路层:负责建立和管理节点间的链路。
- 网络层:通过路由选择算法,为报文或分组通过通信子网选择最适当的路径。
- 传输层:向用户提供可靠的端到端的差错和流量控制,保证报文的正确传输。
- 会话层:向两个实体的表示层提供建立和使用连接的方法。
- 表示层:处理用户信息的表示问题,如编码、数据格式转换和加密解密等。
- 应用层:直接向用户提供服务,完成用户希望在网络上完成的各种工作。
63、get 和 post 请求有哪些区别?
- get 请求会被浏览器主动缓存,而 post 不会。
- get 传递参数有大小限制(Http 协议本身没有做具体限制,而是不同的浏览器设置了不同的长度限制),而 post 没有。
- post 参数传输更安全,get 的参数会明文显示在 url 上,post 不会。
64、如何实现跨域
- 服务器端运行跨域,设置 CORS 等于 *;
- 在单个接口使用注解 @CrossOrigin 运行跨域;
- 使用 jsonp 跨域;
65、说一下 JSONP 实现原理
jsonp:JSON with Padding,它是利用 script 标签的 src 连接可以访问不同源的特性,加载远程返回的 “JS 函数” 来执行的。
66、说一下你熟悉的设计模式
- 单例模式:保证被创建一次,节省系统开销。
- 工厂模式(简单工厂、抽象工厂):解耦代码。
- 观察者模式:定义了对象之间的一对多的依赖,这样一来,当一个对象改变时,它的所有的依赖者都会收到通知并自动更新。
- 外观模式:提供一个统一的接口,用来访问子系统中的一群接口,外观定义了一个高层的接口,让子系统更容易使用。
- 模版方法模式:定义了一个算法的骨架,将一些步骤延迟到子类中,模版方法使得子类可以在不改变算法结构的情况下,重新定义算法的步骤。
- 状态模式:允许对象在内部状态改变时改变它的行为,对象看起来好像修改了它的类。
67、简单工厂和抽象工厂有什么区别
- 简单工厂:用来生产同一等级结构中的任意产品,对于增加新的产品,无能为力。
- 工厂方法:用来生产同一等级结构中的固定产品,支持增加任意产品。
- 抽象工厂:用来生产不同产品族的全部产品,对于增加新的产品,无能为力;支持增加产品族。
68、为什么要使用 spring
- spring 提供 ioc 技术,容器会帮忙管理依赖的对象,从而不需要自己创建和管理依赖对象了,更轻松的实现了程序的解耦。
- spring 提供了事务支持,使得事务操作变的更加方便。
- spring 提供了 aop 面向切片编程,这样可以更方便的处理某一类的问题。
- 更方便的框架集成,spring 可以很方便的集成其他框架,比如 MyBatis、hibernate
69、解释一下什么是 aop
- 统一处理某一类的问题的编程思想,核心是预编译和运行期动态代理。
- aop 是面向切面编程,通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。简单来说就是统一处理某一“切面”(类)的问题的编程思想,比如统一处理日志、异常等。
70、解释一下什么是 ioc
就是由 spring 来负责控制对象的生命周期和对象间的关系,而不是对象本身。
ioc:Inversionof Control(中文:控制反转)是 spring 的核心,对于 spring 框架来说,就是由 spring 来负责控制对象的生命周期和对象间的关系。简单来说,控制指的是当前对象对内部成员的控制权;控制反转指的是,这种控制权不由当前对象管理了,由其他(类、第三方容器)来管理。
71、spring 有哪些主要模块
- spring core:框架的最基础部分,提供 ioc 和依赖注入特性。
- spring context:构建于 core 封装包基础上的 context 封装包,提供了一种框架式的对象访问方法。
- spring dao:Data Access Object 提供了 JDBC 的抽象层。
- spring aop:提供了面向切面的编程实现,让你可以自定义拦截器、切点等。
- spring Web:提供了针对 Web 开发的集成特性,例如文件上传,利用 servlet listeners 进行 ioc 容器初始化和针对 Web 的 ApplicationContext。
- spring Web mvc:spring 中的 mvc 封装包提供了 Web 应用的 Model-View-Controller(MVC)的实现。
72、spring 常用的注入方式有哪些
- setter 属性注入
- 构造方法注入
- 注解方式注入
73、spring 中的 bean 是线程安全的吗
dao 类线程安全(不存数据),model(实体类)非线程安全(存储数据)。
spring 中的 bean 默认是单例模式,spring 框架并没有对单例 bean 进行多线程的封装处理。实际上大部分时候 spring bean 无状态的(比如 dao 类),所以某种程度上来说 bean 也是安全的,但如果 bean 有状态的话(比如 view model 对象),那就要开发者自己去保证线程安全了,最简单的就是改变 bean 的作用域,把 “singleton” 变更为 “prototype”,这样请求 bean相当于 new Bean()了,所以就可以保证线程安全了。
有状态就是有数据存储功能。无状态就是不会保存数据。
74、spring 支持几种 bean 的作用域
spring 支持 5 种作用域,如下:
- singleton:spring ioc 容器中只存在一个 bean 实例,bean 以单例模式存在,是系统默认值;
- prototype:每次从容器调用 bean 时都会创建一个新的示例,既每次 getBean() 相当于执行 new Bean()操作;
- Web 环境下的作用域:
- request:每次 http 请求都会创建一个 bean;
- session:同一个 http session 共享一个 bean 实例;
- global-session:用于 portlet 容器,因为每个 portlet 有单独的 session,global-session 提供一个全局性的 http session。
- 注意: 使用 prototype 作用域需要慎重的思考,因为频繁创建和销毁 bean 会带来很大的性能开销。
75、spring 自动装配 bean 有哪些方式
- no:默认值,表示没有自动装配,应使用显式 bean 引用进行装配。
- byName:它根据 bean 的名称注入对象依赖项。
- byType:它根据类型注入对象依赖项。
- 构造函数:通过构造函数来注入依赖项,需要设置大量的参数。
- autodetect:容器首先通过构造函数使用 autowire 装配,如果不能,则通过 byType 自动装配。
76、spring 事务实现方式有哪些
- 声明式事务:声明式事务也有两种实现方式,基于 xml 配置文件的方式和注解方式(在类上添加 @Transaction 注解)。
- 编码方式:提供编码的形式管理和维护事务。
77、说一下 spring 的事务隔离
spring 有五大隔离级别,默认值为 ISOLATION_DEFAULT(使用数据库的设置),其他四个隔离级别和数据库的隔离级别一致:
- ISOLATION_DEFAULT:用底层数据库的设置隔离级别,数据库设置的是什么我就用什么;
- ISOLATION_READ_UNCOMMITTED:未提交读,最低隔离级别、事务未提交前,就可被其他事务读取(会出现幻读、脏读、不可重复读);
- ISOLATION_READ_COMMITTED:提交读,一个事务提交后才能被其他事务读取到(会造成幻读、不可重复读),SQL server 的默认级别;
- ISOLATION_REPEATABLEREAD:可重复读,保证多次读取同一个数据时,其值都和事务开始时候的内容是一致,禁止读取到别的事务未提交的数据(会造成幻读),MySQL 的默认级别;
- ISOLATION_SERIALIZABLE:序列化,代价最高最可靠的隔离级别,该隔离级别能防止脏读、不可重复读、幻读。
说明:
- 脏读 :表示一个事务能够读取另一个事务中还未提交的数据。比如,某个事务尝试插入记录 A,此时该事务还未提交,然后另一个事务尝试读取到了记录 A。
- 不可重复读 :是指在一个事务内,多次读同一数据。
- 幻读 :指同一个事务内多次查询返回的结果集不一样。比如同一个事务 A 第一次查询时候有 n 条记录,但是第二次同等条件下查询却有 n+1 条记录,这就好像产生了幻觉。发生幻读的原因也是另外一个事务新增或者删除或者修改了第一个事务结果集里面的数据,同一个记录的数据内容被修改了,所有数据行的记录就变多或者变少了。
78、说一下 spring mvc 运行流程
- spring mvc 先将请求发送给 DispatcherServlet。
- DispatcherServlet 查询一个或多个 HandlerMapping,找到处理请求的 Controller。
- DispatcherServlet 再把请求提交到对应的 Controller。
- Controller 进行业务逻辑处理后,会返回一个 ModelAndView。
- Dispathcher 查询一个或多个 ViewResolver 视图解析器,找到 ModelAndView 对象指定的视图对象。
- 视图对象负责渲染返回给客户端。
79、spring mvc 有哪些组件?
- 前置控制器 DispatcherServlet。
- 映射控制器 HandlerMapping。
- 处理器 Controller。
- 模型和视图 ModelAndView。
- 视图解析器 ViewResolver。
80、@RequestMapping 的作用是什么?
将 http 请求映射到相应的类/方法上。
81、@Autowired 的作用是什么?
@Autowired 它可以对类成员变量、方法及构造函数进行标注,完成自动装配的工作,通过@Autowired 的使用来消除 set/get 方法。
82、jpa 和 hibernate 有什么区别?
jpa 全称 Java Persistence API,是 Java 持久化接口规范,hibernate 属于 jpa 的具体实现。
83、 什么是 ORM 框架?
ORM(Object Relation Mapping)对象关系映射,是把数据库中的关系数据映射成为程序中的对象。
优点:提高了开发效率降低了开发成本、开发更简单更对象化、可移植更强。
84、为什么要使用 hibernate?
- hibernate 是对 jdbc 的封装,大大简化了数据访问层的繁琐的重复性代码。
- hibernate 是一个优秀的 ORM 实现,很多程度上简化了 DAO 层的编码功能。
- 可以很方便的进行数据库的移植工作。
- 提供了缓存机制,是程序执行更改的高效。
85、hibernate 中如何在控制台查看打印的 SQL 语句?
在 Config 里面把 hibernate. show_SQL 设置为 true 就可以。但不建议开启,开启之后会降低程序的运行效率。
86、hibernate 有几种查询方式?
三种:原生 SQL、hql、条件查询 Criteria。
87、hibernate 实体类可以被定义为 final 吗?
可以,但这样的话就不能使用 hibernate 代理模式下的延迟关联提供性能了,所以不建议定义实体类为 final。
88、在 hibernate 中使用 Integer 和 int 做映射有什么区别?
Integer 类型为对象,它的值允许为 null,而 int 属于基础数据类型,值不能为 null。
89、 hibernate 是如何工作的?
- 读取并解析配置文件。
- 读取并解析映射文件,创建 SessionFactory。
- 打开 Session。
- 创建事务。
- 进行持久化操作。
- 提交事务。
- 关闭 Session。
- 关闭 SessionFactory。
90、说一下 hibernate 的缓存机制。
hibernate 常用的缓存有一级缓存和二级缓存:
- 一级缓存:也叫 Session 缓存,只在 Session 作用范围内有效,不需要用户干涉,由 hibernate 自身维护,可以通过:
- evict(object) 清除 object 的缓存;
- clear() 清除一级缓存中的所有缓存;
- flush() 刷出缓存;
- 二级缓存:应用级别的缓存,在所有 Session 中都有效,支持配置第三方的缓存,如:EhCache。
91、hibernate 对象有哪些状态?
- 临时/瞬时状态:直接 new 出来的对象,该对象还没被持久化(没保存在数据库中),不受 Session 管理。
- 持久化状态:当调用 Session 的 save/saveOrupdate/get/load/list 等方法的时候,对象就是持久化状态。
- 游离状态:Session 关闭之后对象就是游离状态。
92、在 hibernate 中 getCurrentSession 和 openSession 的区别是什么
- getCurrentSession 会绑定当前线程,而 openSession 则不会。
- getCurrentSession 事务是 Spring 控制的,并且不需要手动关闭,而 openSession 需要我们自己手动开启和提交事务。
93、hibernate 实体类必须要有无参构造函数吗?为什么?
hibernate 中每个实体类必须提供一个无参构造函数,因为 hibernate 框架要使用 reflection api,通过调用 ClassnewInstance() 来创建实体类的实例,如果没有无参的构造函数就会抛出异常。
94、Mybatis 中 #{} 和 ${} 的区别
- #{} 将传入的数据当作一个字符串,会对传入的数据加上一个双引号,能够很大程度上防止 sql 注入。
- ${} 将传入的数据直接显示生成在 sql 中,无法防止 sql 注入。
- Mybatis 排序时使用 order by 动态参数时需要注意,用 ${} 而不是 #{}。
95、MyBatis 有几种分页方式?
分页方式:逻辑分页和物理分页。
- 逻辑分页: 使用 MyBatis 自带的 RowBounds 进行分页,它是一次性查询很多数据,然后在数据中再进行检索,需要消耗大量的内存、有内存溢出的风险、对数据库压力较大。
- 物理分页: 自己手写 SQL 分页或使用分页插件 PageHelper,去数据库查询指定条数的分页数据的形式。
96、RowBounds 是一次性查询全部结果吗?为什么?
不是,jdbc 驱动中有一个 Fetch Size 的配置,它规定了每次最多从数据库查询多少条数据。
97、MyBatis 是否支持延迟加载?延迟加载的原理是什么?
MyBatis 支持延迟加载,设置 lazyLoadingEnabled=true 即可。
延迟加载的原理是调用的时候触发加载,而不是在初始化的时候就加载信息。比如调用 a. getB().getName(),这个时候发现 a. getB() 的值为 null,此时会单独触发事先保存好的关联 B 对象的 SQL,先查询出来 B,然后再调用 a. setB(b),而这时候再调用 a. getB(). getName() 就有值了,这就是延迟加载的基本原理。
98、说一下 MyBatis 的一级缓存和二级缓存。
- 一级缓存:基于 PerpetualCache 的 HashMap 本地缓存,它的生命周期是和 SQLSession 一致的,有多个 SQLSession 或者分布式的环境中数据库操作,可能会出现脏数据。当 Session flush 或 close 之后,该 Session 中的所有 Cache就将清空,默认一级缓存是开启的。
- 二级缓存:也是基于 PerpetualCache 的 HashMap 本地缓存,不同在于其存储作用域为 Mapper 级别的,如果多个 SQLSession 之间需要共享缓存,则需要使用到二级缓存,并且二级缓存可自定义存储源,如 Ehcache。默认不打开二级缓存,要开启二级缓存,使用二级缓存属性类需要实现 Serializable 序列化接口(可用来保存对象的状态)。
- 开启二级缓存后数据查询流程:二级缓存 → 一级缓存 → 数据库。
- 缓存更新机制:当某一个作用域(一级缓存 Session/二级缓存 Mapper)进行了 C/U/D 操作后,默认该作用域下所有 select 中的缓存将被 clear。
99、MyBatis 和 hibernate 的区别有哪些?
- MyBatis 更加灵活,自己可以写 SQL 语句,使用起来比较方便。
- MyBatis 有很多自己写的 SQL,因为每个数据库的 SQL 可以不相同,所以可移植性比较差。
- MyBatis 入门比较简单,使用门槛也更低。
100、MyBatis 有哪些执行器(Executor)?
MyBatis 有三种基本的 Executor 执行器:
- SimpleExecutor:每执行一次 update 或 select 就开启一个 Statement 对象,用完立刻关闭 Statement 对象;
- ReuseExecutor:执行 update 或 select,以 SQL 作为 key 查找 Statement 对象,存在就使用,不存在就创建,用完后不关闭 Statement 对象,而是放置于 Map 内供下一次使用。简言之,就是重复使用 Statement 对象;
- BatchExecutor:执行 update(没有 select,jdbc 批处理不支持 select),将所有 SQL 都添加到批处理中(addBatch()),等待统一执行(executeBatch()),它缓存了多个 Statement 对象,每个 Statement 对象都是 addBatch() 完毕后,等待逐一执行 executeBatch() 批处理,与 jdbc 批处理相同。
101、 MyBatis 分页插件的实现原理是什么?
分页插件的基本原理是使用 MyBatis 提供的插件接口,实现自定义插件,在插件的拦截方法内拦截待执行的 SQL,然后重写 SQL,根据 dialect 方言,添加对应的物理分页语句和物理分页参数。
102、MyBatis 如何编写一个自定义插件
自定义插件实现原理:MyBatis 自定义插件针对MyBatis 四大对象(Executor、StatementHandler、ParameterHandler、ResultSetHandler)进行拦截。
RabbitMQ
1、RabbitMQ 的使用场景有哪些?
- 抢购活动:削峰填谷,防止系统崩塌。
- 延迟信息处理:比如 10 分钟之后给下单未付款的用户发送邮件提醒。
- 解耦系统:对于新增的功能可以单独写模块扩展,比如用户确认评价之后,新增了给用户返积分的功能,这个时候不用在业务代码里添加新增积分的功能,只需要把新增积分的接口订阅确认评价的消息队列即可,后面再添加任何功能只需要订阅对应的消息队列即可。
2、RabbitMQ 有哪些重要的角色?
RabbitMQ 中重要的角色有:生产者、消费者和代理:
- 生产者:消息的创建者,负责创建和推送数据到消息服务器;
- 消费者:消息的接收方,用于处理数据和确认消息;
- 代理:就是 RabbitMQ 本身,用于扮演“快递”的角色,本身不生产消息,只是扮演“快递”的角色。
3、RabbitMQ 有哪些重要的组件?
- ConnectionFactory(连接管理器):应用程序与 Rabbit 之间建立连接的管理器,程序代码中使用。
- Channel(信道):消息推送使用的通道。
- Exchange(交换器):用于接受、分配消息。
- Queue(队列):用于存储生产者的消息。
- RoutingKey(路由键):用于把生成者的数据分配到交换器上。
- BindingKey(绑定键):用于把交换器的消息绑定到队列上。
4、 RabbitMQ 中 vhost(虚拟主机) 的作用是什么?
提供逻辑分组和资源分离。
vhost:每个 RabbitMQ 都能创建很多 vhost,我们称之为虚拟主机,每个虚拟主机其实都是 mini 版的 RabbitMQ,它拥有自己的队列,交换器和绑定,拥有自己的权限机制。
5、RabbitMQ 的消息是怎么发送的?
首先客户端必须连接到 RabbitMQ 服务器才能发布和消费消息,客户端和 rabbit server 之间会创建一个 tcp 连接,一旦 tcp 打开并通过了认证(认证就是你发送给 rabbit 服务器的用户名和密码),你的客户端和 RabbitMQ 就创建了一条 amqp 信道(channel),信道是创建在“真实” tcp 上的虚拟连接,amqp 命令都是通过信道发送出去的,每个信道都会有一个唯一的 id,不论是发布消息,订阅队列都是通过这个信道完成的。
6、RabbitMQ 怎么保证消息的稳定性?
- 提供了事务的功能(很耗费性能,会降低吞吐量)。
- 通过将 channel 设置为 confirm(确认)模式(是异步的,推荐使用)。
7、RabbitMQ 怎么避免消息丢失?
http://tools.jbritian.com/link/z
把消息持久化磁盘,保证服务器重启消息不丢失;每个集群中至少有一个物理磁盘,保证消息落入磁盘。
- 针对生产者:
- 开启RabbitMQ事务(不推荐)
- 使用confirm机制
- 针对 Rabbitmq:
- 消息持久化到硬盘
- 设置集群镜像部署模式
- 设置集群镜像模式
- 针对消费者:
- ACK确认机制:使用 rabbitmq 提供的 ack 机制,服务端首先关闭 rabbitmq 的自动 ack,然后每次在确保处理完这个消息之后,在代码里手动调用 ack。这样就可以避免消息还没有处理完就 ack。才把消息从内存删除。
8、要保证消息持久化成功的条件有哪些?
- 声明队列必须设置持久化 durable 设置为 true。
- 消息推送投递模式必须设置持久化,deliveryMode 设置为2(持久)。
- 消息已经到达持久化交换器。
- 消息已经到达持久化队列。
以上四个条件都满足才能保证消息持久化成功。
9、RabbitMQ 持久化有什么缺点?
持久化的缺地就是降低了服务器的吞吐量,因为使用的是磁盘而非内存存储,从而降低了吞吐量。可尽量使用 ssd 硬盘来缓解吞吐量的问题。
10、RabbitMQ 有几种广播类型?
- direct(直连,默认方式):最基础最简单的模式,发送方把消息发送给订阅方,如果有多个订阅者,默认采取轮询的方式进行消息发送。
- headers:与 direct 类似,只是性能很差,此类型几乎用不到。
- fanout(扇出):分发模式,把消费分发给所有订阅者。
- topic:匹配订阅模式,使用正则匹配到消息队列,能匹配到的都能接收到。
11、RabbitMQ 怎么实现延迟消息队列?
- 通过消息过期后进入死信交换器,再由交换器转发到延迟消费队列,实现延迟功能;
- 使用 RabbitMQ-delayed-message-exchange 插件实现延迟功能。
12、RabbitMQ 集群有什么用?
- 高可用:某个服务器出现问题,整个 RabbitMQ 还可以继续使用;
- 高容量:集群可以承载更多的消息量。
13、RabbitMQ 节点的类型有哪些?
- 磁盘节点:消息会存储到磁盘。
- 内存节点:消息都存储在内存中,重启服务器消息丢失,性能高于磁盘类型。
14、RabbitMQ 集群搭建需要注意哪些问题?
- 各节点之间使用 “–link” 连接,此属性不能忽略。
- 各节点使用的 erlang cookie 值必须相同,此值相当于“秘钥”的功能,用于各节点的认证。
- 整个集群中必须包含一个磁盘节点。
15、RabbitMQ 每个节点是其他节点的完整拷贝吗?为什么?
不是,原因有以下两个:
- 存储空间的考虑:如果每个节点都拥有所有队列的完全拷贝,这样新增节点不但没有新增存储空间,反而增加了更多的冗余数据;
- 性能的考虑:如果每条消息都需要完整拷贝到每一个集群节点,那新增节点并没有提升处理消息的能力,最多是保持和单节点相同的性能甚至是更糟。
16、RabbitMQ 集群中唯一一个磁盘节点崩溃了会发生什么情况?
唯一磁盘节点崩溃了,集群是可以保持运行的,但你不能更改任何东西,不能进行以下操作:
- 不能创建队列
- 不能创建交换器
- 不能创建绑定
- 不能添加用户
- 不能更改权限
- 不能添加和删除集群节点
17、RabbitMQ 对集群节点停止顺序有要求吗?
RabbitMQ 对集群的停止的顺序是有要求的,应该先关闭内存节点,最后再关闭磁盘节点
。如果顺序恰好相反的话,可能会造成消息的丢失。
Kafka
1、kafka 可以脱离 zookeeper 单独使用吗?为什么?
kafka 不能脱离 zookeeper 单独使用,因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。
2、kafka 有几种数据保留的策略?
kafka 有两种数据保存策略:按照过期时间
保留和按照存储的消息大小
保留。
3、kafka 同时设置了 7 天和 10G 清除数据,到第五天的时候消息达到了 10G,这个时候 kafka 将如何处理?
这个时候 kafka 会执行数据清除工作,时间和大小不论那个满足条件,都会清空数据。
4、什么情况会导致 kafka 运行变慢?
- cpu 性能瓶颈
- 磁盘读写瓶颈
- 网络瓶颈
5、使用 kafka 集群需要注意什么?
- 集群的数量不是越多越好,最好不要超过 7 个,因为节点越多,消息复制需要的时间就越长,整个群组的吞吐量就越低。
- 集群数量最好是单数,因为超过一半故障集群就不能用了,设置为单数容错率更高。
Zookeeper
1、zookeeper 是什么?
- zookeeper 是一个开源的分布式应用程序协调服务,是 google chubby 的开源实现,是 hadoop 和 hbase 的重要组件。
- 它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
2、zookeeper 都有哪些功能?
- 集群管理:监控节点存活状态、运行请求等。
- 主节点选举:主节点挂掉了之后可以从备用的节点开始新一轮选主,主节点选举说的就是这个选举的过程,使用 zookeeper 可以协助完成这个过程。
- 分布式锁:zookeeper 提供两种锁:独占锁、共享锁。独占锁即一次只能有一个线程使用资源,共享锁是读锁共享,读写互斥,即可以有多线线程同时读同一个资源,如果要使用写锁也只能有一个线程使用。
- zookeeper 可以对分布式锁进行控制。
- 命名服务:在分布式系统中,通过使用命名服务,客户端应用能够根据指定名字来获取资源或服务的地址,提供者等信息。
3、zookeeper 有几种部署模式?
zookeeper 有三种部署模式:
- 单机部署:一台集群上运行;
- 集群部署:多台集群运行;
- 伪集群部署:一台集群启动多个 zookeeper 实例运行。
4、zookeeper 怎么保证主从节点的状态同步?
zookeeper 的核心是原子广播,这个机制保证了各个 server 之间的同步。实现这个机制的协议叫做 zab 协议。 zab 协议有两种模式,分别是恢复模式(选主)和广播模式(同步)。当服务启动或者在领导者崩溃后,zab 就进入了恢复模式,当领导者被选举出来,且大多数 server 完成了和 leader 的状态同步以后,恢复模式就结束了。状态同步保证了 leader 和 server 具有相同的系统状态。
5、 集群中为什么要有主节点?
在分布式环境中,有些业务逻辑只需要集群中的某一台机器进行执行,其他的机器可以共享这个结果,这样可以大大减少重复计算
,提高性能
,所以就需要主节点。
6、集群中有 3 台服务器,其中一个节点宕机,这个时候 zookeeper 还可以使用吗?
可以继续使用,单数服务器只要没超过一半的服务器宕机就可以继续使用。
7、说一下 zookeeper 的通知机制?
客户端端会对某个 znode 建立一个 watcher 事件,当该 znode 发生变化时,这些客户端会收到 zookeeper 的通知,然后客户端可以根据 znode 变化来做出业务上的改变。
MySQL
1、数据库的三范式是什么?
- 第一范式:强调的是列的原子性,即数据库表的每一列都是不可分割的原子数据项。
- 第二范式:要求实体的属性完全依赖于主关键字。所谓完全依赖是指不能存在仅依赖主关键字一部分的属性。
- 第三范式:任何非主属性不依赖于其它非主属性。
2、一张自增表里面总共有 7 条数据,删除了最后 2 条数据,重启 MySQL 数据库,又插入了一条数据,此时 id 是几?
- 表类型如果是 MyISAM ,那 id 就是 8。
- 表类型如果是 InnoDB,那 id 就是 6。
- InnoDB 表只会把自增主键的最大 id 记录在
内存
中,所以重启之后会导致最大 id 丢失。
3、说一下 ACID 是什么?
- Atomicity(原子性):一个事务(transaction)中的所有操作,或者全部完成,或者全部不完成,不会结束在中间某个环节。事务在执行过程中发生错误,会被恢复(Rollback)到事务开始前的状态,就像这个事务从来没有执行过一样。即,事务不可分割、不可约简。
- Consistency(一致性):在事务开始之前和事务结束以后,数据库的完整性没有被破坏。这表示写入的资料必须完全符合所有的预设约束、触发器、级联回滚等。
- Isolation(隔离性):在并发操作数据库时,保护数据的一致性。数据库允许多个并发事务同时对其数据进行读写和修改的能力,隔离性可以防止多个事务并发执行时由于交叉执行而导致数据的不一致。事务隔离分为不同级别,包括读未提交(Read uncommitted)、读提交(read committed)、可重复读(repeatable read)和串行化(Serializable)。
- Durability(持久性):事务处理结束后,对数据的修改就是永久的,即便系统故障也不会丢失。
4、char 和 varchar 的区别是什么?
- char(n) :固定长度类型,比如订阅 char(10),当你输入"abc"三个字符的时候,它们占的空间还是 10 个字节,其他7 个是空字节。
- chat 优点:效率高;
- 缺点:占用空间;
- 适用场景:存储密码的 md5 值,固定长度的,使用 char 非常合适。
- varchar(n) :可变长度,存储的值是每个值占用的字节再加上一个用来记录其长度的字节。
- 所以,从空间上考虑 varcahr 比较合适;从效率上考虑 char 比较合适,二者使用需要权衡。
5、float 和 double 的区别是什么?
- float 最多可以存储 8 位的十进制数,并在内存中占 4 字节。
- double 最可可以存储 16 位的十进制数,并在内存中占 8字节。
6、MySQL 的内连接、左连接、右连接有什么区别?
- 内连接关键字:inner join;左连接:left join;右连接:right join。
- 内连接是把匹配的关联数据显示出来,取交集;
- 左连接是左边的表全部显示出来,右边的表显示出符合条件的数据;
- 右连接正好相反。
7、MySQL 索引是怎么实现的?
索引是满足某种特定查找算法的数据结构,而这些数据结构会以某种方式指向数据,从而实现高效查找数据。具体来说 MySQL 中的索引,不同的数据引擎实现有所不同,但目前主流的数据库引擎的索引都是 B+ 树实现的,B+ 树的搜索效率,可以到达二分法的性能,找到数据区域之后就找到了完整的数据结构了,所以索引的性能也是更好的。
8、怎么验证 MySQL 的索引是否满足需求?
使用 explain 查看 SQL 是如何执行查询语句的,从而分析你的索引是否满足需求。
explain select * from table where type=1;
9、说一下数据库的事务隔离
MySQL 的事务隔离是在 mysql.ini
配置文件里添加的,在文件的最后添加:transaction-isolation = REPEATABLE-READ
(可用的配置值:READ-UNCOMMITTED、READ-COMMITTED、REPEATABLE-READ、SERIALIZABLE)。
- READ-UNCOMMITTED:未提交读,最低隔离级别、事务未提交前,就可被其他事务读取(会出现幻读、脏读、不可重复读)。
- READ-COMMITTED:提交读,一个事务提交后才能被其他事务读取到(会造成幻读、不可重复读)。
- REPEATABLE-READ:可重复读,默认级别,保证多次读取同一个数据时,其值都和事务开始时候的内容是一致,禁止读取到别的事务未提交的数据(会造成幻读)。
- SERIALIZABLE:序列化,代价最高最可靠的隔离级别,该隔离级别能防止脏读、不可重复读、幻读。
说明:
https://blog.csdn.net/qq_43562988/article/details/122289427
- 脏读 :表示一个事务能够读取另一个事务中还未提交的数据。比如,某个事务尝试插入记录 A,此时该事务还未提交,然后另一个事务尝试读取到了记录 A。
- 不可重复读 :是指在一个事务内,多次读同一数据(select name from user where id = 1),结果不同。
- 幻读 :指同一个事务内多次查询返回的结果集不一样(select count(*) from user)。发生幻读的原因也是另外一个事务新增或者删除了第一个事务结果集里面的数据。
10、说一下 MySQL 常用的引擎?
- InnoDB 引擎:MySQL 的默认引擎,InnoDB 引擎提供了对数据库 acid 事务的支持,并且还提供了行级锁和外键的约束,它的设计的目标就是处理大数据容量的数据库系统。MySQL 运行的时候,InnoDB 会在内存中建立缓冲池,用于缓冲数据和索引。但是该引擎不支持全文搜索,同时启动也比较的慢,它是不会保存表的行数的,所以当进行 select count(*) from table 指令的时候,需要进行扫描全表。由于锁的粒度小,写操作是不会锁定全表的,所以在并发度较高的场景下使用会提升效率的。
- MyIASM 引擎:不提供事务的支持,也不支持行级锁和外键。因此当执行插入和更新语句时,即执行写操作的时候需要锁定这个表,所以会导致效率会降低。不过和 InnoDB 不同的是,MyIASM 引擎是保存了表的行数,于是当进行 select count(*) from table 语句时,可以直接的读取已经保存的值而不需要进行扫描全表。所以,如果表的读操作远远多于写操作时,并且不需要事务的支持的,可以将 MyIASM 作为数据库引擎的首选。
11、说一下 MySQL 的行锁和表锁?
- MyISAM 只支持表锁,InnoDB 支持表锁和行锁,默认为行锁。
- 表级锁:开销小,加锁快,不会出现死锁。锁定粒度大,发生锁冲突的概率最高,并发量最低。
- 行级锁:开销大,加锁慢,会出现死锁。锁力度小,发生锁冲突的概率小,并发度最高。
12、说一下乐观锁和悲观锁?
- 乐观锁:每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在提交更新的时候会判断一下在此期间别人有没有去更新这个数据。
- 悲观锁:每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会阻止,直到这个锁被释放。
- 数据库的乐观锁需要自己实现,在表里面添加一个 version 字段,每次修改成功值加 1,这样每次修改的时候先对比一下,自己拥有的 version 和数据库现在的 version 是否一致,如果不一致就不修改,这样就实现了乐观锁。
13、MySQL 问题排查都有哪些手段?
- 使用 show processlist 命令查看当前所有连接信息。
- 使用 explain 命令查询 SQL 语句执行计划。
- 开启慢查询日志,查看慢查询的 SQL。
14、如何做 MySQL 的性能优化?
- 为搜索字段创建索引。
- 避免使用 select *,列出需要查询的字段。
- 垂直分割分表。
- 选择正确的存储引擎。
Redis
http://tools.jbritian.com/link/x
1、Redis 是什么?都有哪些使用场景?
Redis 是一个使用 C 语言开发的高速缓存数据库。
Redis 使用场景:
- 缓存场景:Redis 的缓存功能非常强大,它可以将常用的数据缓存在内存中,加速读取速度(用户登录、热点数据)。
- 计数器场景:Redis 支持原子操作,可以方便地实现多个进程或线程之间的计数器(点赞数、点击数、评论数)。
- 实时系统场景:Redis 支持 pub/sub 机制和数据通知功能,可以实现实时系统场景,如在线聊天、实时统计等。
- 地理位置场景:Redis 支持地理位置计算,可以实现附近的人或商家等功能。
- 分布式锁场景:Redis 支持分布式锁机制,可以避免多个客户端对同一个资源进行并发操作。
- 任务队列场景:Redis 支持 list 数据类型,可以实现任务队列场景。
2、Redis 有哪些功能?
- 数据缓存功能
- 分布式锁的功能
- 支持数据持久化
- 支持事务
- 支持消息队列
分布式环境缓存更新策略:
https://blog.csdn.net/m0_71777195/article/details/128061636
- Cache Aside (旁路缓存):
- 失效:应用程序先从cache取数据,没有获取到,则从数据库中取数据,成功后,放到缓存中。
- 命中:应用程序从cache中取数据,取到后返回。
- 更新:先把数据存到数据库中,成功后,再让当前缓存失效。
- 脏数据产生条件:
- 读操作读缓存失效;
- 有个并发的写操作;
- 写操作比读操作更快;
- 读操作早于写操作进入数据库,晚于写操作更新缓存。
- 为什么删除而不是更新缓存:
- 删除一个数据,相比更新一个数据更加轻量级,出问题的概率更小。
- 不是所有的缓存数据都是频繁访问的,更新后的缓存可能会长时间不被访问, 所以说,从计算资源和整体性能的考虑,更新的时候删除缓存,等到下次查询命中再填充缓存,是一个更好的方案。
- Read/Write Through (读穿 / 写穿):在这种情况下,应用程序将缓存视为主数据存储。应用程序不再和数据库交互,而是由缓存和数据库交互,相当于更新数据库的操作由缓存自己代理了。
- 失效:应用程序先从cache取数据,没有获取到,则cache从数据库中取数据,成功后,放到缓存中。
- 命中:应用程序从cache中取数据,取到后返回。
- 更新:先把数据更新到缓存中,再将数据更新到数据库。
- Write Behind/Bac(写回):
- 在这种缓存策略中,先更新缓存,然后在设定的一段时间后异步更新数据库。 此策略特别适合写多的场景,因为发生写操作的时候, 只需要更新缓存,就立马返回了。 Write-behind缓存提高了系统性能,因为用户(通常)不必等待对数据库的更改,但是异步机制会增加数据延迟不一致的风险。
- Write Behind Caching 更新模式和 Read/Write Through 更新模式类似,区别是Write Behind Caching 更新模式的数据持久化操作是异步的, 但是Read/Write Through 更新模式的数据持久化操作是同步的。
3、Redis 和 memcache 有什么区别?
- memcache 把数据全部存在内存之中,断电后会挂掉,数据不能超过内存大小;Redis 有部份存在硬盘上,这样能保证数据的持久性。
- memcache 对数据类型支持相对简单;Redis 有复杂的数据类型。
- 它们之间底层实现方式,以及与客户端之间通信的应用协议不一样,Redis 自己构建了 vm 机制,因为一般的系统调用系统函数的话,会浪费一定的时间去移动和请求。
- Redis 最大可以达到 1gb;memcache 只有 1mb。
4、Redis 为什么是单线程的?
- 因为 cpu 不会是 Redis 的瓶颈,Redis 的瓶颈最有可能是机器内存或者网络带宽。既然单线程容易实现,而且 cpu 又不会成为瓶颈,那就顺理成章地采用单线程的方案了。
- 关于 Redis 的性能,官方网站也有,普通笔记本轻松处理每秒几十万的请求。而且单线程并不代表就慢 nginx 和 nodejs 也都是高性能单线程的代表。
5、缓存穿透、雪崩、击穿、缓存无底洞及解决方案?
- 缓存穿透:指查询一个一定不存在的数据,由于缓存是不命中时需要从数据库查询,查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库去查询,造成缓存穿透。解决方案:最简单粗暴的方法就是设置空缓存,即如果一个查询返回的数据为空(不管是数据不存在,还是系统故障),我们就把这个空结果进行缓存,但它的过期时间会很短,最长不超过五分钟。其他还有设置并发锁(setnx())、拦截器(对不存在的 key 进行拦截)。
- 缓存雪崩:是指 redis 缓存在某个时间大量失效,突然造成数据库访问压力急剧增大,可能导致服务器宕机。解决方案:设置缓存过期时间时注意分散,或者设置随机值。
- 缓存击穿:是指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。解决方案:设置热点数据永不过期、加互斥锁。
Redis 缓存穿透是指恶意用户通过查询一个不存在的 key,使得缓存层无法命中,从而不断地查询数据库,导致数据库压力过大甚至宕机的情况。常见的解决方法有两种:
- 布隆过滤器:可以在查询缓存之前使用布隆过滤器判断查询的key是否存在,不存在则直接返回,从而避免了不必要的查询数据库操作。
- 缓存空值:将查询数据库之后不存在的key缓存到缓存层中,设置一个较短的过期时间,使得下次查询时能够直接从缓存中获取结果,从而减轻数据库压力。同时,为了避免缓存雪崩,还需要采取一些措施,如设置不同的缓存过期时间、使用多级缓存等。
布隆过滤器:https://zhuanlan.zhihu.com/p/616911933
- 布隆过滤器不存储具体数据,所以占用空间小,查询结果存在误差,但误差可控,同时不支持删除操作。
- 布隆过滤器通常用于判断某个 key 一定不存在的情况。同时允许判断存在时有误差的情况。
- 常见处理场景:
- 缓存穿透的解决。
- 热key限流。
Redis缓存雪崩是指,在缓存过期或者缓存失效的瞬间,大量的请求同时涌向数据库,导致数据库瞬时压力剧增,甚至宕机的现象。这种现象类似于雪崩一样,因此被称为缓存雪崩。
解决Redis缓存雪崩的方法有:
- 数据预热:提前预热缓存数据,防止缓存过期导致的雪崩。
- 缓存数据永不过期:如果缓存数据非常重要,可以将其设置为永不过期,但是这样会导致缓存的数据和实际数据存在较大的延迟,不适合要求实时性较高的场景。
- 加入随机过期时间:设置缓存过期时间时,加入一定的随机时间,防止缓存同时失效。
- 限流降级:通过限制并发请求的数量,将大量请求分散到不同的时间段内,减小瞬时请求压力。
- 多级缓存架构:增加多级缓存,例如本地缓存、分布式缓存、CDN等,减小对单一缓存的依赖,避免缓存雪崩对系统造成的影响。
- 保证缓存和数据库的高可用性:增加缓存和数据库的高可用性,例如使用主从复制、集群等技术,减小系统出现单点故障的风险。
Redis 的缓存预热是指在系统启动或者缓存失效之前,提前将数据加载到缓存中,以提高后续访问数据的响应速度和稳定性。缓存预热可以避免缓存穿透和缓存雪崩等问题,同时可以提高系统的性能和稳定性。
一般来说,实现Redis的缓存预热可以分为两种方式:
- 在系统启动时将需要缓存的数据全部加载到缓存中,这样就可以避免缓存穿透和缓存雪崩等问题,同时也可以提高系统的响应速度和稳定性。
- 定期刷新缓存,以保证缓存中的数据始终保持最新状态。一般可以通过定时任务或者消息队列等方式来实现。
- 需要注意的是,在进行缓存预热时需要注意缓存的一致性和数据的实时性,以避免对业务造成影响。
缓存系列文章–无底洞问题 | 并发编程网 – ifeve.com
Redis 的缓存无底洞是指增加更多的节点机器后并不能提升效率,投入越多不一定产出越多。
产生原因:采用 hash 函数将 key 映射到对应的实例,造成 key 的分布与业务无关,分布式情况下,批量操作比如批量获取多个 key (例如 redis 的 mget操作),通常需要从不同实例获取 key 值,相比于单机批量操作只涉及到一次网络操作,分布式批量操作会涉及到多次网络 io。
哈希存储与顺序存储:
- hash 存储:
- 数据分散度高
- 键值分布与业务无关
- 无法顺序访问
- 支持批量操作
- 顺序存储:
- 数据分散度易倾斜
- 键值分布与业务相关
- 可以顺序访问
- 支持批量操作
解决方案:
- 串行mget:
- 优点:编程简单;少量key 时,性能满足要求
- 缺点:大量 key 时请求延迟严重
- 网络 IO:o(keys)
- 串行IO:
- 优点:编程简单;少量节点时,性能满足要求
- 缺点:大量 node 时延迟严重
- 网络 IO:o(nodes)
- 并行IO:
- 优点:利用并行特性;延迟取决于最慢的节点
- 缺点:编程复杂;超时定位较难
- 网络 IO:o(max_slow(node))
- hash tags:
- 优点:性能最高
- 缺点:tag-key 业务维护成本较高;tag分布容易出现数据倾斜
- 网络 IO:o(1)
无底洞问题对资源和性能有一定影响,但是其实大部分系统不需要考虑这个问题,因为,99%公司的数据和流量无法和 facebook 相比;而且 redis/memcache 的分布式集群通常来讲是按照项目组做隔离的,以我们经验来看一般不会超过50对主从。
6、 Redis 支持的数据类型有哪些?
Redis 支持的数据类型:string(字符串)、list(列表)、hash(字典)、set(集合)、zset(有序集合)。
7、Redis 支持的 Java 客户端都有哪些?
Redisson、jedis、lettuce 等。
Redis 实现消息队列的三种方式:
- list 结构:基于 List 结构模拟消息队列。
- PubSub:基本的点对点消息模型。
- Stream:比较完善的消息队列模型。
8、 jedis 和 Redisson 有哪些区别?
- jedis:提供了比较全面的 Redis 命令的支持。
- Redisson:实现了分布式和可扩展的 Java 数据结构,与 jedis 相比 Redisson 的功能相对简单,不支持排序、事务、管道、分区等 Redis 特性。
9、怎么保证缓存和数据库数据的一致性?
- 合理设置缓存的过期时间。
- 新增、更改、删除数据库操作时同步更新 Redis,可以使用事物机制来保证数据的一致性。
10、Redis 持久化有几种方式?
Redis 的持久化有两种方式,或者说有两种策略:
- RDB(Redis Database):指定的时间间隔内对数据进行快照存储。
- AOF(Append Only File):每一个收到的写命令都通过 write 函数追加到文件中。
优缺点:
- RDB 方式的优点是占用空间小,重启速度快,缺点是可能会有数据丢失。适用于数据量较大,但不要求实时性和数据完整性的场景。
- AOF 方式的优点是数据完整性高,不会出现数据丢失的情况,缺点是占用空间大,重启时间长。适用于数据量较小,但对数据完整性和实时性有较高要求的场景。
11、Redis 怎么实现分布式锁?
使用 setnx(set if not exists)指令和 setex 指令,只允许被一个程序占有,使用完调用 del 释放锁。
12、Redis 分布式锁有什么缺陷?
Redis 分布式锁有一个锁超时的问题,分布式锁有一个超时时间,程序的执行如果超出了锁的超时时间就会出现问题。
优化:
- 使用 Redission,一个开源的 redis 客户端。只需要使用它的 api 中的 lock 和 unlock 即可完成分布式锁。
- redisson 所有指令都通过 lua 脚本执行,redis 支持 lua 脚本原子性执行。
- redisson 设置一个 key 的默认过期时间为 30s,如果某个客户端持有一个锁超过了 30s 怎么办?redisson 中有一个 watchdog 看门狗的概念,翻译过来就是看门狗,它会在你获取锁之后,每隔 10 秒帮你把 key 的超时时间设为 30s,这样的话,就算一直持有锁也不会出现 key 过期了,其他线程获取到锁的问题了。
- redisson 的 "看门狗" 逻辑保证了没有死锁发生。
13、Redis 如何做内存优化?
尽量使用 Redis 的散列表,把相关的信息放到散列表里面存储,而不是把每个字段单独存储,这样可以有效的减少内存使用。比如将 Web 系统的用户对象,应该放到散列表里面再整体存储到 Redis,而不是把用户的姓名、年龄、密码、邮箱等字段分别设置 key 进行存储。
14、Redis 淘汰策略有哪些?
- volatile-lru:从已设置过期时间的数据集(server. db[i].expires)中挑选最近最少使用的数据淘汰。
- volatile-ttl:从已设置过期时间的数据集(server. db[i].expires)中挑选将要过期的数据淘汰。
- volatile-random:从已设置过期时间的数据集(server.db[i]. expires)中任意选择数据淘汰。
- allkeys-lru(redis 默认):从数据集(server. db[i]. dict)中挑选最近最少使用的数据淘汰。
- allkeys-random:从数据集(server. db[i]. dict)中任意选择数据淘汰。
- no-enviction:不删除数据,也不报错,直接返回空。
15、Redis 常见的性能问题有哪些?该如何解决?
- 主服务器写内存快照,会阻塞主线程的工作,当快照比较大时对性能影响是非常大的,会间断性暂停服务,所以主服务器最好不要写内存快照。
- Redis 主从复制的性能问题,为了主从复制的速度和连接的稳定性,主从库最好在同一个局域网内。
其他:
- 内存占用过高:可以使用 Redis 的 maxmemory 选项来限制 Redis 实例的最大内存使用量,并通过设置适当的淘汰策略来处理内存不足的情况。
- 热 key 问题:热 key 是指在 Redis 中访问频率非常高的某些 key,可能会导致性能瓶颈。解决方案可以使用 Redis 的分片功能来将数据分散到多个 Redis 实例中,或者使用缓存穿透技术来防止缓存雪崩。
- 过多的 keys:Redis 在管理大量 key 时,性能可能会下降。解决方案可以使用 Redis 的 Hash 数据结构,将多个 key 存储在同一个 Hash 中。
- 慢查询:查询数据时,Redis 可能会受到阻塞,导致响应变慢。解决方案可以使用 Redis 的命令优化或异步查询等技术来避免慢查询问题。
- Redis 主从同步延迟:当 Redis 主节点的写入速度高于从节点时,可能会导致主从同步延迟。解决方案可以使用 Redis Sentinel 或 Cluster 来提高主从同步的效率,或使用 Redis 的 AOF 持久化来确保数据的一致性。
16、Redis 过期键删除策略。
Redis 过期键删除策略主要有两种:惰性删除和定期删除。
- 惰性删除是指在获取某个键的时候,先判断该键是否过期,如果过期了再进行删除操作。这种方式的优点是节省了删除已过期键的时间,但是缺点是过期键的删除操作被延迟到了最后一刻,可能会导致 Redis 占用的内存过高。
- 定期删除是指 Redis 默认每隔一定时间就会对一定数量的过期键进行删除。这种方式的优点是可以避免过期键的内存占用过高,缺点是无法保证每个过期键都会被及时删除,因为删除的操作是周期性进行的。为了避免缺点,Redis 还引入了主动删除机制,即在进行一些写操作(例如添加、删除、修改操作)时,Redis 会主动检查该键是否过期,并在需要时删除该键。这种方式可以在避免过期键过多占用内存的同时,保证尽可能及时删除过期键。
17、Redis 的同步机制。
Redis 的同步机制是指数据的同步备份机制,主要有以下两种方式:
- 主从同步:Redis 支持主从同步,主节点将数据同步到从节点,从节点保存主节点的数据副本。主节点负责写入数据,从节点只能读取数据,主从节点之间通过网络通信进行数据同步。当主节点发生故障时,从节点可以代替主节点继续提供服务。主从同步的优点是同步速度快,实现简单,缺点是从节点不可写,不能满足高并发写入的需求。
- Sentinel 哨兵机制:Redis 的 Sentinel 哨兵机制可以实现多个 Redis 节点的高可用性,每个节点既可以是主节点,也可以是从节点。哨兵节点负责监控Redis节点的状态,当某个节点发生故障时,哨兵节点会自动将故障节点替换成备份节点。哨兵机制的优点是具备高可用性,能够保证系统的稳定性,缺点是哨兵节点之间的通信开销比较大。
- 除此之外,Redis 还支持AOF(Append Only File)持久化机制和 RDB 持久化机制,可以将数据同步到硬盘上,保证数据的持久性和可靠性。
18、了解Redis集群吗?讲讲它的原理。
- Redis 集群采用分片的方式来存储数据。它将数据分散在多个节点上,每个节点负责一部分数据的存储和处理。具体来说,Redis 集群将所有的数据分成 16384 个槽位(slot),每个槽位可以分配给集群中的任何一个节点。当一个客户端需要存储或者读取数据时,它会先计算出数据所属的槽位,然后将请求发送到负责该槽位的节点。
- 为了实现高可用性,Redis 集群采用了主从架构。每个节点可以是主节点或从节点,主节点负责数据的读写操作,从节点则负责数据的备份和故障转移。当一个主节点宕机时,它的从节点会接替它的工作,从而保证数据的可用性。
- Redis 集群还采用了节点间复制的方式来保证数据的备份和故障转移。当一个主节点有数据更新时,它会将更新操作发送给所有的从节点,从节点会将更新操作记录到自己的内存中,并且定期将数据同步到自己的磁盘上。当一个主节点宕机时,集群会自动将它的一个从节点提升为主节点,并且将该节点的数据同步到其他节点上。
- 最后,Redis集群还提供了一些负载均衡和故障恢复的功能。当一个客户端向集群发送请求时,集群会自动将请求路由到合适的节点上。当一个节点宕机时,集群会自动将该节点的槽位分配给其他节点,从而保证集群的可用性。
综上所述,Redis集群通过分片、主从架构、节点间复制和负载均衡等方式,实现了数据的分布式存储和高可用性。
19、说说Redis的哈希槽。
- Redis 的哈希槽是用于实现分布式的关键技术之一。Redis 集群采用哈希分片的方式将数据分散到不同的节点上存储,而哈希槽就是实现分片的基础。
- 在 Redis 集群中,共有 16384 个哈希槽,每个节点默认负责其中的一部分。当一个 key 需要被存储或者获取时,Redis 通过 CRC16 算法计算出这个 key 对应的哈希槽编号,然后根据哈希槽编号决定该 key 应该被存储到哪个节点上。具体来说,Redis 将所有的节点排成一个环状结构,哈希槽编号也被视为一个环状的值域,Redis 选择一个负责的节点作为起始节点,然后沿着环状结构逐渐向前移动,直到找到第一个大于等于哈希槽编号的节点,然后将该 key 存储到该节点上。如果没有找到这样的节点,则将该 key 存储到第一个节点上。
- 通过哈希槽的使用,Redis 集群可以实现数据的自动分片和负载均衡。同时,如果集群中某个节点失效,其他节点可以通过接管其负责的哈希槽,从而保证数据的高可用性。
20、Redis集群之间是如何复制的。
在 Redis 集群中,数据复制是通过主从复制机制实现的。具体来说,每个主节点会有一到多个从节点来对主节点进行备份,当主节点出现故障时,从节点会接管主节点的工作。主从复制机制主要分为以下几个步骤:
- 主节点将复制命令写入自己的 AOF 文件或者内存缓冲区中。
- 主节点将复制命令发送给从节点,从节点接收并解析命令。
- 从节点将复制命令写入自己的 AOF 文件或者内存缓冲区中。
- 从节点执行复制命令,将主节点上的数据复制到从节点中。
Redis 主从复制的过程是异步的,因此可能存在数据的延迟复制。在主节点出现故障时,Redis 集群会自动选举一个从节点作为新的主节点,其他从节点会将自己的主节点切换到新的主节点上。当新的主节点上线后,它会对从节点进行同步,保证数据的一致性。
需要注意的是,Redis 主从复制机制存在的一个问题是从节点可能会因为多种原因出现数据延迟或者数据丢失的情况。在实际应用中,我们需要通过一些手段来解决这个问题,例如使用 Redis Sentinel 来监控主从节点的状态,或者通过增加从节点的数量来提高数据的可靠性。
21、Redis 事务。
- Redis 事务的实现基于 MULTI 和 EXEC 两个命令。MULTI 命令用于开始一个事务,而 EXEC 命令用于执行事务中的所有命令。在事务执行期间,所有的命令都只是进入了一个队列中,而并没有被立即执行。只有在执行 EXEC 命令时,才会触发 Redis 执行所有的命令。
- Redis 事务还支持 WATCH 命令,用于对某个键进行监视。当这个键被修改时,事务就会自动中断,不会执行任何命令。这种特性可以用于保证多个客户端对同一数据的操作互斥,实现分布式锁等功能。
- Redis 事务的优点在于,多个命令可以被一次性执行,避免了多个命令之间的竞态条件。另外,Redis 事务支持原子性,保证了所有命令的执行要么全部成功,要么全部失败,避免了数据的不一致性。
- 需要注意的是,Redis 事务并不是传统意义上的 ACID 事务,它只能保证原子性和隔离性,而不支持持久性和一致性。因此,在使用 Redis 事务时,需要根据实际场景进行合理的设计和使用,以保证数据的安全和一致性。
22、你知道Redis是怎么做内存优化的吗?
Redis 通过以下几种方式来进行内存优化:
- 数据结构优化:Redis 根据不同的数据类型,采用了不同的数据结构来进行优化。例如,针对短字符串,采用了 Redis 自己的 sds(simple dynamic string)数据结构,能够有效减少内存碎片,提升内存利用率;针对有序集合,采用了跳跃表(Skip List)数据结构。
- 压缩优化:对于 Redis 存储的键值,可以进行压缩存储,例如可以使用整数编码来存储数值类型的数据。
- 内存回收:Redis 内部实现了一个内存回收机制,可以及时回收未使用的内存,避免内存浪费。
- 复用对象:对于一些较小的对象,Redis 会对它们进行复用,避免频繁创建和销毁对象,从而减少内存占用。
- 内存分配优化:Redis 使用了自己的内存分配器(jemalloc),相比于系统默认的 malloc,能够更好地进行内存分配和回收,避免内存碎片。
- 慢查询优化:Redis 内部实现了一个慢查询机制,可以对执行时间较长的命令进行检测,并及时记录和报警,避免因长时间占用 CPU 而导致的性能下降和内存泄漏等问题。
23、Redis 的回收进程是怎么进行工作的?
默认情况下根据 key 设置的过期时间和 LRU 策略进行内存回收的。
24、有哪些方法可以降低 Redis 的内存使用情况?
- 优化 Redis 的数据结构:Redis 支持多种数据结构,不同的数据结构占用的内存也不同,因此可以根据实际需求选择更加节省内存的数据结构。
- 合理设置 Redis 的过期时间:通过设置过期时间可以保证 Redis 中的数据不会一直占用内存,可以在一定程度上降低 Redis 的内存使用情况。
- 避免在 Redis 中存储大量的冗余数据:在 Redis 中存储大量的冗余数据不仅会占用更多的内存,也会影响 Redis 的性能。
- 合理配置 Redis 的内存优化参数:Redis 提供了一些内存优化参数,通过合理配置这些参数可以降低 Redis 的内存使用情况。
- 使用 Redis 的持久化机制:Redis 的持久化机制可以将数据写入磁盘,当 Redis 重启时可以从磁盘中恢复数据,可以避免数据丢失,并减少内存的使用情况。
- 配置 Redis 集群:通过配置 Redis 集群,可以将数据分散到多台机器中,从而降低单机 Redis 的内存使用情况。
- 使用 Redis 内存碎片整理工具:Redis 提供了内存碎片整理工具,可以对 Redis 中的内存碎片进行整理,从而降低 Redis 的内存使用情况。
25、如何选择合适的持久化方式?
- 数据量:如果数据量较小,可以使用 Redis 的 RDB 方式进行持久化,如果数据量较大,可以使用 AOF 方式持久化,因为 RDB 方式需要将整个数据集写入磁盘,而 AOF 方式可以只将新写入的命令记录下来。
- 性能:如果对性能有较高要求,可以选择关闭持久化功能,因为持久化会降低 Redis 的写入性能。如果需要持久化,可以选择 RDB 方式,因为它对性能的影响比 AOF 方式小。
- 数据安全:如果对数据安全要求较高,可以选择使用 AOF 方式进行持久化,因为 AOF 方式记录的是每个写命令,可以保证数据的完整性。此外,可以考虑使用 Redis 的主从复制和集群功能,以提高数据的可用性和安全性。
26、详细讲讲 Redis 的发布-订阅模式。
Redis 的发布-订阅是一种消息通信模式,也称为 Pub/Sub 模式,它可以使许多客户端同时接收并处理相同的消息。在 Redis 中,发布者将消息发送到频道,而订阅者可以订阅频道并接收其中的消息。
Redis 中发布-订阅模式的实现分为三个部分:发布、订阅和消息传递。
- 发布
发布者使用 PUBLISH 命令将消息发送到指定的频道。如果频道不存在,则创建一个新频道并将消息发送到该频道。如果有多个订阅者正在监听该频道,则所有订阅者都将收到该消息。 - 订阅
订阅者使用 SUBSCRIBE 命令订阅一个或多个频道。订阅者可以使用 PSUBSCRIBE 命令来订阅一个或多个模式频道,这些模式频道可以匹配多个频道名称。一旦订阅成功,订阅者将开始接收与其订阅频道相关的所有消息。 - 消息传递
当发布者向一个频道发布消息时,Redis 服务器将该消息发送给订阅该频道的所有客户端。如果订阅者不在线,则会丢失消息。消息的传递是异步的,发布者不会等待所有订阅者接收消息。这使得 Redis 的发布-订阅模式非常适合处理实时数据更新和通知。
除了 PUBLISH、SUBSCRIBE 和 PSUBSCRIBE 命令外,Redis 还提供了其他命令来管理订阅者,例如 UNSUBSCRIBE 和 PUNSUBSCRIBE 命令可以用来取消订阅频道和模式频道。
在 Redis 中,发布-订阅模式有以下特点:
- 发布者和订阅者之间松散耦合,可以自由添加和删除。
- 可以有多个订阅者,每个订阅者都会收到相同的消息。
- 发布者不会直接与订阅者通信,而是通过 Redis 服务器进行消息传递。
- 发布-订阅模式适用于消息广播和实时通知等场景。
- 在 Redis 集群环境下,发布-订阅模式可以在集群内部或跨集群通信。
- 总之,Redis 的发布-订阅模式提供了一种轻量级、高效的消息通信机制,可以方便地在应用程序中实现实时数据更新和通知。
27、Redis 哨兵模式。
- Redis 哨兵模式是一种高可用的解决方案,可以监控 Redis 主节点的状态,并在主节点不可用时自动进行故障转移,将从节点晋升为新的主节点,从而实现 Redis 的高可用性。
- 具体来说,Redis 哨兵模式由多个哨兵节点组成,每个哨兵节点都会定时检测 Redis 主节点的状态,并将状态信息广播给其他哨兵节点。当一个哨兵节点发现主节点不可用时,会向其他哨兵节点发出通知,然后所有哨兵节点会通过一定的算法选举出新的主节点,并将从节点切换到新的主节点下。
- 在 Redis 哨兵模式中,除了主节点外,还有多个从节点,哨兵节点可以自动将从节点切换到新的主节点下,从而实现整个集群的高可用性。
- 哨兵模式的优点是自动化程度高,一旦主节点出现故障,哨兵节点会自动完成主从切换,无需人工干预。缺点是需要额外的哨兵节点进行监控,增加了系统的复杂性和成本。
28、如果有大量的 key 需要设置同一时间过期,一般需要注意什么?
- 避免一次性删除过多的 key,会导致 Redis 服务器负载过高,影响 Redis 服务器的正常工作。可以将要删除的 key 分批次删除,分散删除过程中的负载。
- 如果需要在短时间内删除大量的 key,可以使用 Redis 的 LUA 脚本来实现批量删除。LUA 脚本可以在 Redis 服务器端执行,减少了客户端和服务器之间的通信次数,提高了删除效率。
- 可以使用 Redis 的 key 空间通知功能来监控 key 的过期事件。一旦某个 key 过期,Redis 就会发送一个通知给客户端,客户端可以根据这个通知来进行相应的处理。这种方式可以减少客户端轮询 Redis 服务器的次数,降低了网络带宽的占用。
- 可以使用 Redis 的集群功能来分散过期 key 的负载。将 key 分布在不同的节点上,可以减少单个节点的负载压力,提高 Redis 集群的稳定性和可靠性。
29、使用过Redis做异步队列吗,详细说说。
Redis 经常被用作异步队列的后端存储,可以用于处理高吞吐量的任务和请求。下面是使用 Redis 做异步队列的一般步骤和注意事项:
- 创建一个 Redis 列表,用于存储任务。任务可以是任何格式的数据,如 JSON、文本等。
- 向 Redis 列表中添加任务,一般使用 RPUSH 命令。如果要添加多个任务,可以使用一次 RPUSH 命令添加多个元素。
- 启动一个或多个工作线程来处理任务。每个工作线程都应该从 Redis 列表中弹出任务,使用 BLPOP 或 BRPOP 命令。如果 BLPOP 或 BRPOP 返回空,表示 Redis 列表中没有任务可用,工作线程应该等待一段时间后再次尝试弹出任务。
- 处理任务并将结果存储在适当的位置,如 Redis 哈希表或数据库中。
- 可以使用 Redis 发布-订阅机制或其他机制通知其他系统组件任务已经完成或出现错误。
- 需要注意的是,使用 Redis 做异步队列时,应该避免在一个 Redis 列表中添加太多的任务,以免导致 Redis 内存使用过高。可以根据实际情况将任务拆分为多个 Redis 列表,或定期清理已经处理完成的任务。此外,应该谨慎处理错误,以免任务失败后一直被工作线程尝试处理,导致系统负载过高。
30、redis 如何实现延时队列?
在 Redis 中实现延时队列可以使用 Redis 自带的 Sorted Set 数据类型以及 Redis 的过期键删除策略来实现。
具体的实现步骤如下:
- 将消息作为 Sorted Set 的成员,设置 Score 为消息的过期时间(即消息需要被消费的时间),将该成员加入到 Sorted Set 中。
- 启动一个定时任务,定期地轮询 Sorted Set,将过期时间小于当前时间的消息取出来进行处理。
- 处理完毕后,将消息从 Sorted Set 中删除即可。
通过这种方式,可以很好地实现延时队列的功能。在实际使用中,还可以考虑一些优化策略,比如利用 Redis 的集群模式实现分布式延时队列,通过使用 Lua 脚本来提高处理效率等等。
31、使用过 Redis 分布式锁吗,展开讲讲。
Redis 分布式锁是一种常用的分布式锁实现方式,它能够在分布式环境下,确保不同进程/线程之间对同一资源的互斥访问。
Redis 分布式锁的实现一般分为以下步骤:
- 获取锁:通过 Redis 的 setnx 命令,将一个唯一标识符作为键,当前时间戳加锁持续时间作为值,将锁设置到 Redis 中。如果设置成功,说明获取锁成功;如果设置失败,说明该锁已被其他进程/线程持有,获取锁失败。
- 续约锁:如果获取锁成功,需要在锁的过期时间内不断更新锁的过期时间,以防止锁过期被其他进程/线程获取锁。可以通过 Redis 的 expire 命令更新锁的过期时间。
- 释放锁:当进程/线程完成任务后,需要手动释放锁,以便其他进程/线程可以获取该锁。可以通过 Redis 的 del 命令删除该锁。
需要注意以下几点:
- 锁的粒度要尽量小:如果锁的粒度过大,将会导致锁的等待时间过长,从而降低系统的吞吐量。
- 锁的过期时间应该设置得合理:如果锁的过期时间设置过短,可能会导致锁被意外释放;如果锁的过期时间设置过长,可能会导致锁的持有时间过长,从而影响系统的性能。
- 锁的唯一标识符要尽量唯一:锁的唯一标识符应该是一个随机字符串,以避免多个进程/线程之间出现相同的锁标识符,从而导致锁被错误释放。
32、什么是缓存降级?
Redis 缓存降级是一种保障系统稳定性的措施,它可以在系统高峰期或者异常情况下,通过降低服务质量,来保证整个系统不会出现宕机的情况。一般来说,Redis缓存降级有两种方式:
- 降低缓存数据的精度或者时效性。比如将热门数据的缓存时间从原来的1天降低到半天,或者将统计数据的精度从每秒钟更新一次降低到每分钟更新一次。这种方式可以有效减少Redis的负载压力,提高系统的响应速度和稳定性。
- 使用备用缓存数据源。当 Redis 出现宕机或者响应延迟等异常情况时,系统可以使用备用的缓存数据源,如本地缓存、文件缓存、甚至数据库等来替代Redis,从而避免整个系统的崩溃。不过,这种方式需要保证备用缓存数据源的可靠性和一致性,否则可能会导致数据的不一致性和误差。
总之,Redis 缓存降级是一种权衡稳定性和服务质量的措施,需要根据具体情况选择合适的方式进行。同时,也需要注意缓存降级带来的一些副作用,如数据不一致、服务质量降低等问题。
33、常见的分布式锁有哪些解决方案?
- 基于数据库实现的分布式锁:可以通过数据库的事务和唯一约束来实现分布式锁,但是效率较低,容易造成死锁和性能瓶颈。
- 基于 ZooKeeper 实现的分布式锁:ZooKeeper 是一个分布式协调服务,可以通过它的有序节点和 watcher 机制来实现分布式锁。但是 ZooKeeper 的安装和维护相对较复杂,而且性能比较低。
- 基于 Redis 实现的分布式锁:可以通过 Redis 的 SETNX 命令(SET if Not eXists)来实现分布式锁,原理是利用 Redis 的单线程特性,在多个客户端同时尝试设置同一个 key 时,只有一个客户端能成功设置,而其他客户端则会失败。Redis 还提供了许多其他的命令和技术来实现更高级的分布式锁。
- 基于分布式一致性协议实现的分布式锁:比如基于 Paxos 协议的 Chubby 和基于 Raft 协议的 etcd 等。
JVM
1、说一下 JVM 的主要组成部分?及其作用?
- 类加载器(ClassLoader)
- 运行时数据区(Runtime Data Area)
- 执行引擎(Execution Engine)
- 本地库接口(Native Interface)
组件的作用: 首先通过类加载器(ClassLoader)会把 Java 代码转换成字节码,运行时数据区(Runtime Data Area)再把字节码加载到内存中,而字节码文件只是 JVM 的一套指令集规范,并不能直接交个底层操作系统去执行,因此需要特定的命令解析器执行引擎(Execution Engine),将字节码翻译成底层系统指令,再交由 CPU 去执行,而这个过程中需要调用其他语言的本地库接口(Native Interface)来实现整个程序的功能。
2、说一下 JVM 运行时数据区?
不同虚拟机的运行时数据区可能略微有所不同,但都会遵从 Java 虚拟机规范, Java 虚拟机规范规定的区域分为以下 5 个部分:
- 程序计数器(Program Counter Register):当前线程所执行的字节码的行号指示器,字节码解析器的工作是通过改变这个计数器的值,来选取下一条需要执行的字节码指令,分支、循环、跳转、异常处理、线程恢复等基础功能,都需要依赖这个计数器来完成;
- Java 虚拟机栈(Java Virtual Machine Stacks):用于存储局部变量表、操作数栈、动态链接、方法出口等信息;
- 本地方法栈(Native Method Stack):与虚拟机栈的作用是一样的,只不过虚拟机栈是服务 Java 方法的,而本地方法栈是为虚拟机调用 Native 方法服务的;
- Java 堆(Java Heap):Java 虚拟机中内存最大的一块,是被所有线程共享的,几乎所有的对象实例都在这里分配内存;
- 方法区(Methed Area):用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译后的代码等数据。
3、说一下堆栈的区别?
- 功能方面:堆是用来存放对象的,栈是用来执行程序的。
- 共享性:堆是线程共享的,栈是线程私有的。
- 空间大小:堆大小远远大于栈。
4、队列和栈是什么?有什么区别?
- 队列和栈都是被用来预存储数据的。
- 队列允许先进先出检索元素,但也有例外的情况,Deque 接口允许从两端检索元素。
- 栈和队列很相似,但它运行对元素进行后进先出进行检索。
5、什么是双亲委派模型?
双亲委派模型:如果一个类加载器收到了类加载的请求,它首先不会自己去加载这个类,而是把这个请求委派给父类加载器去完成,每一层的类加载器都是如此,这样所有的加载请求都会被传送到顶层的启动类加载器中,只有当父加载无法完成加载请求(它的搜索范围中没找到所需的类)时,子加载器才会尝试去加载类。
6、说一下类加载的执行过程?
类加载分为以下 5 个步骤:
- 加载:根据查找路径找到相应的 class 文件然后导入;
- 检查:检查加载的 class 文件的正确性;
- 准备:给类中的静态变量分配内存空间;
- 解析:虚拟机将常量池中的符号引用替换成直接引用的过程。符号引用可以理解为一个标示,而直接引用直接指向内存中的地址;
- 初始化:对静态变量和静态代码块执行初始化工作。
7、怎么判断对象是否可以被回收?
一般有两种方法来判断:
- 引用计数器:为每个对象创建一个引用计数,有对象引用时计数器 +1,引用被释放时计数 -1,当计数器为 0 时就可以被回收。它有一个缺点是不能解决循环引用的问题;
- 可达性分析:从 GC Roots 开始向下搜索,搜索所走过的路径称为引用链。当一个对象到 GC Roots 没有任何引用链相连时,则证明此对象是可以被回收的。
8、Java 中都有哪些引用类型?
- 强引用:发生 gc 的时候不会被回收。
- 软引用:有用但不是必须的对象,在发生内存溢出之前会被回收。
- 弱引用:有用但不是必须的对象,在下一次 GC 时会被回收。
- 虚引用(幽灵引用/幻影引用):无法通过虚引用获得对象,用 PhantomReference 实现虚引用,虚引用的用途是在 gc 时返回一个通知。
9、说一下 JVM 有哪些垃圾回收算法?
- 标记-清除算法:标记无用对象,然后进行清除回收。缺点:效率不高,无法清除垃圾碎片。
- 标记-整理算法:标记无用对象,让所有存活的对象都向一端移动,然后直接清除掉端边界以外的内存。
- 复制算法:按照容量划分二个大小相等的内存区域,当一块用完的时候将活着的对象复制到另一块上,然后再把已使用的内存空间一次清理掉。缺点:内存使用率不高,只有原来的一半。
- 分代算法:根据对象存活周期的不同将内存划分为几块,一般是新生代和老年代,新生代基本采用复制算法,老年代采用标记整理算法。老年代放满之后继续往里放会触发 full gc,full gc 之后老年代还是满的才触发 OOM。
JVM 调优的目的是减少 STW 或者说 full gc 的次数。
为什么要设计 STW?假设 gc 时没有 STW,那么当 gc 时程序如果执行完毕,其引用的对象变成垃圾,也就是本次 gc 开始时判断为非垃圾的对象变为垃圾对象,对象一直在变化,gc 可能结束不了。
10、说一下 JVM 有哪些垃圾回收器?
- Serial:最早的单线程串行垃圾回收器。
- Serial Old:Serial 垃圾回收器的老年版本,同样也是单线程的,可以作为 CMS 垃圾回收器的备选预案。
- ParNew:是 Serial 的多线程版本。
- Parallel:和 ParNew 收集器类似,也是多线程的,但Parallel 是吞吐量优先的收集器,可以牺牲等待时间换取系统的吞吐量。
- Parallel Old 是 Parallel 老生代版本,Parallel 使用的是复制算法,Parallel Old 使用的是标记-整理的内存回收算法。
- CMS:一种以获得最短停顿时间为目标的收集器,非常适用 B/S 系统。
- G1:一种兼顾吞吐量和停顿时间的 GC 实现,是 JDK 9 以后的默认 GC 选项。
11、详细介绍一下 CMS 垃圾回收器?
- CMS 是英文 Concurrent Mark-Sweep 的简称,是以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器。对于要求服务器响应速度的应用上,这种垃圾回收器非常适合。
- 在启动 JVM 的参数加上 “-XX:+UseConcMarkSweepGC” 来指定使用 CMS 垃圾回收器。
- CMS 使用的是标记-清除的算法实现的,所以在 gc 的时候会产生大量的内存碎片,当剩余内存不能满足程序运行要求时,系统将会出现 Concurrent Mode Failure,CMS 会临时采用 Serial Old 回收器进行垃圾清除,此时的性能将会被降低。
12、新生代垃圾回收器和老生代垃圾回收器都有哪些?有什么区别?
- 新生代回收器:Serial、ParNew、Parallel Scavenge
- 老年代回收器:Serial Old、Parallel Old、CMS
- 整堆回收器:G1
新生代垃圾回收器一般采用的是复制算法,复制算法的优点是效率高,缺点是内存利用率低;
老年代回收器一般采用的是标记-整理的算法进行垃圾回收。
13、简述分代垃圾回收器是怎么工作的?
分代回收器有两个分区:老生代和新生代,新生代默认的空间占比总空间的 ⅓
,老生代的默认占比是 ⅔
;新生代使用的是复制算法。
新生代里有 3 个分区:Eden、To Survivor、From Survivor,它们的默认占比是 8:1:1
,它的执行流程如下:
- 当新生代中的 Eden 区分配满的时候,就会触发新生代的 GC(Minor GC)。
- 在 Eden 区执行了第一次 GC 之后,存活的对象会被移动到其中一个 Survivor 分区(简称 from 区)。
- Eden 区再次 GC,这时会采用复制算法,将 Eden 和 from 区一起清理。存活的对象会被复制到 to 区。接下来,只需要清空 from 区就可以了。
更详细的执行流程如下:
- 把 Eden + From Survivor 存活的对象放入 To Survivor 区;
- 清空 Eden 和 From Survivor 分区;
- From Survivor 和 To Survivor 分区交换,From Survivor 变 To Survivor,To Survivor 变 From Survivor。
- 每次在 From Survivor 到 To Survivor 移动时都存活的对象,年龄就 +1,当年龄到达 15(默认配置是 15)时,升级为老生代。大对象也会直接进入老生代。
- 老生代当空间占用到达某个值之后就会触发全局垃圾收回,一般使用标记整理的执行算法。
- 以上这些循环往复就构成了整个分代垃圾回收的整体执行流程。
对象是怎么从新生代进入老生代的:
- 如果对象够老,会通过提升(Promotion)进入老年代,这一般是根据对象的年龄进行判断的。
- 动态对象年龄判定。有的垃圾回收算法,比如 G1,并不要求 age 必须达到 15 才能晋升到老年代,它会使用一些动态的计算方法。
- 分配担保。当 Survivor 空间不够的时候,就需要依赖其他内存(指老年代)进行分配担保。这个时候, 对象也会直接在老年代上分配。
- 超出某个大小的对象将直接在老生代分配。不过这个值默认为 0,意思是全部首选 Eden 区进行分配。
新生代、老年代、持久代都存储哪些东西:
- 新生代:方法中 new 一个对象,就会先进入新生代。
- 老年代:
- 新生代中经历了 N 次垃圾回收仍然存活的对象就会被放到老年代中。
- 大对象一般直接放入老年代。
- 当 Survivor 空间不足,需要老年代担保一些空间,也会将对象放入老年代。
- 永久代: 指的就是方法区。
14、说一下 JVM 调优的工具?
JDK 自带了很多监控工具,都位于 JDK 的 bin 目录下,其中最常用的是 jconsole 和 jvisualvm 这两款视图监控工具。
- jconsole:用于对 JVM 中的内存、线程和类等进行监控;
- jvisualvm:JDK 自带的全能分析工具,可以分析:内存快照、线程快照、程序死锁、监控内存的变化、gc 变化等。
15、常用的 JVM 调优的参数都有哪些?
- -Xms2g:初始化推大小为 2g;
- -Xmx2g:堆最大内存为 2g;
- -XX:NewRatio=4:设置年轻的和老年代的内存比例为 1:4;
- -XX:SurvivorRatio=8:设置新生代 Eden 和 Survivor 比例为 8:2;
- -XX:+UseParNewGC:指定使用 ParNew + Serial Old 垃圾回收器组合;
- -XX:+UseParallelOldGC:指定使用 ParNew + ParNew Old 垃圾回收器组合;
- -XX:+UseConcMarkSweepGC:指定使用 CMS + Serial Old 垃圾回收器组合;
- -XX:+PrintGC:开启打印 gc 信息;
- -XX:+PrintGCDetails:打印 gc 详细信息。
多线程
1、并行和并发有什么区别?
- 并行:多个任务在同一个 CPU 核上,按细分的时间片轮流(交替)执行,从逻辑上来看那些任务是同时执行。
- 并发:多个处理器或多核处理器同时处理多个任务。
2、线程和进程的区别?
一个程序下至少有一个进程,一个进程下至少有一个线程,一个进程下也可以有多个线程来增加程序的执行速度。
3、守护线程是什么?
守护线程是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件。在 Java 中垃圾回收线程就是特殊的守护线程。
4、创建线程有哪几种方式?
- 继承 Thread 重写 run 方法;
- 实现 Runnable 接口;
- 实现 Callable 接口。
5、 说一下 runnable 和 callable 有什么区别?
- runnable 没有返回值,callable 可以拿到有返回值,
- callable 可以看作是 runnable 的补充。
6、线程有哪些状态?
- NEW:尚未启动
- RUNNABLE:正在执行中
- BLOCKED:阻塞的(被同步锁或者 IO 锁阻塞)
- WAITING:永久等待状态
- TIMED_WAITING:等待指定的时间重新被唤醒的状态
- TERMINATED:执行完成
7、 sleep() 和 wait() 有什么区别?
- sleep() 来自 Thread,wait() 来自 Object。
- sleep() 不释放锁;wait() 释放锁。
- sleep() 时间到会自动恢复;wait() 可以使用 notify()/notifyAll() 直接唤醒。
8、notify() 和 notifyAll()有什么区别?
- notifyAll() 会唤醒所有的线程,notify() 只会唤醒一个线程。
- notifyAll() 调用后,会将全部线程由等待池移到锁池,然后参与锁的竞争,竞争成功则继续执行,如果不成功则留在锁池等待锁被释放后再次参与竞争。而 notify() 只会唤醒一个线程,具体唤醒哪一个线程由虚拟机控制。
9、线程的 run() 和 start() 有什么区别?
- start() 方法用于启动线程,run() 方法用于执行线程的运行时代码。
- run() 可以重复调用,而 start() 只能调用一次。
注意:为什么我们启动线程时要调用 start() 方法?而不是直接调用 run() 方法?
原因:调用 start() 方法可以启动线程并使线程进入就绪状态,而直接执行 run() 方法,会把 run 方法当成一个 main 线程下的普通方法去执行,并不会在某个线程中执行它,
10、创建线程池有哪几种方式?
线程池创建有七种方式,最核心的是最后一种:
- newSingleThreadExecutor():它的特点在于工作线程数目被限制为 1,操作一个无界的工作队列,所以它保证了所有任务的都是被顺序执行,最多会有一个任务处于活动状态,并且不允许使用者改动线程池实例,因此可以避免其改变线程数目;
- newCachedThreadPool():它是一种用来处理大量短时间工作任务的线程池,具有几个鲜明特点:它会试图缓存线程并重用,当无缓存线程可用时,就会创建新的工作线程;如果线程闲置的时间超过 60 秒,则被终止并移出缓存;长时间闲置时,这种线程池,不会消耗什么资源。其内部使用SynchronousQueue 作为工作队列;
- newFixedThreadPool(int nThreads):重用指定数目(nThreads)的线程,其背后使用的是无界的工作队列,任何时候最多有 nThreads 个工作线程是活动的。这意味着,如果任务数量超过了活动队列数目,将在工作队列中等待空闲线程出现;如果有工作线程退出,将会有新的工作线程被创建,以补足指定的数目 nThreads;
- newSingleThreadScheduledExecutor():创建单线程池,返回 ScheduledExecutorService,可以进行定时或周期性的工作调度;
- newScheduledThreadPool(int corePoolSize):和newSingleThreadScheduledExecutor() 类似,创建的是个 ScheduledExecutorService,可以进行定时或周期性的工作调度,区别在于单一工作线程还是多个工作线程;
- newWorkStealingPool(int parallelism):这是一个经常被人忽略的线程池,Java 8 才加入这个创建方法,其内部会构建 ForkJoinPool,利用 Work-Stealing 算法,并行地处理任务,不保证处理顺序;
- ThreadPoolExecutor():是最原始的线程池创建,上面 1-3 创建方式都是对 ThreadPoolExecutor 的封装。
11、线程池都有哪些状态?
- RUNNING:这是最正常的状态,接受新的任务,处理等待队列中的任务。
- SHUTDOWN:不接受新的任务提交,但是会继续处理等待队列中的任务。
- STOP:不接受新的任务提交,不再处理等待队列中的任务,中断正在执行任务的线程。
- TIDYING:所有的任务都销毁了,workCount 为 0,线程池的状态在转换为 TIDYING 状态时,会执行钩子方法 terminated()。
- TERMINATED:terminated()方法结束后,线程池的状态就会变成这个。
12、线程池中 submit() 和 execute() 方法有什么区别?
- execute():只能执行 Runnable 类型的任务。
- submit():可以执行 Runnable 和 Callable 类型的任务。Callable 类型的任务可以获取执行的返回值,而 Runnable执行无返回值。
13、在 Java 程序中怎么保证多线程的运行安全?
- 使用安全类,比如 Java. util. concurrent 下的类。
- 使用自动锁 synchronized。
- 使用手动锁 Lock。
Lock lock = new ReentrantLock();
lock. lock();
try {
System. out. println(“获得锁”);
} catch (Exception e) {
// TODO: handle exception
} finally {
System. out. println(“释放锁”);
lock. unlock();
}
14、多线程中 synchronized 锁升级的原理是什么?
synchronized 锁升级原理:在锁对象的对象头里面有一个 threadid 字段,在第一次访问的时候 threadid 为空,jvm 让其持有偏向锁,并将 threadid 设置为其线程 id,再次进入的时候会先判断 threadid 是否与其线程 id 一致,如果一致则可以直接使用此对象,如果不一致,则升级偏向锁为轻量级锁,通过自旋循环一定次数来获取锁,执行一定次数之后,如果还没有正常获取到要使用的对象,此时就会把锁从轻量级升级为重量级锁,此过程就构成了 synchronized 锁的升级。
锁的升级的目的:锁升级是为了降低锁带来的性能消耗。在 Java 6 之后优化 synchronized 的实现方式,使用了偏向锁升级为轻量级锁再升级到重量级锁的方式,从而降低了锁带来的性能消耗。
15、什么是死锁?
当线程 A 持有独占锁 a,并尝试去获取独占锁 b 的同时,线程 B 持有独占锁 b,并尝试获取独占锁 a 的情况下,就会发生 AB 两个线程由于互相持有对方需要的锁,而发生的阻塞现象,我们称为死锁。
16、怎么防止死锁?
- 尽量使用 tryLock(long timeout, TimeUnit unit) 的方法(ReentrantLock、ReentrantReadWriteLock)。
- 设置超时时间,超时可以退出防止死锁。
- 尽量使用 Java. util. concurrent 并发类代替自己手写锁。
- 尽量降低锁的使用粒度,尽量不要几个功能用同一把锁。
- 尽量减少同步的代码块。
17、ThreadLocal 是什么?有哪些使用场景?
- ThreadLocal 为每个使用该变量的线程提供独立的变量副本,所以每一个线程都可以独立地改变自己的副本,而不会影响其它线程所对应的副本。
- ThreadLocal 的经典使用场景是数据库连接和 session 管理等。
18、说一下 synchronized 底层实现原理?
synchronized 是由一对 monitorenter/monitorexit 指令实现的,monitor 对象是同步的基本实现单元。在 Java 6 之前,monitor 的实现完全是依靠操作系统内部的互斥锁,因为需要进行用户态到内核态的切换,所以同步操作是一个无差别的重量级操作,性能也很低。但在 Java 6 的时候,Java 虚拟机对此进行了大刀阔斧地改进,提供了三种不同的 monitor 实现,也就是常说的三种不同的锁:偏向锁(Biased Locking)、轻量级锁和重量级锁,大大改进了其性能。
19、synchronized 和 volatile 的区别是什么?
- volatile 是变量修饰符;synchronized 是修饰类、方法、代码段。
- volatile 仅能实现变量的修改可见性,不能保证原子性;而 synchronized 则可以保证变量的修改可见性和原子性。
- volatile 不会造成线程的阻塞;synchronized 可能会造成线程的阻塞。
20、synchronized 和 Lock 有什么区别?
- synchronized 可以给类、方法、代码块加锁;而 lock 只能给代码块加锁。
- synchronized 不需要手动获取锁和释放锁,使用简单,发生异常会自动释放锁,不会造成死锁;而 lock 需要自己加锁和释放锁,如果使用不当没有 unLock() 去释放锁就会造成死锁。
- 通过 Lock 可以知道有没有成功获取锁,而 synchronized 却无法办到。
21、synchronized 和 ReentrantLock 区别是什么?
- synchronized 早期的实现比较低效,对比 ReentrantLock,大多数场景性能都相差较大,但是在 Java 6 中对 synchronized 进行了非常多的改进。
- ReentrantLock 使用起来比较灵活,但是必须有释放锁的配合动作;
- ReentrantLock 必须手动获取与释放锁,而 synchronized 不需要手动释放和开启锁;
- ReentrantLock 只适用于代码块锁,而 synchronized 可用于修饰方法、代码块等。
- volatile 标记的变量不会被编译器优化;synchronized 标记的变量可以被编译器优化。
22、说一下 atomic 的原理。
atomic 主要利用 CAS (Compare And Wwap:比较并替换,一种乐观锁实现) 来保证原子操作,从而避免 synchronized 的高开销,执行效率大为提升。
23、锁机制(自旋锁-乐观锁-悲观锁)
- 悲观锁:synchronized,有四种状态:无锁,偏向锁,轻量级锁,重量级锁,这几个状态会随着竞争状态逐渐升级,锁可以升级但不能降级,但是偏向锁状态可以被重置为无锁状态。
- 自旋锁(spinlock):是指当一个线程在获取锁的时候,如果锁已经被其它线程获取,那么该线程将循环等待,然后不断的判断锁是否能够被成功获取,直到获取到锁才会退出循环。
- 互斥锁:多个线程竞争同一个资源,如果资源已经被占用,资源申请者只能进入睡眠状态。
如何降低锁的竞争程度?
- 减少锁的持有时间
- 降低锁的请求频率
- 使用带有协调机制的独占锁,这些机制允许更高的并发性。
24、java 中 16 种锁详解。
http://tools.jbritian.com/link/c
1)乐观锁
- 乐观锁是我们经常无意间用到的东西,是一种乐观思想,这种乐观思想就是认为:当前环境读数据的多,写数据的少,并发读多,并发写少。因此,在读数据的时候,并不会给当前线程加锁,在写数据的时候,会进行判断当前的值与期望值时候相同,如果相同则进行更新,更新期间进行加锁,保证原子性。
- 这个理论应该很多人会比较熟悉,CAS 理论,比较并替换,在数据库设计中经常采用 version 版本号来进行乐观锁的实现。
2)悲观锁
- 相比于乐观锁,悲观锁是一种非常悲观的思想,遇到事总是想到最坏的情况,认为写多读少,因此无论是读取数据还是写入数据,都会当作要修改其他里面的数据,通通上锁,指导这个线程释放锁后其他线程获取。
- 在 java 里面悲观锁有两种实现:synchronized、ReentrantLock。
3)自旋锁
- 原理:为了让线程进行等待,让线程不断执行一个空操作的循环,类似你去找一个朋友,朋友在家里干活让你等一下,你就在门口徘徊,不去干别的事,徘徊了 N 次之后发现还没来人,直接先去干别的事,等他打电话叫你。
- 优点: 主要是为了避免线程的挂起跟唤醒的开销,因为这部分的开销都需要在系统的内核态中完成,然后反馈到虚拟机,这样子的操作对虚拟机并发性能带来了巨大的压力。
- 缺点: 既然是执行空操作,必然会占用处理器的时间,当占用的时间过长的时候,处理器的资源会被白白消耗掉,而且这部分消耗是一直在做没有任何意义的工作,性能上是非常浪费的。面对这种情况,等待的时间必须有一定的限度,如果自旋超过了限定的次数仍然没有成功获得锁,就应当使用传统的方式去挂起线程。
- 默认值:JVM 默认值 10 次,配置参数为:-XX:PreBlockSpin
4)递归锁(可重入锁)
- 原理:任何线程获取了锁之后可以再次获取该锁而不会被阻塞,识别获取锁的线程是否为当前占据锁的线程,如果是则再次成功获取。获取锁后进行自增。
- 优点: 可以避免死锁。
- 实现:synchronized、ReentrantLock。
5)读写锁
读写锁是通过 ReentrantReadWriteLock 这个类来实现,在 JAVA 里面,为了提高性能而提供了这么个东西,读的地方用读锁,写的地方用写锁,读锁并不互斥,读写互斥,这部分直接由 JVM 进行控制。
在编码上,需要手动进行区分,下面的代码可以看到实现方式:
// 创建一个读写锁
private ReentrantReadWriteLock rwLock = new ReentrantReadWriteLock();
// 获取读锁
rwLock.readLock().lock();
// 释放读锁
rwLock.readLock().unlock();
// 创建一个写锁
rwLock.writeLock().lock();
// 写锁 释放
rwLock.writeLock().unlock();
6)公平锁
公平锁是一种设计思想,多线程在进行数据请求的过程中,先去队列中申请锁,按照 FIFO 先进先出的原则拿到线程,然后占有锁。
7)非公平锁
- 非公平锁也是一种设计思想。线程尝试获取锁,如果获取不到,这时候采用公平锁的方式进行,与此同时,多个线程获取锁的顺序有一定的随机性,并非按照先到先得的方式进行。
- 优点:性能上高于公平锁。
- 缺点:存在线程饥饿问题,存在某一个线程一直获取不到锁导致一直等待,“饿死了”。
- 在java里面,synchronized 默认就是非公平锁,ReentrantLock 可以通过构造函数来设置该锁是公平的还是非公平的,默认是非公平的。
private final ReentrantLock.Sync sync;
public ReentrantLock() {
this.sync = new ReentrantLock.NonfairSync();
}
public ReentrantLock(boolean fair) {
this.sync = (ReentrantLock.Sync)(fair ? new ReentrantLock.FairSync() : new ReentrantLock.NonfairSync());
}
8)共享锁
多个线程可以获取读锁,以共享的形式持有,本质上与乐观锁,读写锁一样,JAVA 的共享锁也是 ReentrantReadWriteLock。
9)独占锁
只有一个线程可以获取锁,与悲观锁,互斥锁一样,JAVA的独占锁有:synchronized,ReentrantLock。
10)重量级锁

重量级锁其实是一种称呼,synchronized 就是一种重量级锁,它是通过内部一个叫做监视器锁(Monitor Lock)来实现,而监视器锁本质上是依赖于系统的 Mutex Lock(互斥锁)来实现,当加锁的时候需要用用户态切换为核心态,这样子的成本非常高,因此这种依赖于操作系统 Mutex Lock 的锁称为重量级锁。为了优化 synchronized 的性能,引入了轻量级锁,偏向锁。
11)轻量级锁
- 在 JDK1.6 的时候,为了优化重量级锁,引入了一种优化机制:轻量级锁。由于锁的获取默认采用重量级,互斥的开销很大,因此在没有竞争的时候采用 CAS 去操作以便消除同步使用的互斥锁。
- 优点:在没有资源竞争的情况下,通过 CAS 操作避免了互斥锁的开销。
- 缺点:如果存在竞争,此时会额外增加 CAS 的开销,此时导致轻量级锁比传统重量级锁更慢。
12)偏向锁
- 除了轻量级锁,JDK1.6 还加入了另外一种锁优化机制,偏向锁。偏向锁里面最重要的一个理解就是:偏心。这个锁会非常偏心对待第一个获得它的线程,如果在接下来的执行过程中,该锁一直没有被其他的线程获取,则持有偏向锁的线程将永远不需要再进行同步。
- 优点:针对第一个线程,连 CAS 都不用做了,性能上强于轻量级锁。
- 缺点:如果程序中的锁总是被不同线程访问,那这个偏向锁就是多余的,永远都有第一个。
13)分段锁
分段锁算是面试中经常会被问到。
分段锁其实是一种锁的设计,并不是具体的一种锁,对于 ConcurrentHashMap 而言,其并发的实现就是通过分段锁的形式来实现高效的并发操作。
- 我们以 ConcurrentHashMap 来说一下分段锁的含义以及设计思想,ConcurrentHashMap 中的分段锁称为 Segment,它即类似于 HashMap(JDK7和JDK8中HashMap的实现)的结构,即内部拥有一个 Entry 数组,数组中的每个元素又是一个链表;同时又是一个 ReentrantLock(Segment 继承了ReentrantLock)。
- 当需要 put 元素的时候,并不是对整个 hashmap 进行加锁,而是先通过 hashcode 来知道他要放在哪一个分段中,然后对这个分段进行加锁,所以当多线程 put 的时候,只要不是放在一个分段中,就实现了真正的并行的插入。
- 但是,在统计 size 的时候,就是获取 hashmap 全局信息的时候,就需要获取所有的分段锁才能统计。
- 分段锁的设计目的是细化锁的粒度,当操作不需要更新整个数组的时候,就仅仅针对数组中的一项进行加锁操作。
在 ConcurrentHashMap 中使用了一个包含 16 个锁的数组,每个锁保护所有散列桶的 1/16,其中第 N 个散列桶由第(N mod 16)个锁来保护。假设使用合理的散列算法使关键字能够均匀的分部,那么这大约能使对锁的请求减少到越来的 1/16。也正是这项技术使得 ConcurrentHashMap 支持多达 16 个并发的写入线程。
14)互斥锁
互斥锁用最简单的一句话来理解:某个资源只能被一个线程访问,读读,读写,写读,写写都是一样的。
15)同步锁
与互斥锁一样,在同一个时间只允许一个线程访问一个资源,实现用 synchronized。
16)死锁
死锁并不是一种思想或者技术,而是一种状态,当线程A持有资源a,线程B持有资源b,线程A等着B释放b,线程B等着线程A释放a,进入了死循环,造成死锁。
17)总结
JAVA 里面主要有 ReentrantLock ,synchronized,Lock 三种锁,类别也是不一样:
- synchronized:属于独占锁、悲观锁、可重入锁、非公平锁。
- ReentrantLock:继承了 Lock 类,可重入锁、悲观锁、独占锁、互斥锁、同步锁。
- Lock:Java 中的接口,可重入锁、悲观锁、独占锁、互斥锁、同步锁。
Activiti
1、什么是 activiti?
就是一个流程框架,比如请假流程、报销流程这些都可以用 activiti 实现。
2、为什么要用 activiti?
不用 activiti 的话虽然可以通过改变某个字段的状态来实现业务流程,但是将来一旦业务流程发生变化,我们就需要去同步修改代码,比较麻烦。
3、常见的类。
- processEngine:核心类,调用 Service。
- RepositoryService :资源管理类,流程定义和部署对象。
- RuntimeService:流程运行管理类,执行管理,包括流程实例和执行对象,例如启动一个流程实例。
- TaskService:任务管理类,执行任务的 一些操作,包括设置流程变量。
- HistoryService:历史管理类。
- ManagerService:引擎管理类。
activiti 有 25 张表。
表的命名规则和作用:Activiti 的表都以 ACT_开头。第二部分是表示表的用途的两个字母标识。 用途也和服务的 API对应。
- ACT_RE_*: 'RE’ 表示 repository。这个前缀的表包含了流程定义和流程静态资源(图片,规则,等等)。
- ACT_RU_*::'RU’ 表示 runtime。这些运行时的表,包含流程实例,任务,变量,异步任务,等运行中的数据。Activiti 只在流程实例执行过程中保存这些数据,在流程结束时就会删除这些记录。这样运行时表可以一直很小速度很快。
- ACT_HI_*: 'HI’ 表示 history。这些表包含历史数据,比如历史流程实例,变量,任务等等。
- ACT_GE_*:GE 表示 general。通用数据,用于不同场景下。
4、流程实例和执行对象的区别?
比如请假流程,从发起请假申请到审批结束就是一个流程实例,期间的发起人、审批人等都是执行对象。
5、流程变量在项目中的作用?
- 用来传递业务参数,比如请假流程的请假天数,目的就是审核人可以通过流程变量查看申请人的一些审核信息。
- 用作条件判断,在连线的 condition 中设置流程变量,用来指定应该执行的连线${message==’重要’}。
- 使用流程变量指定个人任务和组任务的办理人#{userID}。
- 流程变量的作用域:global(流程实例,默认)、local(一个任务或执行实例)。
- 流程变量的使用方式:在属性上使用 UEL 表达式、在联系上使用 UEL 表达式。
6、activiti 工作流中,如果一个任务完成后,存在多条连线,应该如何处理?
根据流程变量判断该走哪条线 。当一个任务完成之后,根据这几条连线的条件和设置流程变量,例如${流程变量的名称==’流程变量的值’},{}符号是 boolean 类型,判断走哪条连线。
7、activiti 工作流中,排他网关和并行网关都能执行什么功能?
- 排他网关:通过流程变量出来,所有分支都会判断是否为 true,如果条件都符合则执行第一个值为 true 的线路,如果条件都不符合会抛出异常。
- 并行网关:在实际应用中常常用于会签节点,就是一个节点配置了多个审批人只有这个节点的所有审批人都通过才会继续往下走。
8、分配个人任务的三种方式?
- 直接给值:在 Xxxx.bpmn 文件中指定。
- 流程变量 + UEL 表达式:${流程变量的名称}或者#{}。
- 使用监听类:实现 TaskListener 接口重写 notify 方法,指定任务的办理人 setAssgnee()。
9、个人任务和组任务的查询一样吗?
不一样 ,虽然都是用 TaskService 类(TaskService.createTasQuery),但是具体的查询方法不同:个人任务(taskAssgnee),组任务(taskCandidateUser)。
10、BPM、BPMN 含义。
BPM(Business Process Management):业务流程管理,是一种规范化的、构造端到端的业务流程。
BPMN(Business Process Model And Notation):业务流程模型和符号,一套标准的业务流程建模符号。
11、act_ru_exection 表中有一个字段:BusinessKey,专门用来保存业务记录的主键。
12、在实际应用中,完成任务前需要校验任务的负责人是否具有该任务的办理权限,具体方法是根据任务 id 和任务负责人查询当前任务,能查到则有权限。
MongoDB
1、什么是 MongoDB?
- MongoDB 是一个非关系型文档数据库。采用 BSON 存储文档数据。
- BSON() 是类似 json 的一种二进制形式的存储格式,简称 Binary JSON,相对于 json 多了 date 类型和二进制数组。
- 关系型数据库采用的结构化的方式存储数据,NoSQL 采用的是键值对的方式存储数据。
2、MongoDB 成为最好 NoSQL 数据库的原因是什么?
- 面向文件
- 高性能
- 高可用性
- 易扩展性
- 丰富的查询语言
3、为什么用 MongoDB?
- 架构简单
- 没有复杂的连接
- 深度查询能力,MongoDB 支持动态查询。
- 容易调试
- 容易扩展
- 不需要转化/映射应用对象到数据库对象
- 使用内存作为存储工作区,以便更快的存取数据
4、monogodb 中的分片什么意思?
分片是将数据水平切分到不同的物理节点。当应用数据越来越大的时候,数据量也会越来越大。当数据量增长时,单台机器有可能无法存储数据或可接受的读取写入吞吐量。利用分片技术可以添加更多的机器来应对数据量增加以及读写操作的要求。
5、MongoDB 支持主键外键关系吗?
不支持。
6、MongoDB 支持哪些数据类型?
String、Integer、Double、Boolean、Object、Object ID、Arrays、Min/Max Keys、Datetime、Code、Regular Expression 等。
7、MongoDB 如何添加索引?
使用 db.collection.createIndex() 在集合中创建一个索引。
索引类型有哪些?
单字段索引、复合索引、多键索引、全文索引、Hash 索引、通配符索引、2dsphere 索引。
8、如何查询集合中的文档?
db.collectionName.find({key:value})。
9、用什么方法可以格式化输出结果?
db.collectionName.find().pretty()。
10、怎么更新数据?
db.collectionName.update({key:value},{$set:{newkey:newValue}})。
11、如何删除文档?
db.collectionName.remove({key:value})。
12、查询时如何排序?
使用 1 和 -1 来指定排序方式,其中 1 表示升序,而 -1 表示降序。
db.connectionName.find({key:value}).sort({columnName:1})
13、在 MongoDB 中什么是副本集(避免单点故障)?
在 MongoDB 中副本集由一组 MongoDB 实例组成,包括一个主节点多个次节点,MongoDB 客户端的所有数据都写入主节点 (Primary),副节点从主节点同步写入数据,以保持所有复制集内存储相同的数据,提高数据可用性。
副本集只能有一个主节点能够确认写入操作来接收所有写操作,并记录其操作日志中的数据集的所有更改(记录在 oplog 中)。在集群中,当主节点(master)失效,Secondary 节点会变为 master。
复制集节点类型有哪些?
- 优先级 0 型(Priority 0)节点
- 隐藏型(Hidden)节点
- 延迟型(Delayed)节点
- 投票型(Vote)节点以及不可投票节点
14、如何理解 MongoDB 中的 GridFS 机制,MongoDB 为何使用 GridFS 来存储文件?
- MongoDB 单个文档的存储限制是 16MB,如果要存储大于 16M 的文件,就要用到 MongoDB GridFS。
- GridFS 是一种将大型文件存储在 MongoDB 中的文件规范。
- 使用 GridFS 可以将大文件分隔成多个小文档存放,这样我们能够有效的保存大文档,而且解决了 BSON 对象有限制的问题。
Elasticsearch
1、Elasticsearch 调优(仅索引层面)。
设计阶段调优:
- 根据业务增量需求,采取基于日期模板创建索引,通过 roll over API 滚动索引;
- 使用别名进行索引管理;
- 每天凌晨定时对索引做 force_merge 压缩操作,以释放空间;
- 采取冷热分离机制,热数据存储到 SSD,提高检索效率;冷数据定期进行 shrink 操作,以缩减存储;
- 采取 curator 进行索引的生命周期管理;
- 仅针对需要分词的字段,合理的设置分词器;
- Mapping 阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。…
写入调优:
- 写入前副本数设置为 0;
- 写入前关闭 refresh_interval 设置为-1,禁用刷新机制;
- 写入过程中:采取 bulk 批量写入;
- 写入后恢复副本数和刷新间隔;
- 尽量使用自动生成的 id。
查询调优:
- 禁用 wildcard 通配符;
- 禁用批量 terms(成百上千的场景);
- 充分利用倒排索引机制,能 keyword 类型尽量 keyword;
- 数据量大时候,可以先基于时间敲定索引再检索;
- 设置合理的路由机制。
2、elasticsearch 的倒排索引是什么?
- 传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置。
- 而倒排索引,是通过分词策略,形成了词和文章的映射关系表,这种词典 + 映射表即为倒排索引。时间复杂度为 o(1) 。
- 倒排索引的底层实现是基于:FST(Finite State Transducer)数据结构。
FST 有两个优点:
- 空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间;
- 查询速度快。O(len(str)) 的查询时间复杂度。
3、elasticsearch 索引数据多了怎么办,如何调优,部署?
- 动态索引层面:基于模板+时间+rollover api 滚动创建索引,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非常大。
- 存储层面:冷热数据分离存储,热数据(比如最近 3 天或者一周的数据)存放于固态硬盘,其余冷数据存放在机械硬盘。对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索效率。
- 部署层面:ES 支持动态扩展,可以动态新增机器,注意:如果之前主节点等规划合理,不需要重启集群也能完成动态新增的。
4、elasticsearch 是如何实现 master 选举的?
前置前提:
- 只有是候选主节点(master:true)的节点才能成为主节点。
- 设置有最小主节点数(min_master_nodes),目的是防止脑裂。
核心入口为 findMaster,选择主节点成功返回对应 Master,否则返回 null。选举流程大致描述如下:
- 第一步:确认候选主节点数达标,elasticsearch.yml 设置的值 discovery.zen.minimum_master_nodes;
- 第二步:比较:先判定是否具备 master 资格,具备候选主节点资格的优先返回;若两节点都为候选主节点,则 id 小的值会成为主节点。注意这里的 id 为 string 类型。
5、Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法?
- 关闭缓存 swap 交换区;
- 堆内存设置为:Min(节点内存/2, 32GB);
- 设置最大文件句柄数;
- 线程池 + 队列大小根据业务需要做调整;
- 磁盘存储 raid 方式——存储有条件使用 RAID10,增加单节点性能以及避免单节点存储故障。
6、Elasticsearch 是如何实现 Master 选举的?
- Elasticsearch 的选主是 ZenDiscovery 模块负责的,主要包含 Ping(节点之间通过这个 RPC 来发现彼此)和 Unicast(单播模块包含一个主机列表以控制哪些节点需要 ping 通)这两部分;
- 对所有可以成为 master 的节点(node.master: true)根据 nodeId 字典排序,每次选举每个节点都把自己所知道节点排一次序,然后选出第一个(第 0 位)节点,暂且认为它是 master 节点。
- 如果对某个节点的投票数达到一定的值(可以成为 master 节点数 n/2+1)并且该节点自己也选举自己,那这个节点就是 master。否则重新选举一直到满足上述条件。
- 补充:master 节点的职责主要包括集群、节点和索引的管理,不负责文档级别的管理;data 节点可以关闭 http 功能*。
7、Elasticsearch 集群中 20 个节点,其中的 10 个选了一个 master,另外 10 个选了另一个 master(脑裂问题),怎么办?
- 当集群 master 候选数量不小于 3 个时,可以通过设置最少投票通过数量(discovery.zen.minimum_master_nodes)超过所有候选节点一半以上来解决脑裂问题;
- 当候选数量为两个时,只能修改为唯一的一个 master 候选,其他作为 data 节点,避免脑裂问题。
8、详细描述一下 Elasticsearch 更新和删除文档的过程。
- 删除和更新也都是写操作,但是 Elasticsearch 中的文档是不可变的,因此不能被删除或者改动以展示其变更;
- 磁盘上的每个段都有一个相应的 .del 文件。当删除请求发送后,文档并没有真的被删除,而是在 .del 文件中被标记为删除。该文档依然能匹配查询,但是会在结果中被过滤掉。当段合并时,在 .del 文件中被标记为删除的文档将不会被写入新段。
- 在新的文档被创建时,Elasticsearch 会为该文档指定一个版本号,当执行更新时,旧版本的文档在 .del 文件中被标记为删除,新版本的文档被索引到一个新段。旧版本的文档依然能匹配查询,但是会在结果中被过滤掉。
9、详细描述一下 Elasticsearch 搜索的过程。
- 搜索被执行成一个两阶段过程,我们称之为 Query Then Fetch;
- 在初始查询阶段时,查询会广播到索引中每一个分片拷贝(主分片或者副本分片)。 每个分片在本地执行搜索并构建一个匹配文档的大小为 from + size 的优先队列。PS:在搜索的时候是会查询 Filesystem Cache 的,但是有部分数据还在 MemoryBuffer,所以搜索是近实时的。
- 每个分片返回各自优先队列中 所有文档的 ID 和排序值 给协调节点,它合并这些值到自己的优先队列中来产生一个全局排序后的结果列表。
- 接下来就是 取回阶段,协调节点辨别出哪些文档需要被取回并向相关的分片提交多个 GET 请求。每个分片加载并丰富文档,如果有需要的话,接着返回文档给协调节点。一旦所有的文档都被取回了,协调节点返回结果给客户端。
- 补充:Query Then Fetch 的搜索类型在文档相关性打分的时候参考的是本分片的数据,这样在文档数量较少的时候可能不够准确,DFS Query Then Fetch 增加了一个预查询的处理,询问 Term 和 Document frequency,这个评分更准确,但是性能会变差。*
10、在 Elasticsearch 中,是怎么根据一个词找到对应的倒排索引的?
- Lucene 的索引过程,就是按照全文检索的基本过程,将倒排表写成此文件格式的过程。
- Lucene 的搜索过程,就是按照此文件格式将索引进去的信息读出来,然后计算每篇文档打分 (score) 的过程。
11、Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法?
- 64 GB 内存的机器是非常理想的, 但是 32 GB 和 16 GB 机器也是很常见的。少于 8 GB 会适得其反。
- 如果你要在更快的 CPUs 和更多的核心之间选择,选择更多的核心更好。多个内核提供的额外并发远胜过稍微快一点点的时钟频率。
- 如果你负担得起 SSD,它将远远超出任何旋转介质。基于 SSD 的节点,查询和索引性能都有提升。如果你负担得起,SSD 是一个好的选择。
- 即使数据中心们近在咫尺,也要避免集群跨越多个数据中心。绝对要避免集群跨越大的地理距离。
- 请确保运行你应用程序的 JVM 和服务器的 JVM 是完全一样的。 在 Elasticsearch 的几个地方,使用 Java 的本地序列化。
- 通过设置 gateway.recover_after_nodes、gateway.expected_nodes、gateway.recover_after_time 可以在集群重启的时候避免过多的分片交换,这可能会让数据恢复从数个小时缩短为几秒钟。
- Elasticsearch 默认被配置为使用单播发现,以防止节点无意中加入集群。只有在同一台机器上运行的节点才会自动组成集群。最好使用单播代替组播。
- 不要随意修改垃圾回收器(CMS)和各个线程池的大小。
- 把你的内存的(少于)一半给 Lucene(但不要超过 32 GB!),通过 ES_HEAP_SIZE 环境变量设置。
- 内存交换到磁盘对服务器性能来说是致命的。如果内存交换到磁盘上,一个 100 微秒的操作可能变成 10 毫秒。 再想想那么多 10 微秒的操作时延累加起来。 不难看出 swapping 对于性能是多么可怕。
- Lucene 使用了大 量 的文件。同时,Elasticsearch 在节点和 HTTP 客户端之间进行通信也使用了大量的套接字。 所有这一切都需要足够的文件描述符。你应该增加你的文件描述符,设置一个很大的值,如 64,000。
索引阶段性能提升方法:
- 使用批量请求并调整其大小:每次批量数据 5–15 MB 大是个不错的起始点。
- 存储:使用 SSD
- 段和合并:Elasticsearch 默认值是 20 MB/s,对机械磁盘应该是个不错的设置。如果你用的是 SSD,可以考虑提高到 100–200 MB/s。如果你在做批量导入,完全不在意搜索,你可以彻底关掉合并限流。另外还可以增加 index.translog.flush_threshold_size 设置,从默认的 512 MB 到更大一些的值,比如 1 GB,这可以在一次清空触发的时候在事务日志里积累出更大的段。
- 如果你的搜索结果不需要近实时的准确度,考虑把每个索引的 index.refresh_interval 改到 30s。
- 如果你在做大批量导入,考虑通过设置 index.number_of_replicas: 0 关闭副本。
10、对于 GC 方面,在使用 Elasticsearch 时要注意什么?
- 倒排词典的索引需要常驻内存,无法 GC,需要监控 data node上 segmentmemory 增长趋势。
- 各类缓存,field cache, filter cache, indexing cache, bulk queue 等等,要设置合理的大小,并且要应该根据最坏的情况来看 heap 是否够用,也就是各类缓存全部占满的时候,还有 heap 空间可以分配给其他任务吗?避免采用 clear cache 等“自欺欺人”的方式来释放内存。
- 避免返回大量结果集的搜索与聚合。确实需要大量拉取数据的场景,可以采用 scan & scroll api 来实现。
- cluster stats 驻留内存并无法水平扩展,超大规模集群可以考虑分拆成多个集群通过 tribe node 连接。
- 想知道 heap 够不够,必须结合实际应用场景,并对集群的 heap 使用情况做持续的监控。
- 根据监控数据理解内存需求,合理配置各类 circuit breaker,将内存溢出风险降低到最低。
11、Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?
Elasticsearch 提供的首个近似聚合是 cardinality 度量。它提供一个字段的基数,即该字段的 distinct 或者 unique 值的数目。它是基于 HLL 算法的。HLL 会先对我们的输入作哈希运算,然后根据哈希运算的结果中的 bits 做概率估算从而得到基数。其特点是:可配置的精度,用来控制内存的使用(更精确= 更多内存);小的数据集精度是非常高的;我们可以通过配置参数,来设置去重需要的固定内存使用量。无论数千还是数十亿的唯一值,内存使用量只与你配置的精确度相关。
12、在并发情况下,Elasticsearch 如果保证读写一致?
- 可以通过版本号使用乐观并发控制,以确保新版本不会被旧版本覆盖,由应用层来处理具体的冲突;
- 另外对于写操作,一致性级别支持 quorum/one/all,默认为 quorum,即只有当大多数分片可用时才允许写操作。但即使大多数可用,也可能存在因为网络等原因导致写入副本失败,这样该副本被认为故障,分片将会在一个不同的节点上重建。
- 对于读操作,可以设置 replication 为 sync(默认),这使得操作在主分片和副本分片都完成后才会返回;如果设置 replication 为 async 时,也可以通过设置搜索请求参数 _preference 为 primary 来查询主分片,确保文档是最新版本。
13、如何监控 Elasticsearch 集群状态?
Marvel 让你可以很简单的通过 Kibana 监控 Elasticsearch。你可以实时查看你的集群健康状态和性能,也可以分析过去的集群、索引和节点指标。
14、拼写纠错是如何实现的?
拼写纠错是基于编辑距离来实现;编辑距离是一种标准的方法,它用来表示经过插入、删除和替换操作从一个字符串转换到另外一个字符串的最小操作步数;
Apache POI
https://iowiki.com/apache_poi/apache_poi_interview_questions.html
核心类:Workbook,这是创建或维护 Excel 工作簿的所有类的超级接口,实现此接口的两个类如下:
- HSSFWorkbook - 此类具有以.xls 格式读取和写入 Microsoft Excel 文件的方法。 它与 MS-Office 版本 97-2003 兼容。
- XSSFWorkbook - 此类具有以.xls 或.xlsx 格式读取和写入 Microsoft Excel 和 OpenOffice xml 文件的方法。 它与 MS-Office 2007 或更高版本兼容。
1、Apache POI 的组件。
- POIFS :该组件是所有其他 POI 元素的基本因素。 它用于显式读取不同的文件。
- HSSF:用于读取和写入 MS-Excel 文件的 xls 格式。
- XSSF: 用于 MS-Excel 的 xlsx 文件格式。
- HPSF:用于提取 MS-Office 文件的属性集。
- HWPF:用于读写 MS-Word 的 doc 扩展文件。
- XWPF:用于读写 MS-Word 的 docx 扩展文件。
- HSLF:用于阅读,创建和编辑 PowerPoint 演示文稿。
- HDGF:它包含 MS-Visio 二进制文件的类和方法。
- HPBF:用于读写 MS-Publisher 文件。
2、创建表格。
//Create Blank workbook
XSSFWorkbook workbook = new XSSFWorkbook();
//Create a blank spreadsheet
XSSFSheet spreadsheet = workbook.createSheet("Sheet Name");
3、创建行。
XSSFRow row = spreadsheet.createRow((short)1);
4、创建单元格。
XSSFCell cell = row.createCell(0);
5、设置单元格格式。
XSSFCellStyle style1 = workbook.createCellStyle();
style1.setAlignment(XSSFCellStyle.ALIGN_LEFT);
style1.setVerticalAlignment(XSSFCellStyle.VERTICAL_TOP);
cell.setCellStyle(style1);
6、设置字体。
XSSFFont font = workbook.createFont();
font.setFontHeightInPoints((short) 30);
font.setFontName("IMPACT");
font.setItalic(true);
font.setColor(HSSFColor.BRIGHT_GREEN.index);
XSSFCellStyle style = workbook.createCellStyle();
style.setFont(font);
7、旋转单元格。
//setRotation()
//90 degrees
XSSFCellStyle myStyle = workbook.createCellStyle();
myStyle.setRotation((short) 90);
cell = row.createCell(5);
cell.setCellValue("90D angle");
cell.setCellStyle(myStyle);
8、向单元格添加公式。
//setCellFormula()
cell.setCellType(XSSFCell.CELL_TYPE_FORMULA);
cell.setCellFormula("SUM(C2:C3)" );
cell = row.createCell(3);
cell.setCellValue("SUM(C2:C3)");
9、向单元格添加超链接。
CreationHelper createHelper = workbook.getCreationHelper();
XSSFHyperlink link = (XSSFHyperlink)createHelper.createHyperlink(Hyperlink.LINK_URL);
link.setAddress("http://www.iowiki.com/" );
cell.setHyperlink((XSSFHyperlink) link);
10、设置 Excel 的可打印区域。
XSSFWorkbook workbook = new XSSFWorkbook();
XSSFSheet spreadsheet = workbook.createSheet("Print Area");
//set print area with indexes
workbook.setPrintArea(
0, //sheet index
0, //start column
5, //end column
0, //start row
5 //end row
);
//set paper size
spreadsheet.getPrintSetup().setPaperSize(XSSFPrintSetup.A4_PAPERSIZE);
//set display grid lines or not
spreadsheet.setDisplayGridlines(true);
//set print grid lines or not
spreadsheet.setPrintGridlines(true);
问题
面试被问“你有什么要问我的吗?”
1.判断该问题是否是最后一问若该问题是最后一问,通常在此之前面试官已经了解到了你的基础信息,特别是询问了你的工作状态、最快入职时间等信息。如果 HR 在言谈间已经透露出发 offer 的意愿,这个时候你不妨等一等,先问宏观性问题,等 HR 主动跟你谈你最在意的薪资性问题。比如,你可以先问“您可以给我简单介绍下公司架构吗?”“您可以分享下您关于公司工作氛围的感受吗?”。
2.判断面试官对你的表现是否满意?
生活中普遍存在的一个定律也存在于面试场景中——“你不喜欢的人其实也不喜欢你。”这个时候要相信直觉。如果面试官表现出对你个人的浓厚兴趣和认可,你完全可以提问一些跟个人利益紧密相关的问题,去探 HR 的“口风”。但要注意几个细节:
- 只提问,不评价;
- 掌握提问技巧,不硬问。比如,“跟我相同岗位的人,一周可以休息几天?”“您最满意该公司的哪些方面?”。
3、根据面试官身份针对性提问。
不同公司的面试官组成不径相同。一般情况下,面试官构成分为四类情况:一是公司 HR,二是部门负责人(中层管理人员),三是公司老板(高层人员),四是混合构成。不论面试官何种身份,总的提问原则只有一个:把合适的问题给到合适的人,不给对方制造麻烦。何为给对方制造麻烦?比如,你问 HR 你所应聘部门的任务分工,工作量等。HR 工作不涉及部门内部的具体安排,你向他发出此问只能暴露自己的不专业。
1)面试官为 HR 时提问人力关系向问题
人力关系向问题涉及到公司架构、发展空间、工作环境方面的问题,这一类问题的提问关键是体现主动性和稳定性。比如: “贵公司会向入职员工提供哪些培训学习的机会?”“岗位所在部门的人员设置是什么样的?”“贵公司试用期有多久,转正标准是什么?”
2)面试官为部门负责人时提问务实向问题
务实向的问题是跟岗位内容相关的具体问题,通常涉及:岗位匹配能力、团队分工、工作内容等,重点在于体现专业性和利他性。比如: “您认为我目前的能力跟应聘岗位之间的匹配度如何?”“这个岗位的绩效考核标准涵盖哪些方面?”“如果我能有幸加入您负责的部门,您期望我能给团队带来哪些价值?”
3)面试官为公司高层时提问规划向问题
规划向问题的提问核心就是把格局打开,但同时又忌讳忘记自己的身份,只提问公司战略却跟个人发展无关的问题。简而言之,就是体现宏观思维,但又关联个人发展。提问重点在于体现独立性又体现稳定性。比如: “如果我想在贵公司长期发展,我的职业规划该如何做更能契合公司的发展节奏?”“贵公司现在面临的最大挑战是什么,我供职的部门在应对挑战方面可以起到哪些作用?”“您最看重员工身上的哪些特质?”
4)面试官为混合构成时按照优先级提问。
当面试时出现多对一的情况,要优先识别面试官的身份,按照公司高层——部门负责人——HR 的顺序进行发问。做有层次性的提问,同时要注意一次一问,不要一次提多个问题,尽量避免问一些“小家子气”的问题。比如: “贵公司的加班费如何算?”“年终奖有多少?”“调休如何折算?”等问题可以私下问 HR。注意千万不要问“您觉得我这次面试表现如何”,“我可以被录用吗?”。这些问题在多对一的场合提出,只会拉低面试的整体印象,成为减分项。