LADP 介绍 OpenLDAP 是一款轻量级目录访问协议(Lightweight Directory Access Protocol,LDAP)，属于开源集中账号管理架构的实现，支持众多系统版本。 LDAP 提供并实现目录服务的信息服务，目录服务是一种特殊的数据库系统，对于数据的读取、浏览、搜索有很好的效果。目录服务一般用来包含基于属性的描述性信息并支持精细复杂的过滤功能，对搜索有很好的效果。目录服务不支持通用数据库的大量更新操作所需要的复杂的事物管理或回滚策略。 OpenLDAP 默认以 Berkeley DB 作为后端数据库，Berkeley DB 数据库主要以三列的数据类型进行数据存储，如以键值对的方式进行存储。Berkeley DB 是一类特殊的数据库，主要用于搜索、浏览、更新查询操作，一般对于一次写入数据、多次查询和搜索有很好的效果。Berkeley DB 数据库是面向查询进行优化，面向读取进行优化的数据库。不支持事务性数据库所支持的高并发的吞吐量以及复杂的事务操作。 环境准备 腾讯云服务器、docker 拉取 openldap 与 phpldapadmin 镜像到本地 d....

MySQL的内部组件结构 大体来说，MySQL 可以分为 Server 层和存储引擎层两部分。 Server层 主要包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。 连接器 我们知道由于MySQL是开源的，他有非常多种类的客户端：navicat,mysql front,jdbc,SQLyog等非常丰富的客户端,这些客户端要向mysql发起通信都必须先跟Server端建立通信连接，而建立连接的工作就是有连接器完成的。 第一步，你会先连接到这个数据库上，这时候接待你的就是连接器。连接器负责跟客户端建立连接、获取权限、维持和管理连接。连接命令一般是这么写的： [root@192 ~]# mysql -h host[数据库地址] -u root[用户] -p root[密码] -P 3306 连接命令中的 mysql 是客户端工具，用来跟服务端建立连接。在完成经典的 TCP 握手后，连接器就要开始认证你的身份，这个时候用的就是你输入的.....

领域驱动开发相关规范 1. 包命名规范 controller包：用户界面层 service包：承接来自用户界面层的请求，属于应用服务层；服务类以 AppService为后缀 task包：定时任务相关的包，属于应用服务层，即定时任务的业务逻辑依旧交割各领域完成。 security包：安全相关的包，属于应用服务层。 aop包：完成某个应用逻辑的AOP，属于应用服务层。 dto包：按领域放，如果是涉及多个领域，则可直接放在根目录 <领域名> domain包：领域层 <领域名>： service：领域服务类，大部分以Service为后缀，少部分可以更贴切其业务逻辑/职责来命名，如manager、scheduler、balancer、validator impl：如果sevice只有一两个就不要分impl包了 entity：实体包 vo包：valueObject类 common包：领域的常量类、工具类；如果常量类、工具类仅在领域内使用，或者只受这个领域管理，则可以放在领域在。 dto包：用于domain层可接收的数据传输类，也可直接使用controller传输进来的.......

协同过滤算法 协同过滤算法是一种基于用户或者物品的相似度来推荐相关商品的方法，它可以有效地解决商城系统中的信息过载问题。协同过滤算法的实践主要包括以下几个步骤： 数据收集和预处理。这一步需要从商城系统中获取用户的行为数据，如浏览、购买、评价等，然后进行一些必要的清洗和转换，以便后续的分析和计算。 相似度计算。这一步需要根据用户或者物品的特征或者行为，采用合适的相似度度量方法，如余弦相似度、皮尔逊相关系数、Jaccard指数等，来计算用户之间或者物品之间的相似度矩阵。 推荐生成。这一步需要根据相似度矩阵和用户的历史行为，采用合适的推荐策略，如基于邻域的方法、基于模型的方法、基于矩阵分解的方法等，来生成针对每个用户的个性化推荐列表。 推荐评估和优化。这一步需要根据一些评价指标，如准确率、召回率、覆盖率、多样性等，来评估推荐系统的效果，并根据反馈信息和业务需求，进行一些参数调整和算法优化，以提高推荐系统的性能和用户满意度。 余弦相似度算法 余弦相似度，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。 余弦相....

G1收集器(-XX:+UseG1GC) G1 (Garbage-First)是一款面向服务器的垃圾收集器,主要针对配备多颗处理器及大容量内存的机器. 以极高概率满足GC停顿时间要求的同时,还具备高吞吐量性能特征. G1将Java堆划分为多个大小相等的独立区域（ Region ），JVM目标是不超过 2048 个Region(JVM源码里TARGET_REGION_NUMBER 定义)，实际可#### 以超过该值，但是不推荐。 一般Region大小等于堆大小除以2048，比如堆大小为4096M，则Region大小为2M，当然也可以用参数"-XX:G1HeapRegionSize"手动指定Region大 小，但是推荐默认的计算方式。 G1保留了年轻代和老年代的概念，但不再是物理隔阂了，它们都是（可以不连续）Region的集合。 默认年轻代对堆内存的占比是5%，如果堆大小为4096M，那么年轻代占据200MB左右的内存，对应大概是100个Region，可以通过“- XX:G1NewSizePercent”设置新生代初始占比，在系统运行中，JVM会不停的给年轻代增加更多的Region，但是最多....

HashMap的扩容机制 hashMap扩容: 扩容就是重新计算容量，向hashMap不停的添加元素，当hashMap无法装载新的元素，对象将需要扩大数组容量，以便装入更多的元素。 haspMap扩容跟数据迁移具有很大的关联，我们先用图解的方式来说明数据迁移. 进行扩容前先介绍一些hahMap源码的变量 Node<K,V> loHead = null, loTail = null; //低位链表的头尾结点 Node<K,V> hiHead = null, hiTail = null; //高位链表的头尾结点 Node<K,V> next; //next指针 指向下一个元素 迁移前: 这里将其设置为长度为 8，扩容临界点 8 * 0.75 = 6 主要是为了画图 （hashMap默认容量是16） 以下讲解都是基于数组容量为 8 讲解的，流程都是一样的. 从图可知，发生了扩容并且是2的次方，并且 A，B,C两元素新的位置刚好是原数组位置的索引位置，D,E，F刚好在原数组位置索引 + 8 即原数组位置索引+数组容量。是不是真的是这样呢？？，这时需要看源....

前置启动程序 事先启动一个web应用程序，用jps查看其进程id，接着用各种jdk自带命令优化应用 Jmap 此命令可以用来查看内存信息，实例个数以及占用内存大小 jmap -histo 14660 #查看历史生成的实例 jmap -histo:live 14660 #查看当前存活的实例，执行过程中可能会触发一次full gc 打开log.txt，文件内容如下： num：序号 instances：实例数量 bytes：占用空间大小 class name：类名称，[C is a char[]，[S is a short[]，[I is a int[]，[B is a byte[]，[[I is a int[][] 堆内存dump 1 jmap -dump:format=b,file=eureka.hprof 14660 也可以设置内存溢出自动导出dump文件(内存很大的时候，可能会导不出来) 1. -XX:+HeapDumpOnOutOfMemoryError 2. -XX:HeapDumpPath=./ （路径） 示例代码： public class OOMTest { publ......

DataX 预研 预研背景 DataX是一个异构数据源离线同步工具。 现场使用 ADMA 调度 DataX 来进行数据同步，计划用 D-Dolphin 替代 ADMA，因此 D-Dolphin 也需要支持 DataX。 我们已经给D-Dolphin开发了Synchronous任务，与DataX相比，Synchronous任务支持的数据源类型比较少。 D-Dolphin原生已经支持DataX任务了，不过还比较简陋，因此需要对这个任务进行改进。 DataX 介绍 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 项目地址：https://github.com/alibaba/DataX 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。如下图所示....