佩琪重名了

我们在项目开发过程中，经常会有需求需要删除ArrayList中的某个元素，而使用不正确的删除方式，就有可能抛出异常。或者在面试中，会遇到面试官询问遍历时如何正常删除元素。所以在本篇文章中，我们会对几种删除元素的方式进行测试，并对原理进行研究，希望可以帮助到大家！ 首先初始化一个…

1. limit分页优化 当偏移量特别大时，limit效率会非常低。 如果我们结合order by使用。很快，0.04秒就OK。 因为使用了id主键做索引！当然，是否能够使用索引还需要根据业务逻辑来定，这里只是为了提醒大家，在分页的时候还需谨慎使用！ 有些业务逻辑进行查询操作时…

背景 基于TPCDS的100G，500G数据进行了99SQL综合调优测试 测试机为物理机5台，1台为管理节点，4台为计算节点 可用内存约1T，核心数（vCore）200大概 重要参数 执行器个数 --

结果中只有default数据库，并无其他hive中已创建好的数据库，读取并处理更无从谈起。而期望是能显示hive中的其他多个数据库名称。 推测可能是新版本的集成包中，spark采用了一套独立的配置，因而可以正常启动，但读取不到hive的数据库。 能够正常显示我在hive中创建的…

maven版本过低，安装一下maven3.5.4，配置环境变量即可。 就是hbase-spark-1.0.1-SNAPSHOT.jar，现在可以在项目中使用了。 经查询，数据成功写入HBase。

以上两张表就创建好了，简单。 官网的 Example 36. HBaseContext Usage Example 如下： new SparkContext("local", "test") 这种写法是这个包独有的。详情如下： 两种API方法底层均调用SparkHadoopWr…

按照官网SparkBench配置各项，参考SparkBench配置。 但如果这些配置已经是合理的（最大值或较大值），则本方法无效。 这两个参数的意思是说是否启动一个线程检查每个任务正使用的物理内存量和虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。此处试了，没有…

花了些时间把Demo写出来,这里谈一下实现。