行者AI

AWS EMR是一个计算集群。可以通过ta创建自定义配置的虚拟机，并自动安装所需计算框架（Spark，Hadoop，Hive等），以便用来进行大数据计算。 1. 项目背景 公司目前有一个项目，通过爬虫收集数据，离线计算得到用户画像，并将最终结果写入rds，通过api向外展示数据…

通信协议是指双方实体完成通信或服务所必须遵循的规则和约定，从而确保网络中数据顺利地传送到确定的地方，通信协议作为一个网络通信模型，提供了一整套网络传输协议，由于协议家族中的两大核心协议：TCP（传输控制协议）和IP（网际协议）为该家族中最早通过的标准，所以通常将通信协议家族称为…

在项目中我们经常会有压测的需求，而小巧轻便且免费的JMeter也顺势成为了我们的主流压测工具。 JMeter是Apache组织开发的开源项目，设计之初是用于做性能测试的，同时它在实现对各种接口的调用方面做得比较成熟，因此，常被用作接口功能测试和性能测试。它能够很好的支持各种常见…

在团队规模尚小，业务尚较为简单的前提条件下，我们常常将多个功能集中在一个应用中，进行统一化的部署和测试。随着业务的发展，功能模块日益增多。如需更新单一模块，都会需要对整个程序进行更新，如此下来，长期以往系统维护将会变得愈发费时费力。 针对以上问题，我们将单体应用进行拆分，变成多…

互联网网页存在大量的内容重复的网页，文本，无论对于搜索引擎，爬虫的网页去重和过滤、新闻小说等内容网站的内容反盗版和追踪，还是社交媒体等文本去重和聚类，都需要对网页或者文本进行去重和过滤。为此必须有一套高效的去重算法，要不然爬虫将做非常多的无用功，时效性等都无法得到保证，更重要的…

由于计算机软件的非法复制，通信的泄密、数据安全受到威胁，所以加密在开发过程中是经常使用到的技术，在一些重要场景中都有所应用，如：登录、支付、oauth等，场景不同需要搭配不一样的签名加密算法来达到业务目标。 1. 加密算法的种类 加密算法分散列算法、对称加密、非对称加密。 （1…

声音虽然客观存在，但是人的主观听觉和客观实际存在差异化。心理声学研究的就是声音的主观感觉和物理量之间的关系，因为人耳听觉对声音的主观响应是评价音质好坏的唯一标准。对于复杂的声音，从主观可以用响度、音高和音色来描述。客观上，响度和音高与声波的振幅（幅度）有关，音色和频谱及包络有关…

强化学习（Reinforcement Learning，RL），也叫增强学习，是指一类从（与环境）交互中不断学习的问题以及解决这类问题的方法。强化学习问题可以描述为一个智能体从与环境的交互中不断学习以完成特定目标（比如取得最大奖励值）。 和深度学习类似，强化学习中的关键问题也是…

OpenCV是一个基于BSD许可（开源）发行的跨平台的计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接…