WendyFan

注意：本博客的实验完成于2021年1月，若附加的代码无法使用，原因是tf的包有所更新，函数可能也相应的做出了调整。因此无法运行性的话需要参考官方教程文档↑。 在本教程中，我们使用经典的MNIST训练集来介绍TFF的联邦学习（FL）的API层：tff.learning。它包含了一…

Tansorflow_federated教程给的官方的安装方法。执行以下代码，会自动下载mnist数据集，并且在头一次执行下载完之后，以后执行不会重复下载。 由于第一种方法非常耗时（运行之后就一直出于下载状态不动），因此就琢磨出了第二种方法，查看tff.simulation.d…

在做对比实验中，除了对整体形状的对比，在很多情况下都需要对某一局部的数据进行放大，来观察更加精细的对比效果。 reward_demaddpg[]储存的是执行demaddpg算法后所获得的300个reward结果。 其中fig, ax = plt.subplots(a,b)用来控…

在概率论和统计学中，Markov Decision Processes (MDP) 提供了一个数学架构模型，刻画的是“如何在部分随机，部分可由决策者控制的状态下进行决策”的过程。强化学习的体系正是构建在MDP之上的。 Value function也是MDP中一个非常重要的概念，…

本文将带你学习经典强化学习算法 Q-learning 的相关知识。在这篇文章中，你将学到：（1）Q-learning 的概念解释和算法详解；（2）通过 Numpy 实现 Q-learning。 假设你是一名骑士，并且你需要拯救上面的地图里被困在城堡中的公主。 你每次可以移动一个…

这表示，给定现在，未来就独立于过去。即，在当前状态下，所有历史信息都可以丢弃。 马尔可夫过程可以表示为元祖<S，P>，其中S是状态空间 ，P是状态转移矩阵 。其中 MRP可以由四元组" class="equation" src="https://juejin.im/equati…

在工业物联网（IIoT）中，对等（P2P）能源交易无处不在，例如微电网，能源收集网络和车-电网。但是，在这些情况下，不信任和不透明的能源市场会带来常见的安全和隐私挑战。为了解决安全挑战，我们利用联合体区块链技术提出了一个名为能源区块链的安全能源交易系统。该能源区块链可广泛用于P…

状态更新场景中，信息年龄（AoI）是测量信息实时性的一个新颖的指标。实时应用需要及时将状态更新信息传输给目的节点，但是一些应用的状态信息是嵌入在包中的，在数据处理之前都不会展示出来，这是计算代价很大并且很浪费时间。 两种计算方式统一到一个两个节点的串联队列模型。采用零等待规则，…

I. 介绍 延迟敏感的应用需要给用户的要求给及时的回应。 对抗目标：应用和用户的目标冲突。应用的目标是任务分配以满足服务质量要求。用户的目标是节约自身开销和获得更多回报。 不完整的信息：服务不了解边缘设备。 受限的合作：设备自私，没有回报不愿意合作。 任务合信任限制：应用包含复…