FontTian

（4）数据规约 —— 主要方法包括：数据立方体聚集，维度归约，数据压缩，数值归约，离散化和概念分层等。数据清洗的路子：刚拿到的数据 —-> 和数据提供者讨论咨询 —–> 数据分析（借助可视化工具）发现脏数据 —->清洗脏数据（借助MATLAB或者Java/C++语言） —–>再次...

MIC 即：Maximal Information Coefficient 最大互信息系数。 使用MIC来衡量两个基因之间的关联程度，线性或非线性关系，相较于Mutual Information（MI）互信息而言有更高的准确度。MIC是一种优秀的数据关联性的计算方式。本篇文章将会...

首先需要在/etc/apt/sources.deb https://<my.favorite.cran.deb https://<my.favorite.cran.deb https://<my.favorite.cran.在/etc/apt/sources.list文件中，用您...

TypeError: Can not convert a float32 into a Tensor or Operation.# 类型错误:不能将一个浮动32转换为一个张量或操作。TypeError: Fetch argument 2.3025854 has invalid t...

要想扩充虚拟机centos 空间，必须先扩充虚拟机本身物理空间.本文只描述如何增加centos系统的根目录空间。以下内容,需要输入命令以红色标出,关键输出内容以蓝色标出。Disk /dev/mapper/vg_zxw-lv_root: 18.WARNING: DOS-compat...

本人大数据专业学生，本文档最早是在学校上这门课时候的笔记。后来系统重装重装hive补充完善了这个笔记，今天偶然翻到，看格式应该是我当时打算发布来着，但是后来忘记了。特此补发。内容主要来自于本校老师教学时自己编写的文档和网络资料。本文旨在快速学习或者回顾hive常用知识，阅读本文档...

之前在jupyter notebook上安装过spark magic，现在需要卸载他，一共有四个kernel需要卸载。刚好拿来做例子，步骤十分简单。其中sparkkernel，sparrkernel，pysparkkernel，pyspark3kernel。是本例子中需要卸载的k...

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工...

为了在jupyter notebook上编写scala与spark需要安装Jupyter-Spark与Jupyter-Scala两个jupyter核心（kernel） 本人安装顺序为Jupyter-Spark，然后Jupyter-Scala，文档编写顺序为本人安装顺序。jupyt...