阅读 71

jupyter notebook 真的有魔法吗?

大家好,我是小五🧐

上周一共分享了10个有趣的Jupyter Notebook使用技巧👇

5个Jupyter Notebook使用技巧(第一弹)

5个Jupyter Notebook使用技巧(第二弹)

花几分钟掌握部分技巧,就可以提升自己的工作效率,节约时间岂不乐乎?

今天是第三篇,本文继续介绍有趣有用的魔法函数

魔法命令

何为魔法命令?

官方给出的定义是:IPython有一组预先定义好的所谓的魔法函数(Magic Functions),你可以通过命令行的语法形式来访问它们。这些指令独立于Python语法,可以完成一些特殊的功能。

魔法命令共分为两类:

  • 行魔法命令(line magic) : 前缀为"%",且全部指令(包含主要参数)不可以换行。
  • 单元格命令(cell magic): 前缀为"%%",整个单元格都是魔法命令,单元格第一行必须是"%%"

在单元格Cell中输入%lsmagic即可查看所有的魔法命令,如果临时忘了某个函数名怎么拼写,可以用此查询。如果连%lsmagic也忘了的话,问搜索引擎吧(摊手)。。。

关于查询魔法命令,还有两个函数比较常用:

  • %quickref:输出所有魔法指令的简单版帮助文档
  • %Magics_Name?:输出某个魔法命令详细帮助文档

下面我将先罗列一下常见的魔法函数,并对其中五个进行详细演示讲解。

注:由于IPython的内置magic函数,那么在Pycharm中是不会支持的。

计算运行时间

有时候我们需要进行代码优化,就需要计算对比一下函数或过程运行时间,以此来衡量代码的效率

在Jupyter Notebook中有几个魔法函数可以实现,功能效果各有差异。

这样我们就可以快速得到代码的运行时间,以此来对比代码的优化效果。

查看当前变量

在Jupyter Notebook一行一行编写代码时,会发现自己定义的变量越来越多,到后面就不好想起来都在哪些单元格定义了哪些变量了。

其实我们可以使用魔法命令——%who_ls查看已经定义了哪些变量?

包括导入的模块别名也在其中。

其中还可以指定变量类型查看,比如我们只想查看目前已经定义了哪些列表:

%who_ls list
复制代码

保存单元格内容到文件

我们可以在Jupyter Notebook只保存部分内容为.py文件。这里需要使用魔法命令%%writefile,它的作用是将单元格中的内容保存到外部的文件中。

在下方的演示中,将代码

message = "Hello World"
print(message)
复制代码

保存为test.py文件

打开当前工作目录,可以发现已生成test.py文件

这时候我们想验证一下文件内容是否一致,有一个魔法命令%pycat,能够以弹出框的形式显示外部文件的内容。这样我们就不必离开Jupyter Notebook去查看.py文件了。

设置环境变量

在机器学习/深度学习里,我们经常遇到使用环境变量的情况

在Jupyter Notebook中,也是可以通过%魔术命令进行设置修改环境变量的。

例如%env%set_env,用法也很简单%env MY_VAR=MY_VALUE%env MY_VAR MY_VALUE

另外,单独使用%env可以打印出当前的环境变量。

%env THIS_IS_ENV_EXAMPLE "TEST2021"
复制代码

其中THIS_IS_ENV_EXAMPLE是环境变量,它的值是字串 TEST2021

代码分享

举个例子,我们正在Jupyter Notebook运行代码,遇到了一些问题想把代码分享出去。这时候要截图,还是另存为代码文件再发送文件呢?

其实还有另外一种选择——以链接的形式分享代码。

%pastebin
复制代码

该魔法命令可以将代码上传到Pastebin并返回一个链接。其中Pastebin是一个线上内容托管服务,我们可以在上面存储纯文本,如源代码片段,所形成的链接也可以分享给他人

我们还可以指定分享的cell(单元格),比如:

%pastebin 1-4
复制代码

这样就生成了一个隐私的链接url供我们分享代码。

网页打开链接,即可得到下图的界面。需要注意,生成的链接有效期只有7天。

哔哔叨:这种分享方式还是需要联网的。有一些小伙伴在公司使用的是不能联网的机器,想请教别人分享代码一直是个难题。最近小五发现有人开发了通过二维码传递代码本文的方法,很有趣,有时间好好了解一下。

好了,今天介绍了Jupyter Notebook中的魔法命令,利用它可以轻松实现一些纯Python要很麻烦才能实现的功能。

限于篇幅,只介绍了5个有趣的魔法命令,%pdb代码调试等都没有细讲,大家想详细了解的话可以对照前文的帮助文档查看。下篇将会继续介绍一波非常实用的插件,敬请期待。

觉得有技巧帮助到你提升效率/乐趣的话,别忘了给本文点个赞哦👍

1111



注意这些命令是在Python kernel中适用的,其他 kernel 不一定适用

什么是魔法函数呢(magic function)?

%matplotlib inline是一个魔法函数(Magic Functions)。可见“%matplotlib inline”就是模仿命令行来访问magic函数的在IPython中独有的形式。magic函数分两种:一种是面向行的,另一种是面向单元型的。行magic函数是用前缀“%”标注的,很像我们在系统中使用命令行时的形式,例如在Mac中就是你的用户名后面跟着“$”。“%”后面就是magic函数的参数了,但是它的参数是没有被写在括号或者引号中来传值的。单元型magic函数是由两个“%%”做前缀的,它的参数不仅是当前“%%”行后面的内容,也包括了在当前行以下的行。

%%writefile 调用外部Python脚本 %run 调用外部Python脚本 %timeit 测试单行语句的执行时间 %%timeit 测试整个单元中代码的执行时间 % matplotlib inline 显示 matplotlib 包生成的图形 %%writefile 写入文件 %pdb 调试程序 %pwd 查看当前工作目录 %ls 查看目录文件列表 %reset 清除全部变量 %who 查看所有全局变量的名称,若给定类型参数,只返回该类型的变量列表 %whos 显示所有的全局变量名称、类型、值/信息

之前我们介绍了 Jupyter Notebook 这款实用高效的应用程序,在其提供的环境中,可以记录代码、运行代码,完成数据可视化并查看结果。

在我看来,经济学圈的学子们也应该学会利用Python来处理数据、统计建模,毕竟诸如 Excel、Stata 这类软件处理大数据的能力确实捉襟见肘。

当然了,神器之所以为神器,不仅仅是前文说的各种好处,它在具体使用过程中还有不少方便的小技巧,为你提高工作效率、节省时间作出贡献。下面就给大家介绍一些日常使用较为频繁的一些使用技巧。

Jupyter Notebook 是功能强大的Python交互IDE,深受数据分析师和算法工程师的热爱。Jupyter Notebook 在综合使用文字、代码、图片等多种元素展示设计者的想法方面有着美妙的用户体验。而其自带的一些常用Magic Command 可以让它变得更加得心应手。

magic函数主要包含两大类,一类是行魔法(Line magic)前缀为%,一类是单元魔法(Cell magic)前缀为%%;

最常用的魔法函数有以下几个:

0

1

快速计算运行时间

有时候我们需要计算一些函数或过程运行时间,以此来衡量代码的效率,在其他IDE可能需要写个函数或者使用第三方模块来完成,而在Notebook中,提供了便捷的魔法函数

  • %time:在行模式下,代码运行一次所花费的时间
  • %%time:在单元模式下,代码运行一次所花费的时间
  • %timeit:在行模式下,执行代码块若干次,取最佳结果
  • %%timeit:在单元模式下,执行代码块若干次,取最佳结果

这样我们只要敲几下键盘,就能快速得到代码块的运行时间

img

查看当前变量

当我们的代码越写越多,定义的变量越来越多,有时候就容易忘记曾经起过哪些名字,这时候回去翻代码是痛苦的,而在Notebook中,可以使用%who_ls查看当前定义了多少变量

当然也可以指定变量类型查看,比如查看有哪些变量是字符串

6、 Jupyter Magic-%env:设置环境变量

不必重启jupyter服务器进程,也可以管理notebook的环境变量。有的库(比如theano)使用环境变量来控制其行为,%env是最方便的途径。

In [55]:    # Running %env without any arguments



            # lists all environment variables



 



            # The line below sets the environment



            # variable OMP_NUM_THREADS



            %env OMP_NUM_THREADS=4
复制代码

            env: OMP_NUM_THREADS=4
复制代码

7、Jupyter Magic - %run: 运行python代码

%run 可以运行.py格式的python代码——这是众所周知的。不那么为人知晓的事实是它也可以运行其它的jupyter notebook文件,这一点很有用。 注意:使用%run 与导入一个python模块是不同的。

In [56]:    # this will execute and show the output from



            # all code cells of the specified notebook



            %run ./two-histograms.ipynb
复制代码

魔法命令

Jupyter Notebook,有很多的魔法命令(magic command),它们非常有用,能让你的工作变得简单高效

使用%lsmagic可以看到所有的魔法命令

针对一些不熟悉的魔法命令,可以选中它,按下shift+tab来查看帮助信息,非常nice

设置环境变量

机器学习/深度学习里,我们经常碰到使用环境变量的情况,在Jupyter Notebook也是可以设置修改环境变量的,借助于%env

%env THIS_IS_ENV_EXAMPLE "xugaoxiang.com"
复制代码

这里,THIS_IS_ENV_EXAMPLE是环境变量,它的值是字串 xugaoxiang.com

要在jupyter笔记本中设置环境变量,只需使用%魔术命令,例如%env或%set_env,例如%env MY_VAR=MY_VALUE或%env MY_VAR MY_VALUE. (单独使用%env可以打印出当前的环境变量.)

保存单元格内容到文件和在单元格中显示文件内容

使用%%writefile可以将单元格中的内容保存到外部的文件中

图片

使用%pycat,以弹出框的形式显示外部文件的内容

图片

代码调试

使用%pdb,可以在notebook中进行调试

图片

Automatic pdb calling has been turned ON
---------------------------------------------------------------------------
NotImplementedError                       Traceback (most recent call last)
<ipython-input-10-869a75f9e69b> in <module>
      4     raise NotImplementedError()
      5 
----> 6 pick_and_take()

<ipython-input-10-869a75f9e69b> in pick_and_take()
      2 def pick_and_take():
      3     picked = np.random.randint(0, 1000)
----> 4     raise NotImplementedError()
      5 
      6 pick_and_take()

NotImplementedError: 

> <ipython-input-10-869a75f9e69b>(4)pick_and_take()
      2 def pick_and_take():
      3     picked = np.random.randint(0, 1000)
----> 4     raise NotImplementedError()
      5 
      6 pick_and_take()

ipdb> 
复制代码

可以看到,在ipdb>提示符后可以输入相应的指令,具体的可以参考链接 docs.Python.org/3.8/library…

文章分类
代码人生
文章标签