将Typeform连接到Snowflake:2种简单方法

121 阅读14分钟

将Typeform连接到Snowflake:2个简单的方法

Typeform帮助企业建立交互式表格和调查,通过它可以轻松地与客户沟通。由于它允许企业收集有数百万用户的客户数据,所以从Typeform导出数据并将其存储在数据仓库以便进一步分析是非常重要的。Snowflake是一个这样的数据仓库服务,你可以存储你的Typeform数据。你可以使用API或第三方ETL(提取、加载和转换)工具来整合你的Typeform数据到Snowflake。

在这篇文章中,您将学习如何使用 API 和手动流程将 Typeform 与 Snowflake 连接起来。您还将了解到一个完全自动化的方法,从 Typeform 加载数据到 Snowflake!

目录

什么是Typeform?

Typeform开发于2012年,广泛用于通过创建交互式表格和调查来轻松收集和分享信息。换句话说,Typeform是一个平台,企业可以在这里创建具有视觉吸引力的表格。企业使用Typeform通过有效的表格和调查与客户建立沟通。通过Typeform,客户可以体验到真正的一对一的对话,让他们参与进来,并在娱乐中完成调查。

用Typeform建立的表格和调查是互动的,吸引你的客户回答问题和完成调查。Typeform允许用户以各种格式存储收集的数据,包括**.csv.xlsx**,以便进一步分析。

Typeform的主要特点

  • 交互式设计。T ypeform由互动设计组成,吸引客户回答问题并完成调查。它包括内置设计,具有拖放功能的模板,以及吸引客户的彩色和用户友好的表格。
  • **个性化的旅程。**逻辑跳跃是Typeform的一个智能功能,它根据客户之前的回答来提示问题。它通过跳过不相关的问题,帮助在更短的时间内收集数据。

什么是Snowflake?

Snowflake开发于2012年,是一个完全管理的云数据仓库,以软件即服务(SaaS)或数据库即服务(DaaS)的形式供客户使用。用户不需要担心后台或管理工作,如安装,维护,配置等,因为它们是由Snowflake自动执行。有了Snowflake,用户还可以从微软Azure、亚马逊网络服务和谷歌云存储中选择一个云供应商来存储他们的数据。

Snowflake架构的优势之一是它将计算和存储单元分开,从而提供一个灵活和有吸引力的价格结构。由于用户在扩展存储时不必扩展计算,他们可以为这两个单位/资源独立付费。

Snowflake 的主要特点

  • 缓存结果。Snowflake 实现了一个重要的功能,即在不同层次上缓存结果,这意味着结果可以在查询执行后持续 24 小时。因此,如果执行相同的查询,结果会迅速交付。
  • **UNDROP命令。**有时,用户可能会删除错误的表。因此,为了检索这些表,你可以使用 UNDROP命令。虽然你可以使用传统的恢复和备份方法,但它们很耗时。UNDROP命令是一个更好和更快的选择。
  • **数据共享。**Snowflake 中的数据共享功能允许您将项目从一个数据库账户共享到另一个账户,而不产生重复。该功能保证了更多的存储空间和更少的计算,从而使数据的可访问性更快。

探索这些方法来加载数据从 Typeform 到 Snowflake

Typeform 被用来直接从消费者那里收集数据。这些数据提供了对目标受众的宝贵见解。将这些数据存储到雪花中,可以找到一个整体的概述。数据可以通过三种方法从 Typeform 加载到 Snowflake

方法 1:用 API 将 Typeform 连接到 Snowflake

这种方法会很耗时,而且从Typeform加载数据到Snowflake有些乏味。这是一个漫长的过程,你必须在执行时非常注意顺序,即使是一个小错误也需要重新运行整个过程。

方法2:通过用户界面手动连接Typeform到Snowflake

这种方法比前一种方法好,但仍然很麻烦,需要按照特定的顺序执行许多步骤。另外,对于不同的数据类型,这种方法也变得很困难。

方法 3:使用 Hevo 将 Typeform 连接到 Snowflake

Hevo数据,一个自动数据管道,为您提供一个无忧无虑的解决方案,在几分钟内从**Typeform加载数据到** **Snowflake**和100多个数据源,易于使用的无代码接口。Hevo是完全管理和完全自动化的过程,不仅加载数据,而且丰富数据,并将其转化为一个分析就绪的形式,而无需写一行代码。

如何将 Typeform 集成到 Snowflake?

您可以使用API,UI或第三方ETL工具连接Typeform和Snowflake。在这篇文章中,你将学习使用API、UI和Hevo连接Typeform和Snowflake。

方法1:用API连接Typeform到Snowflake

按照下面的步骤,使用API连接Typeform和Snowflake。

第1步:从Typeform中获取数据

Typeform提供了几个API,你可以用它来从网站上获取数据。例如,要检索表单响应,你可以使用下面的命令调用GET。

https://api.typeform.com/forms/{form_id}/responses

通过使用上面的查询,你可以得到Typeform的样本数据

步骤2:准备Typeform数据

如果你没有一个数据结构来存储你收集的数据,你必须为数据创建一个模式。你需要为响应表中的每个值确定数据类型为整数、字符串、日期时间等,然后为每个值建立一个表。

第 3 步:为 Snowflake 准备数据

您需要准备您的数据,以根据其结构加载。通过Snowflake支持的数据类型,并确保你正确映射它们。

注意:当加载JSON数据到 Snowflake 时,您不需要事先定义模式。

第 4 步:将数据加载到 Snowflake

要加载您的数据,您可以参考 Snowflake 文档中的数据加载概述部分。如果你想小批量地加载数据,你可以使用 Snowflake UI。然而,您也可以使用两个主要命令将数据加载到 Snowflake。

  • 使用 PUT命令。
  • 使用COPY INTO表命令,将准备好的数据加载到一个等待的表中。

第 6 步:保持 Typeform 数据的更新

在这个阶段,你可以得到你想要检索的数据的脚本,并成功地将其加载到数据仓库。但是得到这个数据还不够,因为你需要更新它。然而,当你更新这个数据时,你现有的数据可以被复制。因此,这个过程是资源密集型的,需要大量的时间。

因此,以一种能够识别你的数据的增量更新的方式来构建变得至关重要。Typeform由API结果组成,有submitted_at这样的字段,允许你识别自你上次更新以来的记录。一旦你把你的新数据或更新的数据带入Snowflake账户,你可以设置连续的循环,以拉下新数据的出现。

方法 2:通过用户界面手动连接 Typeform 和 Snowflake

您可以使用 Typeform 和 Snowflake 的用户界面手动连接 Typeform 和 Snowflake。

步骤1:导出Typeform数据

导出Typeform数据包括两个子步骤:导出Typeform数据和下载Typeform数据。按照下面的步骤开始。

  • 进入右上角的账户标签,然后点击设置。

  • 你现在是在你的Typeform账户中。点击请求数据标签。Typeform可以通过电子邮件向你发送一个包含你的Typeform数据的JSON文件的压缩文件。

  • 解压这些JSON文件。

  • 现在你可以将你的Typeform的结果下载到Excel表格或CSV 文件中。从你的工作区,打开你的Typeform并点击结果。

  • 点击响应,可以打开一个新的面板。现在,点击右上方的 "下载所有回复 "标签。

  • 它允许你以CSVXLS格式下载你的结果。选择您的首选选项,然后点击下载。

  • 你的结果就可以下载到你的浏览器的默认下载文件夹。在使用Typeform设计表格或调查表时,您可以启用文件上传选项,您的受访者也可以上传文件作为回复。您可以点击 "下载所有回复 "标签,下载受访者发送给您的所有文件。然後可以顯示下載受訪者上傳的所有檔案的選項,如下所示。

第 2 步:将数据导入 Snowflake

从 Typeform 获得数据后,您可以使用以下步骤将包含表格和调查数据的CSV文件导入 Snowflake 账户。

按照以下步骤,打开数据向导以加载数据。

  • 单击 "数据库"。单击特定数据库的链接,查看存储在该数据库中的对象。
  • 点击 "表 "选项卡。
  • 点击表行选择数据,然后点击加载数据标签,或者点击表名打开表的详细信息页面,然后点击加载数据标签。

加载数据向导打开,将数据加载到你选择的表中。

B) 选择你的数据仓库

  • 从下拉列表中,选择你的仓库。此列表包括您可以拥有USAGE权限的任何仓库。Snowflake 可以使用这个仓库将数据加载到表中。
  • 单击 "下一步 "标签。
  • 选择源文件。

使用下面的步骤,您可以从您的本地机器或亚马逊 S3、Snowflake、微软 Azure 或谷歌云存储中的现有文件加载数据。

C)从云存储加载数据

你也可以通过以下步骤从云上的现有文件加载你的数据。

  • 从下拉列表中选择现有的名称阶段。
  • 点击 "下一步 "标签,选择文件的格式。

D) 创建一个新的阶段

如果你的云端没有现有的文件,你可以通过以下步骤在云端创建一个新的舞台。

  • 点击 "阶段 "下拉列表旁边的 "+"号。
  • 选择您的文件所在的位置,如Snowflake或任何其他支持的云存储服务。然后点击 "下一步 "标签。
  • 你可以按照创建阶段部分来描述你的云存储位置。
  • 点击 "完成 "标签。
  • 从舞台下拉列表中,选择你新命名的舞台。
  • 点击 "下一步 "标签,选择文件的格式。

E) 选择一个文件格式

一个下拉列表允许你选择描述你的数据文件格式的命名选项集。

选择现有的命名文件格式

  1. 从下拉列表中选择现有的命名文件格式。
  2. 点击 "下一步 "标签,选择数据加载选项。

F) 创建一个新的命名文件格式

如果你没有任何描述你的文件格式的文件,你可以按照下面的步骤为你所需要的格式创建一个新的文件。

  1. 点击下拉列表旁边的'+'号。
  2. 根据你的文件格式,填写相关信息。你可以按照《创建文件格式》了解更多细节。
  3. 点击 "完成 "标签。
  4. 从下拉列表中选择你命名的文件格式。
  5. 点击 "下一步 "标签,选择数据加载选项。

G) 选择数据加载选项

  1. 您需要指定如果您的数据文件中存在错误,Snowflake应该如何处理。您可以查看COPY INTO 表部分,了解有关错误的更多信息。
  2. 单击加载选项卡。

然后,Snowflake 可以将数据加载到你选择的数据仓库的选定表。如果仓库没有运行,你可能需要恢复仓库,这可能需要时间来加载。

连接 Typeform 到 Snowflake 的手动方法的局限性

  • 直接利用 API 将 Typeform 连接到 Snowflake 是非常耗时和有点复杂的。如果你有必要的技能或技术专长,你可以通过维护上述的脚本来建立这种整合。
  • 即使是手动从 Typeform 导出数据并使用网络界面将数据导入 Snowflakes 也是具有挑战性的。虽然这个过程非常直接,但它不能帮助你提取实时数据。

因此,为了避免上述限制,你可以使用ETL工具,如Hevo,创建轻松的自动化管道从Typeform到Snowflake,以存储和分析实时数据。

方法 3:使用 Hevo 数据自动将 Typeform 迁移到 Snowflake

通过使用像Hevo这样的自动数据管道,可以克服手动方法的所有限制。使用 Hevo 将 Typeform 连接到 Snowflake 是一个简单的两步过程。Hevo数据是一个无代码的数据管道解决方案,可以帮助你无缝地从100多个数据源**(包括40多个免费来源**)实时复制数据,如Typeform 到你想要的目的地,如**Snowflake**,其他数据仓库或数据库,在一个完全无忧无虑和自动化的方式。

第1步:配置Typeform作为Hevo的一个来源

执行以下步骤来配置Typeform作为你的管道中的源。

  • 在资产选项板上,点击PIPELINES

  • 在管道列表视图中,点击**+CREATE**。

  • 选择源类型页面上选择Typeform

  • 配置你的Typeform账户页面,点击**+** ADD TYPEFORM ACCOUNT

  • 使用你的Typeform凭证登录。

  • 点击接受,授权Hevo访问你的Typeform账户。

  • 在 "配置你的Typeform源"页面,指定以下内容。

    • 管线名称。为你的管道起一个独特的名字,不超过255个字符。
    • 历史同步时间。源头中的现有数据必须被摄取的时间。
    • 选择工作空间。Typeform账户中的工作区,你想从那里摄取数据。
  • 点击TEST & CONTINUE

第 2 步:将 Snowflake 配置为 Hevo 中的一个目的地

  • 在资产调色板上,点击PIPELINES

  • 在管道列表视图中,点击**+CREATE**。

  • 添加目的地页面,选择Snowflake作为目的地类型。

  • 在配置你的Snowflake仓库页面中,指定以下内容。

    • 目的地名称。为你的目的地取一个独特的名字。
    • Snowflake 帐户 URL。你在上面第 6 步中检索的账户 URL。
    • **数据库用户:**你创建的 Hevo 用户。此用户在 Snowflake 数据库中有一个非管理员的角色。
    • 数据库密码: 数据库用户的密码。
    • **数据库名称。**要加载数据的目标数据库的名称。
    • 数据库模式。 目的地数据库中要加载数据的模式的名称。注意:模式名称是区分大小写的。
    • 仓库。Snowflake 仓库与您的数据库相关联,在那里执行 SQL 查询和 DML 操作。
  • 点击TEST CONNECTION

这将创建一个从 Typeform 到 Snowflake 的强大连接。

结论

Typeform就像一个在线调查工具,允许企业与客户建立愉快的互动,收集特定格式的数据。然后,企业可以使用这些数据来分析产品开发,商业智能,客户旅程,可操作的洞察力,等等。这篇文章提供了3种不同的方法,可用于连接Typeform和Snowflake账户。

有各种可信的来源,公司使用,因为它提供了许多好处,但是,从它转移数据到数据仓库是一个繁忙的任务。自动数据管道有助于解决这个问题,这就是Hevo进入画面的原因。Hevo数据是一个无代码的数据管道,有100多个预建的集成,如Typeform和Snowflake,你可以从中选择**。**