如何将AfterShip连接到BigQuery？2种简单的方法

方石剑
266 阅读13分钟

如何将AfterShip连接到BigQuery？2个简单的方法

Preetipadma KhandavillionAftership,Data Integration,Google BigQuery- June 29th, 2022 -Write for Hevo

AfterShip是一个第三方货运跟踪服务，它连接到电子商务平台，以获得并通知来自多个货运公司的订购产品的实时状态。对于每天交付数千份订单的大中型企业来说，它是跟踪货物的手动程序的替代方案。你可以用AfterShip管理物流，使用一个交互式仪表板，跟踪交付率、包裹接受率和快递员的表现，同时提供对运输和购买后表现的洞察力。

通过将其连接到像BigQuery这样的云数据仓库，你可以使用类似SQL的查询方式对从各种电子商务平台收到的大量跟踪和运输数据进行高级分析。这些分析将提供洞察力，以改善你的公司业绩。

在这篇文章中，你将学习如何用两种简单的方法将AfterShip连接到BigQuery，以及执行连接的限制。

目录

前提条件

  • 对集成的基本了解

什么是AfterShip？

AfterShip to BigQuery: aftership logo

图片来源

AfterShip是一个基于网络的应用程序，让消费者了解他们的在线订单的状态。企业可以利用这个平台的自动化功能来改善订单处理、营销、销售和交付。一旦你把它连接到你的电子商务或互联网业务，它就会立即整合你商店的所有跟踪号码。

用户界面可以手动输入跟踪号码，并将你的电子商务公司的跟踪号码与客户信息，如电话号码和电子邮件地址结合起来。只要客户的订单有更新，就会定期向客户发送电子邮件通知。由于这一点，他们可以跟踪他们拥有的一切，并在商品延误或丢失的情况下与他们的承运伙伴保持联系。

AfterShip的主要特点

  • 运输的可视性。客户希望企业能在订单确认后向他们发送发货提醒，告知他们购买的进展情况。有了AfterShip，你可以从商品发货到到达客户家门口为止，发送电子邮件、短信和Facebook更新。为了让你的客户了解交货事件的最新情况，你可以选择向客户、电子邮件订阅者或你自己发送通知。

  • 退货。AfterShip有一个自助式退货管理门户，为消费者提供更好的退货体验。在这个门户下，你可以监督所有的退货，加快退货流程。为了减少查询，提高客户满意度，AfterShip提供了关于退货进展的主动信息。通过这个平台，你可以规划出智能路由规则，帮助你以最低的成本退回物品。

什么是BigQuery？

AfterShip to BigQuery: bigquery logo

图片来源

BigQuery是一个托管在谷歌云平台的数据仓库，帮助企业进行分析活动。这个软件即服务（SaaS）平台是无服务器的，具有出色的数据管理、访问控制和机器学习功能（Google BigQuery ML）。Google BigQuery在分析海量数据方面表现出色，并通过exabyte级存储和petabyte级SQL查询等功能迅速满足您的大数据处理需求。

BigQuery的列式存储使数据搜索更加易于管理和有效。另一方面，BigQuery的Colossus文件系统通过REST使用Dremel查询引擎处理查询。存储和处理引擎依靠谷歌的Jupiter网络，将数据从一个地方快速传输到另一个地方。

BigQuery的主要特点

  • 完全管理。由于Google BigQuery是一个完全管理的数据仓库，所以不需要内部设置。要使用BigQuery，你只需要一个网络浏览器来登录到谷歌云项目。通过提供无服务器执行，Google BigQuery处理了复杂的设置和维护过程，包括服务器/虚拟机管理、服务器/虚拟机大小、内存管理等。
  • 卓越的性能。由于基于列的设计，Google BigQuery提供了比传统的基于行的存储更多的优势，如更高的存储效率和更快的数据扫描能力。这些功能通过支持嵌套表以实现实际的数据存储和检索，最大限度地减少了插槽消耗、查询时间和数据使用。
  • 安全性。BigQuery提供列级保护，验证身份和访问状态，并建立安全策略，因为所有数据都是默认加密和传输的。由于它是谷歌云生态系统的一个组成部分，它符合安全标准，如HIPAA、FedRAMP、PCI DSS、ISO/IEC、SOC 1、2和3。
  • 分区。谷歌BigQuery的解耦存储和计算架构采用基于列的分割，以降低槽位工人从磁盘中检索的数据量。一旦槽位工人完成了从磁盘上的数据读取，Google BigQuery会自动找到最优化的数据共享方法，并使用其内存中的洗牌功能即时重新划分数据。

探索这些方法来连接AfterShip和BigQuery

AfterShip在管理高数据量、容错性和耐久性方面的能力已经得到证实。此外，BigQuery是一个数据仓库，以即时摄取数据和执行几乎实时分析而闻名。当整合在一起时，将数据从AfterShip转移到Bigquery可以解决企业的一些最大的数据问题。在这篇文章中，我们介绍了两种方法来实现这一目标。

方法1：使用Hevo将Aftership连接到BigQuery

Hevo数据，一个自动数据管道，为你提供一个无忧无虑的解决方案，在几分钟内通过一个易于使用的无代码界面将AfterShip连接到BigQuery。Hevo是完全管理的，完全自动化的过程，不仅从Aftership加载数据，而且还丰富了数据，并将其转化为可分析的形式，而不需要写一行代码。

免费开始使用HEVO

方法2：使用批量加载将Aftership连接到BigQuery

这种方法实施起来会很耗时，而且有些繁琐。用户将不得不编写自定义代码来启用两个过程，即从AfterShip流式数据和将数据摄入BigQuery中。这种方法适合于有技术背景的用户。

下面解释这两种方法。

连接AfterShip和BigQuery的方法

许多企业需要将他们的数据从AfterShip加载到BigQuery服务，以访问原始客户数据，如货运类型、项目检查点等。利用谷歌BigQuery的能力，在PB级的数据中有效地运行复杂的分析查询。将AfterShip数据与BigQuery连接起来，可以更全面地了解你的客户互动和公司的业绩。

此外，通过AfterShip与BigQuery的整合，您可以执行有效的实时自动化流程，在从事重复性工作时节省时间。对于希望改善运营、提高效率和在整个工作区同步数据的电子商务公司或企业主来说，这种整合是理想的增值。

要将AfterShip连接到BigQuery，您可以使用几种方法，如批量加载一组记录、流式传输单个/组数据或第三方软件/服务。此外，你可以使用查询，通过添加或替换数据库中的现有数据来生成新的数据。

有两种方法解释如下。

方法1：使用Hevo将AfterShip连接到BigQuery

AfterShip to BigQuery: hevo banner

图片来源

Hevo提供Google Bigquery作为目的地，从任何源系统加载/传输数据，这也包括AfterShip。你可以 在这里参考Hevo关于Google BigQuery作为目的地的权限、用户认证和先决条件的文档。

配置AfterShip作为一个源

要配置AfterShip作为AfterShip到BigQuery连接的管道中的源，请执行以下步骤。

  • 在 资产调色板中，选择PIPELINES。
  • 在 管道列表视图中，点击**+CREATE**。
  • 在选择源类型页面中选择AfterShip。
  • 在配置你的AfterShip来源页面，提供以下信息。

AfterShip to BigQuery: Configure your AfterShip Source

图片来源

  • 点击TEST & CONTINUE。
  • 继续配置数据摄取和设置目的地。

配置BigQuery作为目的地

要将BigQuery配置为AfterShip与BigQuery连接的目的地，请遵循以下步骤。

  • 在 资产调色板中，选择DESTINATIONS。
  • 在 目的地列表视图中，点击**+ CREATE**。
  • 在添加目的地页面选择 Google BigQuery 作为目的地类型。
  • 在配置你的 Google BigQuery 帐户页面，选择连接到 BigQuery 的认证方法。

AfterShip to BigQuery: Configure your Google BigQuery

图片来源

  • 执行以下操作之一。

    • 要与服务账户连接，请遵循以下步骤。
      • 附加 服务帐户密钥文件。
      • 点击CONFIGURE GOOGLE BIGQUERY ACCOUNT。
    • 要使用用户账户加入，请遵循这些步骤。
    • 点击**+ ADD A GOOGLE BIGQUERY ACCOUNT。**
    • 作为一个具有BigQuery管理和存储管理权限的用户登录。
    • 通过点击允许，提供Hevo对你的数据的访问。

  • 配置你的谷歌BigQuery仓库页面，提供以下信息以执行AfterShip到BigQuery的连接。

    • **目的地名称。**给你的目的地一个独特的名字。
    • **项目ID。**BigQuery实例的项目ID。
    • **数据集ID。**数据集的名称。
    • GCS桶。一个云存储桶，文件在传输到BigQuery之前必须在此缓存。
    • 启用流式插入。选择此选项，当数据从源头到达时，流向BigQuery目的地，而不是根据管道时间表通过任务加载数据。
    • 净化表/列名称。选择此选项，用下划线（_）替换表和列名称中的任何非字母数字字符和空格。
    • **填充加载的时间戳。**启用这个选项在目的地数据库中加入__hevo_loaded_at_列，表明事件被加载到目的地的时间。

  • 要测试连接，请点击TEST CONNECTION，然后SAVE DESTINATION来完成设置。

方法2：使用批量加载将 AfterShip 连接到 BigQuery

执行AfterShip到BigQuery连接的第二种方法是使用批量加载，这涉及到将AfterShip的所有源数据即时加载到BigQuery数据库。数据源可以是CSV文件的形式，也可以是日志文件的集合。本教程将教你如何将AfterShip数据加载到Google BigQuery中。

  • **第1步：**打开发货页面，然后配置过滤器。

  • **第2步：**导出出货量。你将在注册的电子邮件地址收到CSV文件。

  • **第3步：**在导入AfterShip CSV文件之前，在谷歌表格中打开它。

  • 在左上角的菜单中，选择 "文件"。

AfterShip to BigQuery: choose file

图片来源。自我

  • 点击下载为，然后是逗号分隔值（.csv）。

  • **第4步：**数据将被导出为CSV，并下载到你的本地电脑。

  • **第5步：**在加载CSV文件之前，您将需要身份和访问管理（IAM）权限，以将数据加载到BigQuery，从而将AfterShip连接到BigQuery。

在BigQuery中加载数据和添加或替换现有的表或分区时，需要以下IAM权限。

bigquery.tables.create
bigquery.tables.updateData
bigquery.tables.update
bigquery.jobs.create

下面列出的每个预定义的IAM角色包括将数据导入BigQuery表或分区所需的权限。

roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.admin (includes the bigquery.jobs.create permission)
bigquery.user (includes the bigquery.jobs.create permission)
bigquery.jobUser (includes the bigquery.jobs.create permission)
  • **第6步：**导航到云控制台的BigQuery部分，将AfterShip连接到BigQuery。

AfterShip to BigQuery: navigate to bigquery

图片来源

  • **第7步：**在选择数据集之前，在资源管理器窗格中展开你的项目。
  • **第8步：**在数据集信息部分点击+创建表。然后，在创建表的表格中，选择上传以进行AfterShip到BigQuery的连接。

AfterShip to BigQuery: upload

图片来源

  • **第9步：**在创建表面板上输入以下信息。

  • 在选择文件下，点击浏览。滚动选项，选择你要上传的文件，然后点击打开。

AfterShip to BigQuery: browse

图片来源

  • 选择CSV作为文件格式。

  • 在 "目的地 "部分输入以下信息。

AfterShip to BigQuery: example dataset

图片来源

  • 在数据集下，选择你希望创建表格的数据集。

  • 在 "表 "区域中输入你希望创建的表的名称。

  • 确保将表的类型设置为本地表选项。

  • **第10步。**在 "模式 "部分提供模式定义。选择自动检测以启用自动模式检测。你可以使用下面给出的任何选项输入模式数据。

  • **第11步：**选择编辑为文本后，将模式粘贴为JSON阵列。要创建一个JSON模式文件，在利用JSON数组时，按照下面同样的步骤来建立模式。使用下面的命令来查看现有表的JSON格式的模式。

bq show --format=prettyjson dataset.table

  • **第12步：**点击+添加字段来输入表的模式。输入每个字段的名称，类型，和模式。

  • **第13步：**对于其他配置，点击高级选项。

  • 第**14步：**点击创建表按钮。

将AfterShip连接到BigQuery的局限性

要从AfterShip导出数据，你必须使用谷歌表格，但少数跟踪号码可能有一个 "0 "的前缀，例如0123321123475820或0989231246738192，这些都是123321123475820或989231246738192。这些追踪号码在经过数据质量清理之前，不会向用户提供任何信息。为了防止这种情况，你应该使用无代码/低代码平台，如Hevo Data，将AfterShip连接到BigQuery，以实现无忧的数据传输。

总结

在这篇文章中，你了解了AfterShip和谷歌BigQuery的主要功能，并学会了两种将AfterShip整合到BigQuery的方法。AfterShip是一个自动化的运输跟踪服务，电子商务公司使用它在一个平台上跟踪他们的货物。利用AfterShip的数据，你可以通过计算会话期、交易点击率和访问次数来研究客户的行为。谷歌BigQuery允许你分析这些数据，找到有意义的洞察力，以改善用户体验。

然而，作为一名开发人员，从不同的数据源（如数据库、CRM、项目管理工具、流媒体服务和营销平台）中提取复杂的数据到你的数据库，似乎是相当具有挑战性的。如果你是非技术背景，或在数据仓库和分析的游戏中是新手，Hevo Data可以帮助你!

访问我们的网站，探索Hevo

海沃数据将使你的数据传输过程自动化，从而使你能够专注于你的业务的其他方面，如分析，客户管理，等等。这个平台允许你从 100多个数据源如AfterShip转移数据到基于云的数据仓库，如Snowflake，谷歌BigQuery，亚马逊Redshift等。它将为你提供无忧无虑的体验，使你的工作生活更加轻松。

想体验一下Hevo吗？注册 一个14天的免费试用，亲身体验功能丰富的Hevo套件。

你也可以看看我们无与伦比的 价格，这将有助于你选择适合你的业务需求的计划!

Google BigQuery的无代码数据管线

免费试用

avatar
文章
阅读
粉丝