GPT-4上的ChatGPT

683 阅读23分钟

GPT-4上的ChatGPT

ChatGPT 4:每月20美元的价格,对Scrum从业者来说是否很划算?它是大家所期待的飞跃吗?

TL; DR: ChatGPT 4: Scrum从业者的便宜货?

当OpenAI上周发布其新的LLM模型GPT-4时,我忍不住了,以每月20美元的价格注册了。我想确定ChatGPT 4是否优于其前身,后者在最近几个月留下了良好的印象;见我之前关于Scrum、Agile和ChatGPT的文章

我决定进行三次比较,使用相同的提示来触发新的GPT-4和以前的GPT-3.5模型的答案。继续阅读,了解发生了什么。这并不是一个必然的结论。

设置会话

我于3月15日星期三在ChatGPT上进行了测试,从欧洲中部时间上午5:40到6:30,在升级到ChatGPT Plus后的GPT-3.5和GPT-4模型上进行测试。

我没有对ChatGPT的答案应用Grammarly。

探索新模式GPT-4的初始ChatGPT提示

我使用了以下的初始提示来引导ChatGPT:"你是否使用了与GPT-3.0或3.5相同的训练数据?"

ChatGPT-4.0:

作为一个GPT-4模型,我是之前GPT模型的更新版本。虽然我与GPT-3和GPT-3.5有一些相似之处,但每个模型所使用的训练数据都有不同。

主要的区别是数据的时间段。GPT-3和GPT-3.5分别在2020年和2021年左右之前的可用数据上进行训练。在我的案例中,作为GPT-4,我的训练数据延伸到2021年9月。这使我能够对世界有更多最新的了解,包括更新的事件和发展。

此外,在不同的版本之间,数据策划、预处理和过滤技术很可能有所改进,导致训练数据的质量和广度的差异。虽然核心数据源可能是相似的,如书籍、文章和网站,但这些模型的数据集本身并不完全相同。

实验

现在我们对模型的背景有了更好的了解,让我们来做三个实验,看看哪个模型更胜一筹。我将运行三个比较或A/B测试,使用相同的提示来触发新的GPT-4和以前的GPT-3.5模型的答案:

  1. 第一个实验是比较《Scrum Guide 2017》和《Scrum Guide 2020》的情况
  2. 第二个实验是设计一个回顾性练习
  3. 第三个实验是帮助一个新的Scrum团队设计一个Done的定义。

从OpenAI2023年3月14日的GPT-4开发者直播中了解更多关于新的GPT-4模型,或者OpenAI GPT-4技术报告

实验1:比较2017年的《Scrum指南》和2020年的《Scrum指南》。

提示:我想让你充当一个Scrum大师。告诉我:《2017年Scrum指南》和《2020年Scrum指南》之间有什么区别?

ChatGPT-3.5

作为一名Scrum Master,我很乐意回答你关于《Scrum Guide 2017》和《Scrum Guide 2020》的区别的问题。

Scrum指南是Scrum的官方指南,它为实施和改进Scrum实践提供了一个框架。最新版本的《Scrum指南》于2020年11月发布,它包含了对2017年发布的上一版本的若干更新。以下是这两个版本之间的一些关键区别:

  1. 专注于Scrum团队:2020年《Scrum指南》更加强调Scrum团队,而不仅仅是开发团队。产品负责人和Scrum Master现在被视为Scrum团队的平等成员。
  2. 经验性的过程控制:Scrum指南2020》强调了经验过程控制的重要性,以及透明、检查和适应这三大支柱。
  3. 更新的语言:Scrum指南2020》中的语言已经更新,更加具有包容性和性别中立性。
  4. 简化的框架:Scrum指南2020》删除了前一版本中的一些规定性语言,使框架更加灵活,能够适应不同的环境。
  5. 完善而不是梳理:现在使用 "Backlog Refinement "一词,而不是 "Backlog Grooming",以强调实践中的持续改进方面。

总的来说,《Scrum指南2020》中的变化旨在使该框架更容易理解,并能适应更广泛的环境,同时仍然保持Scrum的核心原则和价值观。

评论:这些答案是不相关的,或者说是幻觉:Scrum Master和产品负责人现在是 "Scrum的平等成员?"没有提到承诺,即产品目标?突出了经验过程控制的重要性?这从一开始就是Scrum的核心所在。答案是令人尴尬的。

ChatGPT-4.0

作为一个语言模型,我可以为你提供《2017年Scrum指南》和《2020年Scrum指南》的主要区别。以下是一些最显著的变化:

规定性更少,更加灵活:2020年Scrum指南》更短,更专注于Scrum框架的核心概念。它减少了一些实践的规定性,允许团队根据其具体环境更灵活地采用Scrum。

产品目标的引入:2020版引入了产品目标的概念,这是一个产品的长期目标。它为团队提供了指导和方向,所有的Sprint目标都应该与产品目标保持一致,并为其做出贡献。

简化的团队结构:2020年Scrum指南消除了开发团队成员和其他角色之间的区别。它现在将整个团队称为 "Scrum团队",由Scrum主管、产品负责人和开发人员组成,所有这些人都对每个冲刺阶段交付可能的可发布的增量负责。

更加注重承诺:2020年Scrum指南强调了对每个工件的承诺的重要性。产品积压有产品目标,冲刺积压有冲刺目标,而增量有完成的定义。这些承诺有助于为Scrum团队提供清晰和重点。

自我管理而不是自我组织:2020年版本将Scrum团队称为自我管理,强调他们在决定如何实现Sprint目标以及如何创建产品增量方面的自主权。这一变化强调了团队有责任组织和管理自己的工作,而不是依赖外部指导。

取消了Sprint Retrospective的三个问题格式:2020年Scrum指南不再建议采用特定的三个问题格式("什么进展顺利?哪些地方可以改进?我们将致力于在下一个Sprint中改进什么?")的Sprint Retrospective。相反,它强调需要计划改进和培养持续改进的心态。

更新了 "完成 "的定义:2020年Scrum指南澄清了 "完成的定义 "是对增量产品满足质量要求时的状态的正式描述。它还强调,"完成的定义 "是用来评估产品增量的工作何时完成的。

这些是2017版Scrum指南和2020版Scrum指南的一些主要区别。2020版旨在为Scrum从业者提供一个更直接、更灵活、更集中的框架,强调团队协作、承诺和持续改进的重要性。

评论:我们有一个明显的赢家!GPT-4的答案比前一个模型的答案更好、更充实。

得分:ChatGPT-41-0ChatGPT-3.5

实验2:设计一个回顾性的练习

提示:我想让你扮演一个有经验的Scrum Master。

你的Scrum团队在Sprint中出现了问题,没有完成Sprint目标。一些团队成员意外地食物中毒了。采购部门未能为你的团队使用的一项基本服务更新信用卡信息,而该服务已不再可用。此外,Scrum团队遇到了隐藏在代码库遗留部分的意外技术债务。团队中的气氛很紧张;争论也变得更加频繁。

作为Scrum Master,我希望你能利用你在Scrum、迭代和增量产品开发、非暴力沟通、协作、团队建设、Scrum价值观、心理学和解放结构方面的知识,设计一个回顾会,帮助Scrum团队克服最近的挫折,改善彼此间的关系。

ChatGPT-3.5

我很遗憾听到你的Scrum团队经历了一个具有挑战性的Sprint。作为一名经验丰富的Scrum Master,我在这里帮助你渡过难关,并设计一个回顾性报告,帮助团队克服最近的挫折,改善团队成员之间的关系。

首先,必须承认,挫折和挑战是Scrum过程的一个自然组成部分。我们的目标不是要消除问题,而是要从问题中学习,把它们作为成长和改进的机会。

为了开始回顾,我们需要创造一个安全和尊重的空间,让团队成员能够诚实和公开地表达自己。一个可以帮助我们实现这一目标的解放结构是 "1-2-4-所有人 "结构,即个人默默反思,与伙伴分享,加入四人小组讨论他们的想法,然后与整个团队分享小组的想法。

我们将首先要求团队反思过去的冲刺阶段,并确定哪些进展顺利,哪些没有按计划进行。然后,我们将集中讨论Sprint期间出现的挑战,包括意外的技术债务、信用卡问题和团队成员生病。

一旦我们确定了这些挑战,我们将使用解放结构 "TRIZ "来探索潜在的解决方案。TRIZ是 "发明问题解决理论 "的缩写,它是一种结构化的方法,用于为复杂问题产生创造性的解决方案。我们将要求团队确定每个问题的根本原因,然后利用TRIZ产生解决这些问题的新想法。

接下来,我们将使用解放结构的 "名人访谈 "来鼓励团队成员之间的共鸣和理解。每个团队成员将扮演一个体现某些价值或特征的 "名人",团队将向他们提问,了解他们会如何处理最近的挫折。

在整个回顾活动中,我们会强调非暴力沟通和协作的重要性,并提醒团队注意Scrum的价值观,即承诺、勇气、专注、开放和尊重。

在回顾会议结束时,我们的目标是确定团队可以采取的具体步骤,以解决前一个Sprint中出现的挑战,并改善他们之间的关系。我们将创建一个行动计划,概述这些步骤,并为每项任务指定负责人,以确保问责制和后续行动。

评论:听起来不错,最初,不是吗?太糟糕了,这个建议没有通过测试。当然,你可以用1-2-4-All来开始回顾工作。但是,如果每个团队成员都有自己的发言时间,那么像 "对话咖啡馆 "这样的结构会更合适。我将使用 "九个为什么 "或 "什么 "来代替TRIZ。那又怎样。现在怎么办?"最后,"名人访谈 "对于预期的目的来说是无用的。如果同理心是你的主要关注点,"听到、看到、尊重 "将是更好的选择。

ChatGPT-4.0

作为一个有经验的Scrum Master,我会设计一个回顾会,不仅要解决挫折问题,还要注重重建信任,改善沟通,培养团队内部的合作环境。回顾会将遵循以下五个步骤:

  1. 设定阶段:在会议开始时,承认团队在冲刺阶段面临的挑战,并强调从挫折中学习的重要性。鼓励大家在一个安全、开放和尊重的环境中参与。使用一个简短的破冰活动来帮助团队放松并为会议做准备。
  2. 收集数据:首先要求团队成员在便签纸上写下什么是顺利的,什么是不顺利的,以及冲刺期间任何令人惊讶的事件。使用时间轴活动来帮助可视化事件和识别模式。要求团队公开分享他们的经验,同时注意非暴力沟通原则。
  3. 产生洞察力:使用 "5个为什么 "技术或 "鱼骨图 "来分析所面临问题的根本原因。鼓励团队关注过程而不是个人。在讨论问题时强调Scrum的价值,如勇气和开放性。促进讨论意外的技术债务的影响,以及如何解决它向前发展的问题。同时,讨论如何改善与采购部门的沟通,以避免未来的服务中断。
  4. 决定该怎么做:引导团队合作确定行动项目,以解决问题的根本原因。通过让团队投票选出最重要的行动项目,确定行动项目的优先次序。鼓励团队想出短期和长期的行动。例如,短期行动可以是为采购流程创建一个检查表,而长期行动可以是实施自动化测试以发现隐藏的技术债务。
  5. 结束回顾:用团队建设活动来结束会议,加强Scrum的价值并促进合作。要求团队成员分享关于他们同事的一件好事,或者对队友在Sprint期间所做的事情表示感谢。这将有助于改善关系,减少团队成员之间的紧张。在总结回顾时,总结关键的收获和商定的行动项目,并重申持续改进和协作的重要性。

在即将到来的Sprints中对团队进行跟进,以确保行动项目得到实施,并衡量改进的效果。鼓励团队在努力实现目标的过程中,保持开放的沟通和相互支持。

后续提示:是否有必要以这种严格、规范的方式进行回顾性检查?

ChatGPT-4.0

虽然我提供的五步结构是一种流行的、有效的进行回顾性分析的方法,但并不强制要求以严格的、规范的方式进行。作为一名Scrum主管,你应该根据你的团队的需要、偏好和具体的情况灵活地调整格式。

保持回顾会的核心原则是非常重要的,其中包括创造一个安全和开放的讨论环境,反思过去的Sprint,产生洞察力,识别改进,并在团队中培养协作和持续改进的意识。

你可以尝试用不同的技术和活动来实现这些目标,有经验的Scrum大师通常会根据团队的动态情况来调整回顾会。一些可供选择的方法包括:

  1. 精益咖啡:一种结构化的、无议程的会议形式,允许参与者民主地决定他们想讨论的话题。
  2. 世界咖啡馆:一种利用轮流的小组讨论来收集所有团队成员对多个主题的意见的技术。
  3. 海星:一种可视化的方法,用于记录团队应该开始做什么、停止做什么、继续做什么、多做什么和少做什么。

关键是要善于接受团队的反馈,并不断改进回顾过程,以确保它对每个人都有价值和吸引力。

评论:第一个建议只是对Esther Derby和Diana Larsen模型的标准应用,忽略了提示中关于情况的额外信息。如果我们也考虑到对后续提示的回答,基于GPT-4的表现就会好一点,尽管它最多是平庸的。然而,当竞争对手的答案更糟糕时,这样的表现有时也是足够的。

得分:ChatGPT-42-0ChatGPT-3.5

实验3:帮助一个新的Scrum团队设计一个Done的定义

提示:我想让你扮演一位经验丰富的Scrum大师。

Done的定义对于Scrum团队的成功至关重要。它定义了利益相关者和管理机构期望任何增量所能达到的质量标准。质量水平不一定是完美的,也不一定是所有情况下都是顶级的。然而,至关重要的是,一旦一个Increment被 "完成",它就可以被交付给客户,而不会受到任何法律、道德或财务方面的影响。

我希望你利用你在Scrum、迭代和增量产品开发、协作、产品管理、利益相关者协作、质量管理、创新和商业敏捷性方面的知识,就一个新的Scrum团队如何创建一个最初的 "完成 "定义,然后对其进行相应的维护,提出一个过程。

ChatGPT-3.5

当然,我很乐意帮助你。

创建一个初始的 "完成定义":

  1. 与团队合作:作为Scrum主管,你需要与团队合作,创建一个大家都同意的 "完成定义"。你可以在Sprint Retrospective或专门的Definition of Done研讨会上促进讨论,以确保每个人的声音都被听到。
  2. 理解利益相关者的期望:了解利益相关者对产品的期望以及他们心目中的质量标准是至关重要的。团队应该将这些期望纳入 "完成定义",这将确保产品符合利益相关者的期望。
  3. 确定质量衡量标准:定义可以用来衡量质量的指标。像代码覆盖率、性能和安全性等指标可以帮助建立 "完成定义"。团队在交付有可能释放的增量时,应努力满足这些指标。
  4. 考虑技术债务:团队应该考虑他们在开发一个功能时愿意承担的技术债务。技术债务是指因走捷径或拖延工作而造成的返工成本。团队应该定义他们愿意接受的技术债务水平,并将其传达给利益相关者。
  5. 保持简单:完成的定义应该是简明、清晰和容易理解的。它应该用一种所有团队成员和利益相关者都能理解的语言来写。

维护 "完成的定义":

  1. 定期审查和更新 "完成的定义":应定期审查和更新 "完成的定义"。这可以在 "冲刺回顾 "或专门的 "完成的定义 "研讨会上进行。团队应该考虑利益相关者的反馈,并对 "完成的定义 "做出必要的修改。
  2. 向利益相关者传达变化:每当 "完成的定义 "发生变化时,团队应该与利益相关者沟通。这将有助于确保每个人都在同一起跑线上,并且产品符合预期。
  3. 在冲刺回顾中使用 "完成的定义":在冲刺回顾期间,团队应该使用 "完成的定义 "来确定增量是否可以发布。如果它不符合 "完成的定义",团队应该找出差距,并在下一个Sprint中努力弥补这些差距。
  4. 跟踪和报告进展:团队应该根据 "完成定义 "的指标来跟踪和报告进展。这可以帮助确定需要改进的地方,并推动持续改进。
  5. 使用反馈来改进:团队应该利用利益相关者的反馈来改进 "完成的定义"。这可以通过将反馈纳入 "完成的定义 "或调整用于衡量质量的指标来实现。

总的来说,创建和维护 "完成的定义 "对Scrum团队的成功至关重要。通过遵循这些步骤,团队可以确保他们所交付的质量增量符合利益相关者的期望,并且可以在没有任何法律、道德或财务影响的情况下发布。

评论:哇,谁会想到ChatGPT-3.5可以提供如此高的水平?这种方法是协作和包容的,技术债务是考虑的一部分,"完成的定义 "应是简单的,并定期检查和调整,其中利益相关者的反馈与跟踪合适的指标的数据一样有价值。

ChatGPT-4.0

作为一个有经验的Scrum Master,我建议新的Scrum团队采用以下流程来创建最初的 "完成定义"(DoD)并维护它:

  1. 收集输入:首先,从Scrum团队、利益相关者、管理机构以及任何现有的组织标准或指南中收集信息。这些投入将有助于建立产品的基准质量期望和约束。
  2. 教育团队:确保所有团队成员理解DoD的目的和重要性。解释它是如何帮助创造透明度、管理期望值和确保潜在的可发布的产品增量的。
  3. 协作研讨会:与Scrum团队、产品负责人和相关的利益相关者组织一次研讨会,共同创建初始DoD。促进关于质量标准和验收标准的讨论,包括功能和非功能要求、性能、安全性、可用性和合规性。
  4. **起草 "完成的定义":**根据研讨会的结果,创建一个 "完成 "的草案,其中包括一个清晰简洁的标准清单,这些标准必须满足一个增量才能被认为是 "完成"。确保这些标准是可衡量的、可实现的,并且与整个产品愿景相一致。
  5. 审查和完善:将DoD草案提交给Scrum团队、产品负责人和利益相关者进行审查和反馈。根据他们的意见进行必要的调整,并反复进行,直到达成共识。
  6. 沟通和展示:一旦最初的DoD被确定下来,就把它传达给所有相关方,并在团队的工作区或共享的在线平台上醒目地显示出来。这可以确保每个人都知道期望,并在需要时可以参考 "工作计划"。
  7. 定期审查和更新:将 "设计手册 "的审查纳入团队的 "回顾 "中,或安排定期审查,以确保它与产品的发展保持相关和一致。根据经验教训、不断变化的需求、利益相关者的反馈以及组织标准或法规的任何变化,根据需要更新DoD。
  8. 监控合规性:作为Scrum Master,在每个Sprint期间监督团队对DoD的遵守情况。提供支持和指导,帮助团队达到既定的标准,并解决任何出现的挑战。

通过遵循这个过程,一个新的Scrum团队可以创建一个最初的 "完成的定义",并保持它,以确保在整个产品开发生命周期中质量一致,并与利益相关者的期望一致。

评论:天啊,这真是意想不到。这听起来像是PMI的手册。

后续提示:你的建议包含了太多的项目管理思想,忽略了Scrum团队中协作和团队工作的重要性。部分原因是,它是完全错误的:Scrum主管不会创建最初的 "完成 "定义。另外,他们也不强制遵守;那是开发人员的任务。根据Scrum的自我管理和仆人式领导的首要原则,重新创建答案。

ChatGPT-4.0

我为我之前的回答中出现的混乱而道歉。作为Scrum主管,你的角色是促进和指导团队完成创建和维护 "完成定义"(DoD)的过程,同时强调协作、团队精神和自我管理的重要性。这里有一个基于Scrum第一原则的最新方法:

  1. 设定背景:确保Scrum团队,包括产品负责人,理解DoD的目的和重要性。解释它是如何帮助建立对质量标准的共同理解,管理期望,并确保潜在的可释放的产品增量。
  2. 促进合作:鼓励Scrum团队与利益相关者、管理机构和任何现有的组织标准或准则合作,以收集有助于建立产品的基准质量期望和约束的意见。
  3. 赋予团队权力:支持开发人员组织一个研讨会或一系列的讨论,让他们合作创建最初的DoD。鼓励他们考虑功能和非功能需求、性能、安全性、可用性和合规性。
  4. 完善和达成共识:当开发人员起草DoD时,促进团队、产品负责人和利益相关者之间的讨论和反馈循环。帮助他们迭代DoD,直到他们就一个增量必须满足的标准达成共识,才算 "完成"。
  5. 鼓励透明化:一旦最初的DoD被确定下来,鼓励开发者将其传达给所有相关方,并在团队的工作区或共享的在线平台上醒目地展示。这将确保每个人都知道期望,并在需要时可以参考DoD。
  6. 培养持续改进:在回顾过程中,提醒团队回顾DoD,并讨论任何潜在的改进或调整,基于所学到的经验,不断变化的需求,利益相关者的反馈,或组织标准或法规的变化。
  7. 支持合规性:作为一个仆人式的领导,提供支持和指导,以帮助开发人员在每个冲刺阶段遵守DoD。鼓励公开沟通,并解决任何出现的挑战。记住,满足DoD标准的责任在于开发者,而不是Scrum Master。

通过遵循这种方法,你可以使Scrum团队创建并维持一个植根于协作、自我管理和持续改进的 "完成定义",同时坚持仆人式领导的原则。

评论:ChatGPT-4.0谈了很多关于协作、自我管理和持续改进的内容。然而,从Scrum Master的角度来看,似乎Scrum Master仍然负责将开发人员推向正确的方向。说实话,我更喜欢ChatGPT-3.5的答案。PS:产品负责人也是Scrum团队的一员。

得分:ChatGPT-42-1ChatGPT-3.5

结论

基于GPT-4模型的ChatGPT比 "老 "的GPT-3.5模型有优势。OpenAI承诺了更好的推理和简洁性,并且实现了。然而,从三个小的日常实验来看,新模型的优势并不像预期的那样具有决定性。因此,让我们等待GPT-5的到来。尽管如此,我还是会继续订阅。

作为一名Scrum从业者,你有什么看法:与ChatGPT-3.5相比,ChatGPT-4.0是否值得每月花费20美元?请在评论中与我们分享。

敏捷 Scrum Sprint(软件开发) ChatGPT