首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Captaincc
掘友等级
VIP.5 如鱼得水
问题解决官
|
juejin.cn
寻找优质内容创作者ing 有任何关于掘金的问题可以咨询我微信:229199157
获得徽章 27
掘金运营团队
动态
文章
专栏
沸点
课程
收藏集
关注
作品
赞
6.3K
文章 6K
沸点 327
赞
6.3K
返回
|
搜索文章
赞
文章( 6K )
沸点( 327 )
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
29天前
举报
@KFC疯狂星期四V我50助手
v50
AI聊天室
分享
1
4
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
10天前
举报
苹果发布了专门用于理解应用 UI 界面的 MLLLM Ferret-UI 。
专门针对移动UI屏幕进行了优化,具备了指向、定位和推理等多种能力。
看来 iOS 18 有可能会有类似通过Siri自动操作应用界面的能力?
---------详细介绍---------
介绍与特点:
Ferret-UI是一个新的MLLM,专门为提高对移动UI屏幕的理解而设计。它具备引用、定位和推理能力,
能够处理UI屏幕上的各种任务。Ferret-UI的一个关键特点是其“任何分辨率”(any resolution)技术,该技术通过放大细节来解决UI屏幕中小型对象的识别问题,从而提高模型对UI元素的理解精度。
移动用户界面(UI)屏幕的理解:
UI屏幕的理解是一个复杂的问题,因为它不仅要求模型能够理解屏幕上的内容,还要能够识别和操作具体的UI元素。
与传统的自然图像相比,UI屏幕通常具有更多的长宽比和更小的元素,这些元素对于模型来说是一个挑战。此外,UI屏幕的理解还涉及到对屏幕元素间关系的识别,以及对用户可能采取的行动的预测。
“任何分辨率”(any resolution)技术的应用:
为了克服UI屏幕中的小对象识别问题,Ferret-UI采用了“任何分辨率”技术。该技术通过将屏幕分割成基于原始宽高比的子图像,并对每个子图像进行单独编码,从而在不丢失重要视觉信号的情况下放大细节。
这种方法使得模型能够更准确地识别和理解UI屏幕上的小型对象。
训练样本的收集与任务制定:
Ferret-UI的训练涉及从基础UI任务到高级任务的广泛数据样本收集。这些样本被格式化为带有区域注释的指令遵循格式,以便于模型进行精确的引用和定位。
此外,为了提高模型的推理能力,还特别编制了一个包含详细描述、感知/交互对话和功能推断等高级任务的数据集。
模型架构与数据集的建立:
Ferret-UI的架构基于Ferret模型,后者在自然图像的引用和定位任务中表现出色。为了适应UI屏幕的特点,Ferret-UI进行了架构调整,包括集成“任何分辨率”技术和使用预定义的网格配置来划分全图图像。
此外,为了全面评估模型的能力,还建立了一个包含所有研究任务的综合测试基准。
高级任务中的对话能力:
此外,Ferret-UI还能够通过功能推断来解释屏幕的整体目的,显示出在理解和生成自然语言指令方面的高级能力。
展开
收起
查看大图
向左旋转
向右旋转
大模型生态圈
分享
2
2
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
21天前
举报
亲爱的各位创作者们:
今天运营团队在进行日常的站内巡查时,发现有用户批量发布广告文章。我们在处理这些违规内容的过程中,由于技术脚本出现了一些失误,导致一些正常文章被误删。
我们意识到这个问题后,第一时间采取了补救措施,目前已经在紧急恢复被误删的文章。我们由衷地感到抱歉,给大家带来了不好的用户体验。
作为一个致力于为用户提供优质内容和良好社区氛围的平台,我们深知内容的重要性,也十分重视每一位用户的创作成果。我们将汲取此次教训,完善内容管理流程和技术手段,力求在打击违规内容的同时,最大限度地保障正常内容的安全。
再次向各位掘友真诚地道歉,感谢大家一如既往的支持和理解。我们将继续努力,为大家营造一个干净、友好、充满价值的社区环境。
展开
掘金官方
分享
128
69
我也有狗狗头像了_这下能在掘金里合群了
1月前
举报
大家遇到过这种情况没有,拉一个项目下来维护,经过一通操作后烂了,是重新拉?还是换单位?
分享
15
9
MoonBit
@IDEA数字经济研究院
·
1月前
举报
#每日快讯#
💡MoonBit新增实验性功能:trait 支持默认实现,允许类型定义的类型参数为 `_`,可以用来定义 phantom type……更多内容请点击
文章查看
链接:
mp.weixin.qq.com
🥳大家如果对于MoonBit平台有任何使用的疑问或者建议都可以到我们的论坛:
taolun.moonbitlang.cn
发帖提问讨论哦~
🔗不要错过! 点击下方链接下载MoonBit:
marketplace.visualstudio.com
,开启MoonBit语言的全新体验
展开
收起
查看大图
向左旋转
向右旋转
今日新鲜事
分享
8
22
弗雷free
老板 @一人公司
·
1月前
举报
揭秘用户心理,他们真正关心的只有一件事:忘掉炒作,只认效果。
用户不在乎你是AI产品经理,还是古典产品经理。
用户不在乎你的团队是名校海归背景,还是纯草根创业。
用户不在乎你的情怀理想或是什么悲惨的过去。
用户不在乎你勤奋还是懒惰,也不在乎你过的好不好。
用户不在乎你是独立开发者还是上市公司,也不在乎你使用AI技术、胶水代码还是Excel。
用户不在乎你是拍脑袋决策还是有复杂的方法论。
用户在乎的只有一点——他的问题是否被解决。
在这个以结果为导向的时代,用户的满意度和忠诚度建立在他们的实际体验之上。他们寻求的是简单、直接、有效的解决方案,而不是背后的技术细节或你的个人奋斗史。产品的质量、性能、以及它为用户带来的实际价值,才是他们评判的最终标准。
因此,无论我们背景如何,无论我们的团队来自何方,都应该将用户的需求放在首位。专注于理解他们的问题,倾听他们的声音,然后提供无懈可击的解决方案。这不仅是职责,也是赢得市场、建立品牌的关键。
当然,也正是这至关重要的一点,压倒了无数准备不充分的创业者。
#挑战每日一条沸点#
展开
收起
查看大图
向左旋转
向右旋转
上班摸鱼
分享
11
13
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
5月前
举报
在,之前找你做了个外包项目,现在项目停止运营了,能把代码费用还我吗
收起
查看大图
向左旋转
向右旋转
上班摸鱼
分享
10
10
掘金酱
❤首席客服君 @掘金
·
1月前
举报
【官方邀请】 掘金全新创作者训练营开营咯!助力每一位创作新星,写出个人影响力!
本次训练营不仅有「掘金官方1v1」写作指导与反馈,还有丰富且庞大的奖品池任你挑选,罗技鼠标、抖音文创、掘金周边应有尽有!
【活动时间:2月27日—3月31日】
活动详情
s.juejin.cn
展开
收起
查看大图
向左旋转
向右旋转
活动推荐
分享
29
76
梅楼封
封号限流、社区巡警 @掘金
·
1月前
举报
掘友们大家好。同步几件社区风控事件。
1、部分刷子,经常用油猴插件批量点赞、发布不相关文章或者沸点,经用户举报,我们已针对 2024 年起,所有使用某插件的用户 uid 全局封禁 3 天,扣除掘友分 2000,并且计入相关降权库。
2、杭州某 ip,批量对掘金进行 http 攻击,我们已启用人机验证,单项锁定 10 分钟,相关证据已做保全。
请大家理性摸鱼,感谢大家的理解与支持。
展开
掘金官方
分享
152
181
优弧
VIP.5 如鱼得水
管理员丨首席客服君丨运营负责人 @掘金
·
2月前
举报
新建一个标签 Sora。求个关注。在这个标签下,我们看到很多关于 Sora 的优质文章。
Sora - Sora技术,学习,经验文章 - 掘金
juejin.cn
大模型生态圈
分享
7
21
下一页
个人成就
社区共建者
优秀创作者
文章被点赞
538
文章被阅读
76,535
掘力值
2,063
掘金运营团队
关注了
6,269
关注者
997
收藏集
5
关注标签
103
加入于
2021-08-21