首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Captaincc
掘友等级
VIP.5 如鱼得水
问题解决官
|
juejin.cn
寻找优质内容创作者ing 有任何关于掘金的问题可以咨询我微信:229199157
获得徽章 27
掘金运营团队
动态
文章
专栏
沸点
课程
收藏集
关注
作品
赞
6.3K
文章 6K
沸点 327
赞
6.3K
返回
|
搜索文章
Captaincc
赞了这篇文章
踏遍青山
1天前
关注
本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG
在这个信息爆炸💥的时代,人工筛选对自己有价值的信息无异于大海捞针。不过,幸好现在有了 AI 这个强大的工具,我们可以让它来帮我们做集检索、整合与分析为一体的工作。...
3
评论
分享
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
2天前
举报
#怎么看待996?#
1111
IDEcode
分享
评论
点赞
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
2天前
举报
#怎么看待996?#
test
IDEcode
赞过
分享
1
2
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
2天前
举报
#工作中加分的好习惯#
1
IDEcode
赞过
分享
评论
1
Captaincc
赞了这篇文章
WebInfra
前端 @字节跳动 Web Infra
·
2天前
关注
(建议收藏) 深入了解 Top-level await
在本文中,我们将对 Top Level Await 的 Specification、Toolchain Support、Webpack Runtime、Profiling ...
9
1
分享
Captaincc
赞了这篇文章
demo007x
https://fm126.top/ @公众号:知识派
·
2天前
关注
RAG实操教程,LangChain + Llama2 | 创造你的个人LLM
RAG实操教程,LangChain + Llama2 | 创造你的个人LLM 本文将逐步指导您创建自己的RAG(检索增强生成)系统,使您能够上传自己的PDF文件并向LLM询...
5
评论
分享
Captaincc
赞了这篇文章
MiyueFE
VIP.5 如鱼得水
MiyueFE 的前端圈 @MoonStudio
·
2天前
关注
【TeaTools/auto-sync-blog】掘金下午茶团队自动化掘金文章同步工具 2.0 发布啦~~
铛铛铛~ 大家好,我是 酱酱们的每日掘金 的主理人之一,也是 auto-sync-blog 的主要开发者之一。 该工具在去年 3 月发布了最初的 1.0 版本,当时基于 v...
5
评论
分享
Captaincc
赞了这篇文章
量子位
@北京极客伙伴科技有限公司
·
3天前
关注
中国 AIGC 最值得关注企业 & 产品榜单揭晓!首份应用全景图谱发布
组委会 发自 凹非寺 量子位 | 公众号 QbitAI “你好,新应用!” 站在大模型落地元年,是时候喊出这句话了。 从软件 APP、智能终端乃至具身智能等等,AIGC 开...
3
1
分享
Captaincc
赞了这篇文章
字节跳动技术团队
@字节跳动
·
12天前
关注
2024 抖音欢笑中国年(三):编辑器技巧与实践
2024年春节,抖音APP春节活动主要基于内部自研的SAR Creator互动方案完成,编辑器的使用是互动开发的核心。...
31
9
分享
Captaincc
赞了这篇文章
苹果API搬运工
ARKit神棍 @The Matrix
·
12天前
关注
只需三板斧!带你入门 visionOS 空间计算的数学与几何基础
看不懂苹果 visionOS Demo 中的数学与几何运算?这是很多 iOS 开发者试图学习 visionOS 开发时遇到的最大困难。所以我将 3D/AR 中基础的数学与几...
9
评论
分享
Captaincc
赞了这篇文章
京东云开发者
技术运营 @京东科技信息技术有限公司
·
13天前
关注
Vision Pro开发实践(一)
简介 Vision Pro是苹果公司的首款头戴式“空间计算”显示设备,于2023年6月6日在“WWDC2023”正式发布,同时推出的还有专为Vision Pro打造的操作系...
3
评论
分享
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
10天前
举报
风清扬重出江湖
收起
查看大图
向左旋转
向右旋转
今天学到了
赞过
分享
5
2
Captaincc
赞了这篇文章
机器之心
@机器之心
·
13天前
关注
长文本之罪:Claude团队新越狱技术,Llama 2到GPT-4无一幸免
Anthropic 发现一种新型越狱漏洞并给出了高效的缓解方案,可以将攻击成功率从 61% 降至 2%。...
5
评论
分享
Captaincc
赞了这篇文章
磊叔的技术博客
公众号:PeomByte @idata
·
14天前
关注
架构解析系列-Dubbo Metrics 基本原理及扩展 OTLP 协议
期望通过洞悉 dubbo 埋点的内部实现来找到 otlp 协议吐出的切入点。整体看来,dubbo 的 metrics 的实现逻辑还是比较清晰的,而且官方文档中对于 metr...
9
评论
分享
Captaincc
赞了这篇文章
量子位
@北京极客伙伴科技有限公司
·
12天前
关注
“音乐版Sora”首批演示泄露,网友:比写《宫保鸡丁》的Suno好10倍
2024年也是AI音乐生成的元年吗? 这两天,一个神秘的 “音乐版Sora” 产品被盛传即将发布,Suno和它比起来都不算什么。 知情者评价be like: (Suno:刚...
2
评论
分享
Captaincc
VIP.5 如鱼得水
问题解决官 @juejin.cn
·
11天前
举报
苹果发布了专门用于理解应用 UI 界面的 MLLLM Ferret-UI 。
专门针对移动UI屏幕进行了优化,具备了指向、定位和推理等多种能力。
看来 iOS 18 有可能会有类似通过Siri自动操作应用界面的能力?
---------详细介绍---------
介绍与特点:
Ferret-UI是一个新的MLLM,专门为提高对移动UI屏幕的理解而设计。它具备引用、定位和推理能力,
能够处理UI屏幕上的各种任务。Ferret-UI的一个关键特点是其“任何分辨率”(any resolution)技术,该技术通过放大细节来解决UI屏幕中小型对象的识别问题,从而提高模型对UI元素的理解精度。
移动用户界面(UI)屏幕的理解:
UI屏幕的理解是一个复杂的问题,因为它不仅要求模型能够理解屏幕上的内容,还要能够识别和操作具体的UI元素。
与传统的自然图像相比,UI屏幕通常具有更多的长宽比和更小的元素,这些元素对于模型来说是一个挑战。此外,UI屏幕的理解还涉及到对屏幕元素间关系的识别,以及对用户可能采取的行动的预测。
“任何分辨率”(any resolution)技术的应用:
为了克服UI屏幕中的小对象识别问题,Ferret-UI采用了“任何分辨率”技术。该技术通过将屏幕分割成基于原始宽高比的子图像,并对每个子图像进行单独编码,从而在不丢失重要视觉信号的情况下放大细节。
这种方法使得模型能够更准确地识别和理解UI屏幕上的小型对象。
训练样本的收集与任务制定:
Ferret-UI的训练涉及从基础UI任务到高级任务的广泛数据样本收集。这些样本被格式化为带有区域注释的指令遵循格式,以便于模型进行精确的引用和定位。
此外,为了提高模型的推理能力,还特别编制了一个包含详细描述、感知/交互对话和功能推断等高级任务的数据集。
模型架构与数据集的建立:
Ferret-UI的架构基于Ferret模型,后者在自然图像的引用和定位任务中表现出色。为了适应UI屏幕的特点,Ferret-UI进行了架构调整,包括集成“任何分辨率”技术和使用预定义的网格配置来划分全图图像。
此外,为了全面评估模型的能力,还建立了一个包含所有研究任务的综合测试基准。
高级任务中的对话能力:
此外,Ferret-UI还能够通过功能推断来解释屏幕的整体目的,显示出在理解和生成自然语言指令方面的高级能力。
展开
收起
查看大图
向左旋转
向右旋转
大模型生态圈
赞过
分享
2
2
Captaincc
赞了这篇文章
掘金酱
❤首席客服君 @掘金
·
11天前
关注
Code Infinity:AI Bot 技术挑战赛
Code Infinity:相信代码在任何领域中都有无限的创造力,让我们以专业才智,为 AI Bot 注入一份独有的力量吧!...
68
27
分享
Captaincc
赞了这篇文章
OpenTiny社区
华为云出品的企业级设计体系 @华为云
·
12天前
关注
用three.js做一个3D汉诺塔游戏(下)
在上一期,我们成功地搭建了基础的 3D 场景。在本期中,我们将对场景进行优化,使其在视觉上更加真实,并为场景中的物体添加交互,同时编写游戏流程控制逻辑,最终完成这款3D汉诺...
8
评论
分享
Captaincc
VIP.5 如鱼得水
关注了
前端之虎陈随易
问题解决官 @juejin.cn
Captaincc
VIP.5 如鱼得水
关注了
踏遍青山
问题解决官 @juejin.cn
下一页
个人成就
社区共建者
优秀创作者
文章被点赞
538
文章被阅读
76,551
掘力值
2,063
掘金运营团队
关注了
6,269
关注者
997
收藏集
5
关注标签
103
加入于
2021-08-21