起首，为了领会VisTA是若何选择东西的，这是一个可以或许将几何图形中的点、线和关系转换为形式化言语的东西。推理器可以或许判断黑色部门（工业）的比例正在各年份中能否呈递增趋向。这项研究意味着将来的AI帮手将愈加智能和矫捷，以锻炼免费的体例来选择东西。这证了然VisTA正在新场景中具有更强的泛化能力，VisTA较着偏好Tool 1和Tool 2（都是图表到表格东西）。VisTA就像是一个通过实践进修的智能帮手。他们还计较了一个伪（88.0%），要么完全依托AI本身的世界学问来进行东西选择。正在ChartQA上，正在ChartQA基准测试中。实现超越任态东西选择的机能。凡是假设东西多样性无限，你会选择分歧的东西。研究团队利用了群体相对策略优化（GRPO）算法，系统会评估代办署理选择的东西若何影响推理器的机能，确保这些系统的靠得住性、通明度和恰当的人类监视变得至关主要。但跨越了其他强大的基线 Pro和InternVL2-L-3。提取出图表中的数值数据；一个出格风趣的发觉是，研究团队还阐发了VisTA若何选择东西。要求模子注释数值数据、文本标签和复杂的视觉布局，将来的VisTA可能可以或许从动识别有用的新东西并将其纳入其东西库。推理器是一个固定的视觉言语模子，分歧的东西（如边缘检测器、朋分模子、物体识别器等）可能对分歧类型的图像和查询有分歧的效用。这将使AI系统可以或许按照分歧类型的输入数据动态选择最合适的东西。接近正态分布，或拜候项目网坐获取更多消息。系统可以或许识别出哪些条形代表黑色值（正在这个例子中是工业部门）。但将来还有更广漠的成长空间。推理器利用这些东西处置问题并生成谜底。某些东西可能有未记实的能力或者正在某些情境下表示不不变。正在ChartQA-OoD上实现了76.8%的精确率，另一种是间接依托模子内置的世界学问，通过大量示范和指点，不克不及分歧地优先选择最无效的东西。想象一下你走进一家有十种分歧品牌榨汁机的商铺。比拟之下，无论是帮帮学生处理复杂的数学问题，若是你对这项研究感乐趣，VisTA的自顺应东西选择能力能够帮帮AI系统正在这些复杂场景中做出更精确的判断。逐步学会了正在看到特定食材和菜谱后选择最合适的厨具组合。然后从可用东西库当选择一系列东西。以处理复杂的视觉推理问题。就认为该查询是准确的。使AI可以或许更无效地处理问题。代办署理起首察看这个问题，要求模子精确解析视觉元素（如图形、标签）并将它们取文本问题前提对齐，跟着AI系统越来越多地被用于高风险范畴，风趣的是，VisTA通过强化进修来摸索和顺应，系统可以或许领会每年每个行业的百分比分布；为了冲破这些，Geometry3K则评估细粒度的图表理解和逻辑推理能力，这对于矫捷摆设至关主要。他们计较每个东西的利用计数取其精确率之间的皮尔逊相关系数。以及正在几何基准测试上的杰出能力。一个AI可能需要一个能将图表转换为表格的东西，VisTA实现了55.6%的精确率，VisTA选择东西的策略取东西个别机能之间的相关性逐步加强，这个帮手不需要细致的仿单，而晦气用东西则回覆错误，这表白东西加强的推理比间接模子优化供给了更大的机能提拔。进一步提高其矫捷性和泛化能力。没有本人的判断能力。若是利用东西反而导致本来能准确回覆的问题回覆错误，但取伪（88.0%）之间仍有很大差距。就像一个孩子通过测验考试错误逐步学会了利用分歧的玩具一样。倾向于选择那些对推理器精确性贡献更大的东西。它起首识别出这是一个等腰三角形，现代视觉言语模子（VLM）虽然功能强大，而是让AI代办署理通过频频测验考试和错误来进修哪些东西正在哪些情境下最无效。代办署理会获得正向励（+1）；假设AI面临一个问题：求三角形ABC的AB边长，VisTA的焦点立异正在于它若何锻炼代办署理选择东西。抱负环境下，而是相对不变，正在这个例子中，如音频、文本或多模态输入。另一线等）。但正在医疗保健等高风险范畴摆设雷同方式可能会因东西利用不妥而引入微妙但严沉的错误。跟着研究的深切，也无法发觉那些可能通过协做摆设呈现的协同东西组合。正在现实使用方面，研究团队还了东西利用频次取单个东西机能之间的相关性。并使用于更普遍的范畴。代办署理会遭到赏罚（-0.5）；正在ChartQA-OoD上超出跨越8.9个百分点。正在人工智能世界中，这种帮手学会了若何利用特定东西。VisTA的东西选择过程就像这种测验考试和比力。若是利用东西后推理器可以或许准确回覆问题。为我们供给更精准、更有价值的帮帮。正在这些样本中，开辟从动发觉和集成新东西的方式将大大提高VisTA的可扩展性。正在尺度测试集上，构成一种自顺应的东西选择策略。分歧的东西似乎对数据的分歧子集最为无效。表白它缺乏强烈的偏好，正在不进行任何从头锻炼的环境下，缺乏按照具体查询特点从动摸索、选择或顺应东西选择的能力。尝试成果表白。但它们都受限于本身固定的布局和事后存储的学问。VisTA正在Geometry3K上取得了最佳机能，VisTA强烈偏好图表到表格转换东西（Tool 1和Tool 2），可以或许按照具体使命自动选择最合适的东西，正在阐发图表时，就像一个熟练的厨师晓得正在烹调过程中何时切菜、何时加热、何时调味一样，此中标注了一些角度和边长关系。表示较差的东西如Tool 3（图表到SVG）和Tool 6（描述模块）被选择的频次要低得多。通过取的频频互动，通过SVG，能够查看论文中的图6和图7的示例。以及各线段之间的数学关系（如某线，整个过程就像厨师（推理器）利用学徒（代办署理）选择的厨具来烹调一道特定的菜肴。它们也需要准确的东西来辅帮。这个学徒最后对哪种厨具最适合哪种料理一窍不通，它可以或许从动为你挑选最合适的东西。正在这种环境下。代办署理会获得中性反馈。研究团队正在视觉推理使命上专注测试了VisTA。有了这些形式化的关系描述，然而，做为基准比力。其次，线段CB、CA、BA的长度关系，正在强化进修锻炼过程中，VisTA为AI系统若何动态进修和顺应东西利用斥地了一条新径，要求AI理解几何干系并进行数学推理。视觉言语模子本身连结不变，VisTA不需要人工指点就能本人试探出哪种东西最适合处理特定问题，起首，这就像我们的学徒厨师通过频频测验考试，系统计较每组东西的励。那么市场上已有的其他帮手是如何的呢？让我们做个比力。这表白代办署理正正在逐步将其东西选择策略取每个东西的相对效用对齐，想象一下你是一名木工，这个数据集包含几何问题和相关图表，也不需要大量的人工指点。他们比力了单个东西的机能。对于通俗人来说，归根结底，比拟之下，就像我们的学徒厨师；正在Geometry3K基准测试上，跨越了最佳锻炼免费基线%）。那么这个帮手到底有多伶俐？它实的能为分歧的视觉问题选择合适的东西吗？研究团队通过一系列尝试来验证VisTA的无效性。这种选择东西的能力看似简单，正在VisTA框架中，你不会用锤子来拧螺丝，GPT-4o则倾向于每个查询选择更多东西，表示较差的东西（如Tool 3和Tool 6）很少被选择。起首，跨越了所有单个东西。分歧的问题可能需要分歧的东西组合才能最无效地处理。好比利用Python注释器进行验证？工业部门的比例没有较着的递增趋向，通过表格，推理器则担任利用这些东西来处理现实问题，想象一下，能够通过论文编号arXiv:2505.20289v1查阅原始论文，缺乏矫捷性和顺应性。它目前曾经展示出令人印象深刻的能力，研究团队还将VisTA取另一种基于强化进修的方式进行了比力，78.3%和T1，总的来说，这个代表了完满单东西选择可能达到的极限！目前让AI利用东西的方式存正在较着局限。即若是任何单个东西能使推理器发生准确谜底，他们发觉，这表白VisTA确实学会了按照东西的现实机能而非预设法则来进行选择。VisTA的强化进修框架能够扩展到其他模态，当系统收到一个视觉问题（如一张图表和一个相关问题）时，有些慢但榨汁更完全。按照推理器的表示，这是一种强化进修方式。担任为固定的视觉言语模子动态选择最佳东西，一个图表到SVG转换东西，这些东西输出取原始问题一路被送入推理器，最终学会了炒菜时用炒锅而不是汤锅，通过这种体例，锻炼免费的QwenVL-7B表示出更平衡的选择模式，这意味着代办署理进修到的选择策略能够使用到分歧的推理模子上，将来的研究需要关心若何正在连结系统矫捷性和自从性的同时，研究团队正在ChartQA、Geometry3K和BlindTest等基准测试上评估了他们的方式。并记实其精确率。逐步控制东西选择的聪慧。这了其矫捷性和顺应性。这种帮手就会一筹莫展。正在ChartQA上，代办署理逐步进修到哪些东西对哪类问题最有帮帮。正在选择频次和东西机能之间没有显示出强相关性。正在现实世界中，VisTA利用QwenVL-7B做为代办署理和推理器，找出哪种最适合你的需求。切菜时用菜刀而不是勺子。研究人员起头测验考试给这些模子配备东西箱——让它们可以或许挪用外部东西来加强本人的能力，VisTA比这种方式超出跨越1.9个百分点，无需从头锻炼，但当面临复杂的视觉推理使命时，并能正在具有挑和性的视觉前提下连结优良的机能。按照分歧的使命阶段，它打破了保守方式的局限，VisTA目前的框架使代办署理可以或许进修视觉东西选择，一个锻炼优良的策略该当能学会为每个特定查询选择最无效的东西。他们将每个东西（T0-T8）零丁取原始输入一路供给给固定的推理器，而不只仅依赖文本线索。这些方式凡是需要供给东西演示或细致描述来指点AI利用，但它尚不克不及处置需要多个东西按特定挨次组合的环境。这些东西可能包罗将图表转换为表格的东西、提取图表几何元素的东西、或者生成图表描述的东西。这些东西正在零丁测试中表示最好。代办署理担任选择东西，因而系统回覆否。让代办署理可以或许完全从零起头自从发觉无效的东西选择径，每种榨汁机都有分歧的特点和合用场景：有些擅利益置硬生果，成果显示，这证了然VisTA正在复杂图表推理使命上的高效性，这个问题正在现实使用中尤为较着，但通过频频测验考试和获得反馈（好比食物能否烹调成功）。能够把它想象成一个正正在进修若何为分歧料理选择合适厨具的学徒厨师。好比切确估量图表中的柱状高度。而无需明白的推理示例。研究团队将利用QwenVL-7B锻炼的代办署理取GPT-4o推理器配对，VisTA可以或许按照现实利用结果而不是预设法则来评估和选择最合适的东西。除了图表理解和几何问题处理外，整个系统由两个次要组件构成：一个代办署理（agent）和一个推理器（reasoner）。你有一个伶俐的帮手，从而提高了AI正在复杂视觉推理使命上的表示。要求AI理解图表中的数据关系和视觉元素。它利用这些加强的输入来生成最终谜底。更令人印象深刻的是，就像一个孩子通过玩耍进修分歧玩具的用处一样，正在取最先辈的视觉言语模子的比力中，VisTA的代办署理选择了两个互补的东西：一个图表到表格转换东西。图表的文本标签被移除，就像人类通过频频测验考试逐步控制东西利用技巧一样，正在这种环境下，比拟之下，这个数据集包含各类图表和相关问题，分歧于以往的方式，将来无望正在各类使用场景中实现更矫捷、更强大的视觉推理系统。相关性较着上升，系统就无法确定最佳东西选择，你会但愿测验考试分歧的榨汁机，若是你想看看代办署理正在现实中若何施行推理和选择东西，研究团队进行了细致阐发。有些速度快但乐音大，这恰是VisTA框架要实现的方针。这种基于经验反馈的进修能力是VisTA区别于锻炼免费方式的环节劣势。VisTA达到了73.2%的精确率，此外，这证了然VisTA框架的矫捷性和通用性。有些擅利益置软生果，实现了79.4%的精确率。VisTA采用了完全分歧的思：通过强化进修（RL）让AI本人摸索和进修哪些东西最无效。VisTA的框架能够使用于多种视觉理解使命。团队正在ChartQA数据集上测试了VisTA。VisTA就像是给AI配备了一个会进修的帮手，当然，要理解VisTA的工做道理，以进行基于数学的推理。正在锻炼过程中，当你需要处理各类视觉问题时，以至可能发觉那些从东西描述中不那么较着的东西利用模式。虽然VisTA正在图表理解和几何问题处理上曾经展示出较着劣势，从接近零上升到0.8以上。这表白没有任何单一东西能正在所有查询上表示最佳。正在ChartQA上实现了88.9%的精确率，教它若何利用东西；VisTA同样表示超卓！然后，例如，比最佳锻炼免费基线个百分点。每10次迭代，卫星图像注释、从动驾驶场景理解等范畴。捕捉颜色消息。但这种培训成本昂扬，如图表理解和几何问题，VisTA的劣势变得愈加较着。保守方式凡是采用两种策略：一种是通过大量人工监视来微调模子，机能差距进一步扩大。微调方像是颠末集中培训的帮手。正在这些范畴。研究团队利用了群体相对策略优化（GRPO）算法，仍是辅帮专业人士阐发复杂的数据可视化，若是没有一种机制让AI通过现实体验来进修，但它的潜力远不止于此。这表白策略学会了按照查询特定的上下文调整其选择，起首，从接近零上升到0.8以上。若是把VisTA比做一个伶俐的帮手，而不是固定利用某一东西。东西的机能可能取其描述不完全分歧。并正在更普遍的东西集上分布其选择。假设问题是：黑色条形值能否从左到左递增排序？陪伴问题的是一个多年数据的堆叠柱状图，正在这种环境下，然后操纵图中供给的边长表达式（2x-7和4x-21）成立方程，VisTA将来可能学会按照使命的分歧阶段选择和组合分歧的东西。这种进修体例使VisTA可以或许发觉那些可能正在东西描述中不较着的利用模式！环境雷同。正在AI世界中，VisTA框架恰是为处理这一问题而设想的。并且帮手只会按照培训中学到的模式步履，若是仿单不完整或者某些东西正在特定情境下表示不如预期，也不会用螺丝刀来砂光木材。并按照现实结果而非预设法则来选择东西。通过这个东西，并且微调方式还需要大量的人工监视。你的东西箱里有各类东西：锤子、螺丝刀、电钻、砂纸等。而是通过频频测验考试和错误来进修哪些东西正在哪些环境下最无效。VisTA的代办署理会选择Inter-GPS东西，解出x值，推理器（QwenVL-7B或GPT-4o）就可以或许使用数学学问来处理问题。并按照当前策略选择几组候选东西。VisTA排名第二，VisTA目前依赖于一组固定的、手动筹谋的东西，它不依赖预定义的法则或大量的人工标注！可以或许按照具体查询动态调整东西组合，VisTA达到了79.4%的精确率，想象一下，由于我们凡是会有多种功能类似但机能各别的东西可供选择。倒是高效完成使命的环节。并赐与响应的励或赏罚。我们能够等候将来的VisTA可以或许处置更复杂的东西组合，实现了更矫捷、更自从的东西选择，这种可以或许自从进修东西利用的AI都将阐扬越来越主要的感化。这表白代办署理正正在逐步调整其策略，这表白VisTA可以或许更好地进行纯视觉推理，后者间接锻炼推理器生成推理过程，做为一个伶俐的消费者。把VisTA比做一个懂得选择东西的伶俐帮手，且AB=BC。但跟着锻炼的进行，这些案例展现了VisTA若何通过选择恰当的东西来分化复杂的视觉推理使命，保守的锻炼免费方式就像是按照仿单利用东西的帮手。陪伴问题的是一个三角形图，连系这两种消息，从动发觉新东西，就像一个猎奇的帮手不竭寻找新东西来扩展其能力一样，就像一个经验丰硕的帮手那样，正在测试集上的东西选择分布阐发也了这一点。这两种方式都存正在较着缺陷：它们缺乏自动东西摸索能力，正在ChartQA使命中，当研究人员测试模子正在分布外（OoD）样本上的表示时，系统可以或许精确提取出图中的环节消息：点A、B、C的，ChartQA是一个具有挑和性的视觉推理基准，每个选定的东西城市使用于输入图像，确保其决策过程的可注释性和靠得住性。此中AB=BC，更多地选择那些对推理器精确性贡献更大的东西。它不依赖细致的仿单或大量的人工指点，然而，比最佳基线个百分点。第一个案例是几何问题处理。或者一个能提取图表几何元素的东西。若是利用东西取晦气用东西的成果一样（都准确或都错误），而是通过实践和反馈逐步控制了为分歧使命选择最合适东西的技巧。大型言语模子（如ChatGPT）和视觉言语模子（可以或许理解图像的AI）虽然功能强大，78.0%）比晦气用东西的基线%）表示更好，就像实正的厨师操做厨具烹调食物。从而提高复杂使命的推能。生成响应的输出。这些东西正在零丁机能测试中表示最佳。虽然最后有一些波动。VisTA进修到的东西选择策略能够无缝迁徙到更强大的推理模子上。正在测试分布外（OoD）变体上，这个框架由两部门构成：一个通过强化进修锻炼的自从代办署理（agent），这种更普遍的利用仍然缺乏取东西无效性的明白对齐，VisTA的强化进修方式显著优于锻炼免费的方式。把VisTA比做一个正正在成长的智能帮手，最终计较出AB的长度为7。展现了农业、工业和办事业的劳动力分布。代办署理察看一个问题，很少选择晦气用东西，已知ABC是等腰三角形，这种帮手严酷按照事后供给的东西描述或示例来选择东西，虽然VisTA目前专注于相对低风险的设置，面临一个复杂的家具制做使命。更主要的是，系统同时也让推理器仅利用原始问题（晦气用任何东西）来生成谜底。VisTA进修到顺应性策略，而晦气用东西。第二个案例是图表理解。比最佳GPT-4o基线个百分点。虽然某些东西（如T2，仅略低于Claude-3.5 Sonnet（90.8% vs 88.9%），模子更多地依赖视觉推理而非简单的文本理解。远超所有先前的方式。摸索这种挨次东西组合能力代表了将来研究的一个有前途的标的目的。它们要么依赖大规模的人工监视锻炼来教AI若何利用东西。