機(jī)器人技術(shù)的基本問題既涉及離散變量（比如控制模式或齒輪切換的選擇），又涉及連續(xù)變量（比如速度設(shè)定點和控制增益）。通常來說，由于算法或控制策略并不總是適合的，因此這些問題很難解決。這就是為什么谷歌母公司Alphabet的Deepnd的研究人員最近提出了一種技術(shù)：連續(xù)-離散混合學(xué)習(xí)，即可以同時優(yōu)化離散和連續(xù)動作，以其本來的形式處理混合問題。
在預(yù)印本服務(wù)器Arxiv.org上發(fā)表的一篇論文詳細(xì)介紹了他們的工作，這篇論文也在去年10月日本大阪的第三屆機(jī)器人學(xué)習(xí)會議上被人接受。寫道：“許多先進(jìn)的方法都進(jìn)行了優(yōu)化，它們能很好處理離散的或是連續(xù)的動作空間，但是卻很少有方法能同時處理。能夠使用同一算法強(qiáng)大地處理離散和連續(xù)動作空間，使我們能夠針對任何給定問題都能選擇最自然的解決方案策略，而不是讓算法上的便利性來決定做出哪種選擇?！?p style="text-indent: 2em;"> 團(tuán)隊研發(fā)的無模型算法，是指利用強(qiáng)化學(xué)習(xí)或者獎勵實現(xiàn)目標(biāo)的自主代理人的培訓(xùn)技術(shù)，通過連續(xù)和離散動作空間來解決控制問題，并通過受控和自主切換來解決混合最優(yōu)控制問題。此外，這種算法通過使用“元動作”或其他類似方案來擴(kuò)大動作空間（分別定義了代理人可能感知和采取的狀態(tài)和動作的范圍），從而為解決現(xiàn)有的機(jī)器人問題提供了新穎的解決方案，并使策略可以解決類似人工智能訓(xùn)練期間的機(jī)械磨損等挑戰(zhàn) 。
研究人員在一系列模擬和現(xiàn)實基準(zhǔn)中驗證了他們的方法，包括Rethink Robocs公司的Sawyer機(jī)器人手臂。據(jù)稱，基于給定的到達(dá)、抓取和拿起魔方的任務(wù)，其中獎勵是三個子任務(wù)的總和，因此他們的算法要優(yōu)于無法解決任務(wù)的現(xiàn)有方法。
那是因為到達(dá)魔方需要代理人打開手臂的抓具，而抓取方塊需要關(guān)閉抓具。作者寫道：“一開始，基線將大部分概率集中在較小的動作值上，因此很難移動抓具的手指來看到任何獎勵，從而解釋了學(xué)習(xí)曲線上的平穩(wěn)期。另一方面，這個算法能始終以全速操作抓具，因此改進(jìn)了探查性，使機(jī)器人可以完全完成任務(wù)?！?p style="text-indent: 2em;"> 在一個單獨的實驗中，團(tuán)隊將其算法設(shè)置為參數(shù)化動作空間馬爾可夫決策過程（PAMDP）或一個分層問題，其中，代理人首先選擇離散動作，然后為該動作選擇一組連續(xù)的參數(shù)集。在這種情況下，代理人的任務(wù)是操縱機(jī)器人手臂，以便將釘子插入孔中，然后根據(jù)孔的位置和運動學(xué)來計算獎勵。
研究人員表示，他們的方法比精細(xì)方法和粗略方法獲得了更大的回報，并且這種算法將來可以作為基礎(chǔ)應(yīng)用到更多的混合強(qiáng)化學(xué)習(xí)中。論文中寫道：“對于專業(yè)設(shè)計師而言，事先選擇合適的模式可能很困難。而我們的方法是很有用的，因為它只需要一個實驗，而別的方法都需要通過消融來進(jìn)行驗證?！?
上一篇：優(yōu)必選大型仿人服務(wù)機(jī)器人離家庭已更近了一步
下一篇：美企推出比薩餅機(jī)器人 可以最大程度節(jié)省人力
推薦閱讀
史海拾趣
為了進(jìn)一步擴(kuò)大市場份額，Honda Tsushin Kogyo可能實施了全球化戰(zhàn)略。公司積極尋求國際合作機(jī)會，與全球范圍內(nèi)的電子產(chǎn)品制造商建立了穩(wěn)定的合作關(guān)系。同時，公司還可能在海外設(shè)立生產(chǎn)基地或銷售網(wǎng)點，以便更好地服務(wù)當(dāng)?shù)厥袌?。通過全球化戰(zhàn)略的實施，Honda Tsushin Kogyo不僅提升了品牌知名度，還增強(qiáng)了企業(yè)的國際競爭力。
在電子行業(yè)快速發(fā)展的同時，Honda Tsushin Kogyo也面臨著來自技術(shù)革新、市場競爭等方面的挑戰(zhàn)。為了保持領(lǐng)先地位，公司可能積極應(yīng)對這些挑戰(zhàn)，通過轉(zhuǎn)型升級來實現(xiàn)可持續(xù)發(fā)展。例如，公司可能加大了對新能源、物聯(lián)網(wǎng)等新興領(lǐng)域的投入，研發(fā)出符合市場需求的新產(chǎn)品。同時，公司還注重提升生產(chǎn)效率和降低成本，以應(yīng)對激烈的市場競爭。
隨著產(chǎn)品質(zhì)量的不斷提升和市場口碑的積累，CAMDENBOSS公司開始積極拓展國際市場。公司與國際知名電子企業(yè)建立了緊密的合作關(guān)系，共同推動電子連接器技術(shù)的全球化發(fā)展。通過參與國際展會、建立海外分支機(jī)構(gòu)等方式，公司逐步打開了國際市場的大門，產(chǎn)品遠(yuǎn)銷至全球多個國家和地區(qū)。
為了幫助客戶更便捷地將設(shè)備連接到物聯(lián)網(wǎng)，Econais與Xively展開了合作。通過這一合作，Econais的WiSmart Wi-Fi用戶可以無縫連接到Xively云，為工業(yè)、商業(yè)和住宅市場帶來了創(chuàng)新的醫(yī)療保健、智能能源、無線音頻控制和監(jiān)控產(chǎn)品。這種一站式的物聯(lián)網(wǎng)解決方案大大加快了物聯(lián)網(wǎng)產(chǎn)品的上市時間，同時也降低了產(chǎn)品的開發(fā)成本。
|
行駛——動力充沛，車身沉穩(wěn)巡航系統(tǒng)成亮點 由于環(huán)境的限制，我只是在普通公路上對M35進(jìn)行了短距離的體驗。留下印象最深的就要算是VQ發(fā)動機(jī)的動力和扎實沉穩(wěn)的整車感受。帶有CVTCS連續(xù)可變氣門正時控制系統(tǒng)的3.5L VQ35DE鍍鉬發(fā)動機(jī)在6200rpm ...… 查看全部問答∨ |
|
|
寫了一段程序，編譯沒有錯，但是在用keil進(jìn)行仿真時，有的程序段直接跳過不執(zhí)行了，百思不得其解！ #include<reg52.h>#define uchar unsigned char#define uint unsigned intsbit d_q=P1^1;sbit d_h=P1^0;sbit d_z=P1^3;sbit d_y=P1^2;sbit fe ...… 查看全部問答∨ |
|
|
請問單片機(jī)的多任務(wù)實現(xiàn)和Linux操作系統(tǒng)多任務(wù)的實現(xiàn)有什么區(qū)別？ 單片機(jī)也可以實現(xiàn)多任務(wù)，那么和操作系統(tǒng)實現(xiàn)的方法有什么區(qū)別那？ … 查看全部問答∨ |
|
|
請高手回答：VC6的一個界面程序移植到EVC4.0＋SP4中報錯！ Compiling resources... Compiling... StdAfx.cpp C:\\Program Files\\Windows CE Tools\\wce400\\STANDARDSDK\\mfc\\include\\afxdisp.h(72) : fatal error C1189: #error : \"Can\'t build MFC OLE projects using static MFC libr ...… 查看全部問答∨ |
天然氣報警之上位機(jī)的建立 這兩天才匆匆忙忙把上位機(jī)調(diào)試完，有很多不完善的地方，界面也比較難看，等有時間的時候好好整理下。這個界面是用VB建立的，模仿的是eZ430- ...… 查看全部問答∨ |
|
把UCOS的移植在M4上，可以直接用M3的版本。M4比起M3多了浮點，如果要加入浮點運算，就得在M3版本的UCOS上改寫。 由于任務(wù)就是點燈，就不放視頻圖片了。 在附件中，Jensway的教程已經(jīng)寫得非常詳細(xì)了，我就不多廢話了。 … 查看全部問答∨ |
想做一個模板工程，將所有的外設(shè)驅(qū)動支持函數(shù)放到工程下面的一個文件夾中（雖然可能有些不會用到），這樣會不會大量浪費芯片資源啊？… 查看全部問答∨ |
- 2025世界人工智能大會上的各種機(jī)器人2025世界人工智能大會（WAIC）已成為中國AI產(chǎn)業(yè)鏈整體技術(shù)能力的一次集中體現(xiàn)。與往年偏重模型或芯片的展示不同，今年的展會呈現(xiàn)出高度系統(tǒng) ...
- 量產(chǎn)元年的人形機(jī)器人，要破局C端？2025年被認(rèn)為是機(jī)器人爆發(fā)的元年。近段時間以來，不少人形機(jī)器人企業(yè)頻獲大單，被認(rèn)為正式邁入“人形機(jī)器人規(guī)模化量產(chǎn)元年”。與此同時，人 ...
- 劉勝院士：揭密人形機(jī)器人的傳感、控制與通信技術(shù)劉勝，中國科學(xué)院院士，武漢大學(xué)集成電路學(xué)院院長、工業(yè)科學(xué)研究院執(zhí)行院長。長期致力于芯片封裝及可靠性研究，推動我國封裝技術(shù)實現(xiàn)從“跟 ...
- 智元機(jī)器人獲韓國巨頭入股，LG 電子首次對外布局具身智能8 月 1 日消息，據(jù)新浪科技今日報道，智元機(jī)器人新獲國際集團(tuán)戰(zhàn)略入股，本次投資由 LG 電子（LG Electronics）、韓國未來資產(chǎn)集團(tuán)（M ...
- 宇樹發(fā)布雙足人形機(jī)器人Unitree R1，售價3.99萬元起7月25日，宇樹科技發(fā)布雙足人形機(jī)器人新品Unitree R1，售價3 99萬元起，重量僅25千克，支持開發(fā)與定制。該機(jī)器人在視頻中展現(xiàn)了下坡、翻跟 ...
- 擎朗智能雙足人形具身服務(wù)機(jī)器人XMAN-F1首秀
- 通過深度學(xué)習(xí)技術(shù)提升立體深度估計
- 優(yōu)必選推出工業(yè)人形機(jī)器人Walker S2，實現(xiàn)7×24小時不間斷作業(yè)
- GaN技術(shù)如何應(yīng)用到人形機(jī)器人執(zhí)行關(guān)節(jié)？
M38225M5-FS- 人工智能在汽車行業(yè)中的應(yīng)用
- 麥格納集成式艙內(nèi)感知系統(tǒng) 引領(lǐng)車輛安全創(chuàng)新
- 2025世界人工智能大會上的各種機(jī)器人
- 際上導(dǎo)航：高精度組合定位感知技術(shù)在智能輔助駕駛中的應(yīng)用
- 量產(chǎn)元年的人形機(jī)器人，要破局C端？
- 上半年賺304億元的寧德時代，給出固態(tài)電池量產(chǎn)時間表
- 新泗威車載后排航空座椅控制顯示器 | 申報2025第七屆金輯獎最佳技術(shù)實踐應(yīng)用獎
- L3 智駕，需要殺手級座艙
- 2025動力電池中場戰(zhàn)局，正力新能“三化策略”應(yīng)戰(zhàn)
- 智能手機(jī)共存解決方案協(xié)同合作使用共用天線
- 助人為樂，打榜領(lǐng)獎: EEWORLD月度問答榜換新推出~
- 艾睿電子& Silicon Labs 有獎直播 | 全新藍(lán)牙信道探測：從技術(shù)創(chuàng)新到實際應(yīng)用
- 瀏覽Intel物聯(lián)網(wǎng)時代下的工廠&建筑，下載贏獎品
- 英飛凌家用暖通空調(diào)解決方案邀你拆盲盒
- 有獎直播 | 2025是德科技數(shù)字月-數(shù)字新品來助陣
- 端午節(jié)芯幣兌換禮品專場
- Microchip喊你探索dsPIC33A 芯片，70份好禮等你贏！
- 閱讀TI工業(yè)應(yīng)用方案精彩專題，開啟任意寶箱，挑戰(zhàn)答題抽好禮！
- 直播｜TI 最新 Sitara 處理器 支持多網(wǎng)絡(luò)協(xié)議 兼容更廣
- MEMS壓力傳感器在汽車中的應(yīng)用
- 從SmartCore?和microZone?看偉世通如何引領(lǐng)座艙發(fā)展
- NSITEXE推出基于RISC-V的32位通用CPU“NS31A” 適合汽車應(yīng)用
- 廣汽埃安首次現(xiàn)場演示AION V超級快充技術(shù)
- 采用“甜甜圈”結(jié)構(gòu) 提升安全性 豐田合成推出全新結(jié)構(gòu)安全氣囊
- 三星Galaxy S21 FE：塑料材質(zhì) 6+128G售4500元
- iPhone6 Plus被列是過時產(chǎn)品后，網(wǎng)友懷念指紋解鎖
- 華為手機(jī)押寶的新方向成了：已笑傲市場
- 高通驍龍8/天璣9000側(cè)目！尚有一顆王牌Soc馬上發(fā)
- 淘寶全新功能突然上線：能語音聊天了！
京公網(wǎng)安備 11010802033920號