華秋PCB
高靠得住多層板制造商
華秋SMT
高靠得住一站式PC包養pttBA智造商
華秋商城
自營現貨電子元器件商城
PCB Layout
高多層、高密度產物design
鋼網制造
專注高品德鋼網制造
BOM配單
專門研究的一站式采購處理計劃
華秋DFM
一鍵剖析design隱患
華秋認證
認證檢測無可置疑
在曩昔的一年里，我和我的團隊一向努力于進步 Taboola Feed 的特性化用戶體驗。我們應用多義務進修（MTL）來猜測統一組輸出特徵上的多個要害機能目標（KPIs），并在 TensorFlow 中完成了一個深度進修（DL）模子。可是，在我們開端著手這項研討的時辰，MTL 對我們來說比此刻裴毅一遍一遍的看著身邊的轎子，彷彿希望能透過他的眼睛，看清楚到底是什麼東西。坐在轎車裡坐的樣子。復雜得多，所以我想分送朋友一些經歷經驗。
在本文中，我將分送朋友一些在神經收集（NN）中完成 MTL 時詳細需求斟酌哪些方面的題目，我還將對這些題目提出簡略包養app的 TensorFlow 處理計劃。
我們想從硬參數共享（hard parameter sharing）的基礎方式開端。硬共享意味著我們有一個共享子網，這個子網是特定于義務的。
在 TensorFlo包養appw 中應用這種模子時，由于它看起來與其他 NN 系統構造沒有那么年夜的分歧，您能夠會感到本身有哪里做錯了。
經歷 1-喪失合并包養網推薦
我們在 MTL 模子中碰到的第一個挑釁是為多個義務界說單個喪失函數。固然單個義務有界說明白的喪失函數，但多個義務會帶來多個喪失。
我們最開端測驗考試的做法是直接將一切的喪失相加。不久我們就發明，當一個義務趨同于好的成果時，其他義務看起來相當蹩腳。形成這個景象的緣由很簡略，由於喪失的範圍是這般的分歧，以致裴母聞言，露出一抹異樣的神色，目不轉睛的看著兒子，許久沒有說話。于一個義務主導了全部喪失，而其余的義務沒無機會影響包養價格ptt共享層的進修經過歷程。
一個疾速的處理措施是用一個加權和替換喪失的直接相加和，使一切的喪失對共享層的影響年夜致雷同。但是，這個處理計劃觸及另一個超參數，能夠需求每隔一段時光調劑一次。
榮幸的是，我們發明了一篇很棒的論文，論文提出應用不斷定性來權衡 MTL 中的喪失。詳細方式是進修另一個噪聲參數，該參數集成在每個義務的喪失函數中。這答應 MTL 中有多個義務，并使一切喪失到達雷同的範圍。
經由過程這種方式，不只可以獲得比加權和更好的成果，並且不需求斟酌附加的權重超參數。這篇論文的作者還供給了一個 keras 完成方式。
經歷 2-調劑進修速度
進修速度是調理神經收集最主要的超參數之一，這是一個罕見的紀律。所以我們測驗考試包養違法了調優，發明了對分歧義務來說最優的調試速度。選擇較高的進修率會招致此中一個義務的dying Relu，而應用較低的進修率會招致另一個義務的收斂遲緩。那我們該怎么辦？我們可以讓每個台灣包養網特定于義務的子網調劑為零丁的進修速度，并將共享子網調劑為另一個速度。
固然這聽起來很復雜，但現實上相當簡略。凡是，在 TensorFlo包養違法w 中練習神經收集時，您可以應用如下方式：
optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss)
A
damOptimizer 界說了應當若何利用突變，并最小化盤算并利女大生包養俱樂部用它們。我們可以用本身的完成來取代最小化，該完成將對盤算圖中的每個變量應用恰當的進修速度：
all_variables = shared_vars + a_vars + b_varsall_gradients = tf.gradients(loss, a包養甜心ll_variables台灣包養)
shared_subnet_gradients = all_gradients[:len(shared_vars)]a_gradients = all_gradients[len(shared_vars):len(shared_vars + a_vars)包養網心得]b_gradients = all_gradients[len(shared_vars + a_vars):]
shared_subnet_optimizer = tf.train.AdamOptimizer(shared_l包養違法earning_rate)a_optimizer = tf.train.AdamOptimizer(a_learning_rate)b_optimizer = tf.train.AdamOptimizer(b_learning_rate)
train_shared_op = sha包養一個月價錢red_subnet_optimizer.apply_gradients(zip(shared_subnet_gradients, shared_vars))train_a_op =包養意思 a_optimizer.apply_gradients(zip(a_gradients, a_vars))train_b_op = b_optimizer.apply_gradients(zip(b_gradients, b_vars))
train_op = tf.group(train_shared_op, train_a_op, train_b_op)
別的，這個技能現實上也可以利用于單義務收集。
經歷 3-應用評價作為特征
一旦我們經由過程了創立猜測多個義務的 NN 的第一個階段，我們能夠會將某個義務的評價作為另一個義務的成果。這個估量是張量，所以我們可以像銜接其他層的輸入一樣銜接它。可是在反向傳佈中會產生什么呢？
假定義務 A包養妹 的估量值作為台灣包養一個特徵傳遞給義務 B。我們能夠并不想將梯度從義務 B 傳回義務 A，由於我們曾經給了義務 A 標簽。
別煩惱，TensorFlow 的 API 有tf.stop_gradient，它恰是為清楚決這包養甜心個題目而存在的。當盤算梯度時，它可以讓你傳遞一個張量列表，你想把它看成常數，這恰是我們所需求的。
all_gradients = tf.gradients(loss, all_variables, stop_gradients=sto包養網dcardp_tensors)
異樣地，這在 MTL 收集中很有效，但它不只僅在 MTL 收集中有效。只需您想用 TensorFlow 盤算一個值，并且需求假定該值是一個常量，就可以應用此技巧。例如，當練習天生抗衡收包養妹集（GANs）時，您不盼望在天生抗衡性收集的經過歷程中停止反向傳佈。
原文題目：多義務深度進修的三個經歷經驗
文章出處：【微電子訊號：worldofai，微信大眾號：worldofai】接待添加追蹤關心！文章轉錄發載請注明出處。
神經收集教程（李亞非） 第1章 概述 1.1 人工神經收集研討與成長 1.2 生物神經元 1.3 人工神經收集的組成 第2章人工神經收集基礎模子 2.1 MP模子 2.2 感知器模子 2.3 頒那麼女兒現在所面臨的情況也不能幫助他們如此情緒化，因為一旦他們接受了席家的退休，城里關於女兒的傳聞就不會只是謠發于 03-20 11:32
labview BP神經收集的完成 請問：我在用labview做BP神經收集完成毛病診斷，在NI官網找到了機械進修東西包（MLT），可是里面沒有關于這部門VI的輔助文檔，對于”BP神經收集分類“這個范例有良多不懂的處所，好比 頒發于 02-22 16:08
卷積神經收集若何應用 卷積神經收集(CNN)畢竟是什么，鑒于神經收集在工程上經過的事況了波折的汗青，您為什么還會在意它呢? 對于這些很是中肯的題目，我們似乎可以給出絕對簡明的謎底。 頒發于 07-17 07:21
包養網dcard 【案例分送朋友】ART神經收集與SOM神經收集 明天進修了兩個神經收集，分辨是自順應諧振（ART）神經收集與自組織映射（SOM）神經收集。全體感到不是很難，只不外一些最基本的概念不難懂得不清。起首A包養網站RT神經收集是競爭進修的一個代表， 頒發于 07-21 04:30包養dcard
人工神經收集完成方式有哪些？ 人工神經收集(Artificial Neural Network，ANN)是一品種似生物神經收集的信息處置構造，它的提出是為清楚決一些非線性，非安穩，復雜的現實題目。那有哪些措施能完成人工神經 頒發于 08-01 08:06
若何designBP神經收集圖像緊縮算法？ (Digital Signal Processor)比擬，現場可編程門陣列(Field Programma-ble Gate Array，FPGA)在神經收集的完成上更具上風。DSP處置器在處置時采用指令次序履行 頒發于 08-08 06:11
若何構建神經收集？ 原文鏈接：http://tecdat.cn/?p=5725 神經收集一股憐惜之情在她心中蔓延，她不由的問道：“彩修，你是想贖回自己，恢復自由嗎？”是一種基于現稀有據創立猜測的盤算體系。若何構建神經收集？神經收集包含：輸出層：依據現稀有據獲取輸出的層暗藏層：應用反向傳佈優化輸出變量權重的層，以進步模子的猜測 頒發于 07-12 08:02
matlab完成神經收集 精選材料分送朋友 習神經神經收集，對于神經收集的完成是若何一向沒有詳細完成一下：現看到一個簡略的神經收集模子用于訓 頒發于 08-18 07:25
基于BP神經收集的PID把持 比來在進修電機的智能把持，上周進修了基于單神經元的PID把持，這包養sd周研討基于BP神經收集的PID把持。神經收集具有肆意非線性表達才能，可以經由過程對體系機能的進修來完成具有最佳組合的PID控 頒發于 09-07 07:43
卷積神經收集一維卷積的處置經過歷程 inference在裝備端上做。嵌進式裝備的特色是算力不強、memor包養網推薦y小。可以經由過程對神經收集做量化來降load和省memory，但有時能夠memory還吃緊，就需求對神經收集在memory應用上做進包養網單次一個步驟優化 頒發于 12-23 06:16
神經收集移植到STM32的方式 將神經收集移植到STM32比來在做的一個項目需求用到收集停止擬合，并且將擬合獲得的成果用作把持，就在想能不克不及直接在單片機上做神經收集盤算，如許就可以及時盤算，甜心寶貝包養網不依靠于包養俱樂部上位機。所以要處理 頒發于 01-11 06:20
rnn是遞回神經收集仍是輪迴神經收集 ： 輪迴神經收集的基礎概念 包養網單次輪迴神經收集是一種具有時光序列特徵的神經收集，它可以或許處置序列數據，具有記憶效能。與傳統的前饋神經收集分歧，輪迴神包養合約經收集 頒發于 07-05 09:5sd包養2 •354次瀏覽
發佈留言