中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

時間序列預(yù)測一直是常見但最具挑戰(zhàn)性的任務(wù)之一。幾十年來，它在統(tǒng)計，機器學習，數(shù)據(jù)挖掘，計量經(jīng)濟學，運籌學等許多領(lǐng)域都發(fā)揮了重要作用。例如，預(yù)測產(chǎn)品的供需可用于優(yōu)化庫存管理，排產(chǎn)規(guī)劃和車輛調(diào)度等，這對于供應(yīng)鏈優(yōu)化的大多數(shù)方面都至關(guān)重要。在華為供應(yīng)鏈場景中，因產(chǎn)品的特性——比如電子產(chǎn)品（手機或筆記本電腦）的銷售周期很短（一般為1年），導致其原材料供應(yīng)周期也很短。這樣的情況下，其原料需求預(yù)測和產(chǎn)品銷售預(yù)測都是基于非常短小的歷史數(shù)據(jù)。

1.1 研究的問題

針對類似的場景，我們面臨的問題：

a. 需要同時預(yù)測多條時間序列時考慮到序列（產(chǎn)品）之間的內(nèi)在相互關(guān)系（如下圖）

b. 時間序列大多是小樣本（時間長度短，序列數(shù)量?。?，難以訓練模型

c. 實際生產(chǎn)中的時間序列都是非平穩(wěn)、復(fù)雜波動變化大的 （如下圖）

圖2： 實際生產(chǎn)中某一item的月維度的需求量變化

1.2 針對以上問題，現(xiàn)有技術(shù)不能解決？

• 時間序列算法不適用于捕捉非線性高維特征，且預(yù)測多條序列效果差、耗時大

• 機器學習算法對特征的構(gòu)造要求高無法有效捕捉序列之間的內(nèi)在聯(lián)系

• 深度學習算法模型需求大量數(shù)據(jù)訓練且訓練時間長，而時間序列具有小樣本特性

• 張量分解算法雖然可以考慮到挖掘多條時間序列之間的關(guān)系，但主要適用于高階時間序列，而短小時序數(shù)據(jù)通常為低階張量

1.3 技術(shù)背景-張量分解

張量是多維數(shù)據(jù)的專有名詞。向量和矩陣可分別被認為是一階和二階張量。在現(xiàn)實世界中，很多數(shù)據(jù)比如視頻等都是以張量形式存在。張量分解是一種強大的計算技術(shù)，通過將原數(shù)據(jù)分解從中提取有價值的特征。Tucker 分解是其中一種非常常用的張量分解模型。 對于一個三階張量, 由Tucker分解可以得到三個二階的因子矩陣（factor matrix）和一個三階的核張量（core tenor）。 換句話說：Tucker 分解通過因子矩陣（也稱作映射矩陣）將原張量映射到一個具有良好特性(比如low-rank)的核張量。核張量可以進一步被應(yīng)用于分類、聚類、回歸等任務(wù)中。如圖所示：

圖3：一個大小為

2.1 解決方案的創(chuàng)新點概述

針對預(yù)測多條小樣本時間序列的問題，我們提出的解決方案主要有以下三個創(chuàng)新點是：

【數(shù)據(jù)增廣（特征空間重構(gòu)）】將小樣本數(shù)據(jù)轉(zhuǎn)換到高階張量數(shù)據(jù)，得到數(shù)據(jù)量更大且特性更好（比如低秩等結(jié)構(gòu)化特性）的多維數(shù)據(jù)（且不損失原始數(shù)據(jù)信息）。

【有約束的低秩張量分解】使用正交約束下的Tucker張量分解技術(shù)將增廣后數(shù)據(jù)提取得到更小尺寸但質(zhì)量更好的新特征（核心張量）。

【張量化ARIMA實現(xiàn)預(yù)測】將現(xiàn)有經(jīng)典預(yù)測模型ARIMA模型張量化，然后直接使用分解得到的多維核心特征訓練張量ARIMA進行預(yù)測。

2.2 實現(xiàn)步驟

具體來說，主要包括以下三個步驟：

步驟 1：使用多路延遲嵌入變換技術(shù)（MDT）將多條短小的時間序列沿著時間維度轉(zhuǎn)換為高階多維數(shù)據(jù)。所得的高階多維張量稱之為“塊漢克爾張量（Block Hankel Tensor, BHT）”。BHT具有低秩或平滑等良好特性，這比原始數(shù)據(jù)更容易學習和訓練。實現(xiàn)過程如圖4所示。舉例，假設(shè)有1000條時間序列，每條序列的長度為40，即 I = 1000，T=40，設(shè)置參數(shù)t = 5，經(jīng)MDT沿著時間維度變換后，得到一個1000*5*（40-5+1）=1000*5*36的三維張量。換句話說就是每條大小為1000*1

圖4：圖（a）展示的是MDT技術(shù)里的映射矩陣S(在MDT里稱之為重復(fù)矩陣) ；（b）展示一個尺寸為I *T的 矩陣通過映射矩陣S 沿著時間維度T方向做變換，得到一個三維張量數(shù)據(jù)；（c）進一步展示圖（b）的案例：

在此，我們將數(shù)據(jù)只沿著時間維度上做變換，是因為其他非時間維度上的相鄰關(guān)系并不很強相關(guān)（換句話說，可以任意置換不同時間序列之間的排序）。因此在所有數(shù)據(jù)方向?qū)嵤㎝DT是沒有更多意義的，反而增加計算量（BHT階數(shù)變高維度變大）。不管怎么樣，我們的算法是可以支持多方向同時做MDT得到更高階（更多維數(shù)）的數(shù)據(jù)。

步驟 2：步驟1得到BHT后，使用Tucker張量分解技術(shù)將其分解得到新的特征，稱之為核心張量（core tensors）。這個分解過程需要一組共用的映射矩陣。現(xiàn)有的張量模型都會對每個數(shù)據(jù)維度方向上的映射矩陣加以約束，而我們只松弛時間維度上約束，即是只不在時間維度上加正交約束，而其他維度的正交約束不變，以更好地捕捉序列之間內(nèi)在的相關(guān)性。與此同時，本研究將現(xiàn)有的經(jīng)典預(yù)測算法（ARIMA）張量化使之可以直接處理多維數(shù)據(jù)。

步驟 3：預(yù)測。我們直接使用核心張量訓練張量ARIMA模型以預(yù)測得到新的核心張量，然后通過Tucker 逆變換

綜上，我們得到新的預(yù)測算法，命名為BHT-ARIMA，其工作流程示意圖如下：

(a) BHT-ARIMA應(yīng)用在二階時間序列數(shù)據(jù)（矩陣）

（b）BHT-ARIMA 應(yīng)用在三階張量時間序列數(shù)據(jù)

圖5：算法BHT-ARIMA的工作流程圖。通過MDT技術(shù)將源數(shù)據(jù)（多條時間序列）變換到高階張量時間序列BHT。再進一步利用張量分解技術(shù)(Tucker 分解) 從BHT提取新特征（核心張量G）。與此同時，直接將這些核心張量訓練張量ARIMA模型得到新的核心張量。新的核心張量通過逆張量分解和逆MDT變換后得到源序列的預(yù)測值

本研究將數(shù)據(jù)增廣變換技術(shù)、低秩張量分解技術(shù)、張量預(yù)測模型三者各自的優(yōu)勢融入到一個統(tǒng)一框架中，不僅速度更快，更可捕捉到多條時序之間內(nèi)在關(guān)系，從而可以改善預(yù)測結(jié)果，特別是對于短小的數(shù)據(jù)。接下來，我們通過大量實驗驗證BHT-ARIMA的實際效果。

我們將BHT-ARIMA應(yīng)用在3個公開時間序列數(shù)據(jù)集：Electricity, Traffic, Smoke video 和2個華為供應(yīng)鏈數(shù)據(jù)集：PC sales 和Raw Materials， 對比了九種常用或最新的算法：

• 經(jīng)典的ARIMA，VAR和XGBoost

• 兩種流行的工業(yè)界預(yù)測方法：Facebook-Prophet 和Amazon-DeepAR

• 兩種基于神經(jīng)網(wǎng)絡(luò)的方法：TTRNN和GRU

• 兩種基于矩陣/張量的方法：TRMF和MOAR

此外，我們將塊漢克爾張量BHT作為MOAR的輸入，得到新的算法“BHT + MOAR”以評估MDT結(jié)合張量分解的有效性。

我們通過對比不同長度和樣本數(shù)目的時間序列，結(jié)果以誤差NRMSE衡量預(yù)測準確率。結(jié)果如Table 1 和 2 所示：BHT-ARIMA 在四個數(shù)據(jù)集上超越所有對比的方法，且在較短/較小的時間序列上具有更多優(yōu)勢。整體來說， BHT-ARIMA比其他算法降低預(yù)測誤差平均10％以上。

圖6：在視頻Smoke Video不同比例訓練樣本下的預(yù)測結(jié)果

我們進一步在更高階的視頻數(shù)據(jù)上測試。如圖6所示，BHT-ARIMA在不同的訓練集（甚至只有10%的訓練樣本）上持續(xù)保持其優(yōu)勢。盡管ARIMA可以使用超過50％的訓練數(shù)據(jù)來獲得比BHT-ARIMA稍好的預(yù)測結(jié)果，但它的計算成本和存儲要求卻非常高——因為像其他線性模型一樣，它們無法直接處理張量數(shù)據(jù)只能將其變形為高維向量。

圖7：在Traffic 和Raw material 數(shù)據(jù)集上的長期（多步）預(yù)測結(jié)果

圖7展示了長期預(yù)測結(jié)果的比較，進一步證實了BHT-ARIMA的良好性能。預(yù)測更多的步驟，所有方法的誤差通常都會增加，而BHT-ARIMA始終在整體上保持其最佳性能，尤其是在較短的Raw materials 數(shù)據(jù)集上。雖然在Traffic80數(shù)據(jù)集上進行15步預(yù)測后，GRU的性能略勝于我們的方法，但它的計算時間是BHT-ARIMA的近900倍。

最后，我們對比所有方法的訓練時間，如Table 3 所示。整體來說，BHT-ARIMA是運行第二快的算法——我們主要關(guān)注準確性因而暫未針對效率優(yōu)化代碼。盡管TRMF在某些情況下比VAR慢一些，但由于其核心部分是由C語言編程實現(xiàn)的，因此它總體上是最快的。雖然在一些測試中GRU和ARIMA的預(yù)測結(jié)果排列第二甚至超BHT-ARIMA，但它們是最慢的方法（平均比我們的算法慢500倍以上）。

本研究首次將MDT變換技術(shù)與Tucker分解結(jié)合并引入時間序列預(yù)測領(lǐng)域。通過MDT得到的高階張量BHT不僅增廣了數(shù)據(jù)且具有低秩等良好的結(jié)構(gòu)，從而改善了模型輸入——尤其是對于短小樣本數(shù)據(jù)。然后進一步使用Tucker分解得到尺寸更小但特性更好的核心張量，再結(jié)合張量ARIMA快速訓練得到預(yù)測結(jié)果。這樣，所提出的算法BHT-ARIMA巧妙地將MDT增廣數(shù)據(jù)、張量分解、ARIMA這三個技術(shù)的獨特優(yōu)勢結(jié)合在一個統(tǒng)一的模型中。通過測試公開數(shù)據(jù)集和華為的供應(yīng)鏈數(shù)據(jù)，驗證BHT-ARIMA持續(xù)地比現(xiàn)有預(yù)測算法更快更好（平均提升100+倍速度和10%+的預(yù)測精度），有效解決多條（短?。r間序列同時預(yù)測的問題。目前我們團隊正在將此技術(shù)落地在實際項目中。如果您對我們的研究感興趣，歡迎來信 shi.qiquan@huawei.com 索取原文/代碼及進一步討論與合作。

[1] Qiquan Shi, Jiaming Yin, Jiajun Cai, Andrzej Cichocki, Tatsuya Yokota, Lei Chen, Mingxuan Yuan, Jia Zeng, “Block Hankel Tensor ARIMA for Multiple Short Time Series Forecasting”.AAAI, 2020.