中文字幕理论片,69视频免费在线观看,亚洲成人app,国产1级毛片,刘涛最大尺度戏视频,欧美亚洲美女视频,2021韩国美女仙女屋vip视频

打開APP
userphoto
未登錄

開通VIP,暢享免費電子書等14項超值服

開通VIP
高德交通大數(shù)據(jù)在城市交通分析方面的應(yīng)用

點擊上方“藍(lán)色字體”可快捷關(guān)注。

講座選自高德地圖陳水平數(shù)據(jù)分析師于2015年4月16日在 RONG 系列論壇之三——大數(shù)據(jù)與未來人居研討會上所做的題為《高德交通大數(shù)據(jù)在城市交通分析方面的應(yīng)用》的演講。


主講人:

清華大學(xué)管理科學(xué)與工程碩士,德國亞琛工業(yè)大學(xué)生產(chǎn)系統(tǒng)工程碩士,清華大學(xué)工業(yè)工程學(xué)士?,F(xiàn)任高德地圖交通信息事業(yè)部數(shù)據(jù)分析師,參與構(gòu)建了高德交通信息的數(shù)據(jù)倉庫和數(shù)據(jù)開發(fā)平臺,是高德交通報告項目的核心研發(fā)工程師。


演講全文:

陳水平:大家好,很高興今天有機(jī)會跟大家交流一下高德在應(yīng)用大數(shù)據(jù)研究方面的收獲。我叫陳水平,也叫追兵,每一個阿里員工在進(jìn)入公司的時候都要自己給自己起一個名字,我給自己起這個名字,希望自己向遇到的每一位大師學(xué)習(xí),奮起直追。


我在高德地圖交通信息事業(yè)部,核心產(chǎn)品是路況信息的實時發(fā)布。GPS點有三個字段組成:時間、經(jīng)度、緯度。我們數(shù)據(jù)的組成分為兩個大類:第一,公眾數(shù)據(jù),也就是我們從用戶身上拿到的數(shù)據(jù),這里面分為兩個來源:第一,手機(jī)地圖APP的導(dǎo)航回傳;第二,車載導(dǎo)航設(shè)備給我們傳回的GPS點,目前這兩類占到54%。第二,行業(yè)數(shù)據(jù),行業(yè)數(shù)據(jù)通過置換和購買的方式主要是出租車數(shù)據(jù),我們大概有全國80%以上的出租車的數(shù)據(jù),還有一部分是物流車和長途客車。90%以上的車輛都會實時向我們回傳他們的GPS信息,每月有100億公里駕駛歷程覆蓋,70多萬件交通事件向我們上報。我們對全國的高速路網(wǎng)進(jìn)行交通信息的發(fā)布,高速路我們可以發(fā)布90%,主干路可以發(fā)布50%以上。


拿到這些數(shù)據(jù)以后我們處理的流程遵循這樣一個邏輯:最基礎(chǔ)的格式是GPS點,這個點跟普通的定位點不一樣,一般每隔幾秒鐘、一分鐘,它是連續(xù)的點的序列的信息,能夠完整的復(fù)現(xiàn)一個用戶出行的軌跡。我們從這些點中做一些切分,得到具有明確的出發(fā)地和目的地的軌跡,基于此,我們根據(jù)擁有的地圖數(shù)據(jù)把他匹配到地圖上,再做一些數(shù)據(jù)挖掘方面的研究。

對于我們一個依賴于交通大數(shù)據(jù)運營的企業(yè),做到這些是不夠的。前面有很多朋友抱怨獲得數(shù)據(jù)是非常困難的事情,這件事情在我們這邊并不困難,我們困難的是怎么樣管理數(shù)據(jù)。管理數(shù)據(jù)在我看來可以分為四個部分:存儲、運營、挖掘、應(yīng)用。如果用武功來比的話,挖掘和應(yīng)用是一個招式。更重要的是存儲和運營,這是內(nèi)功方面的修為。


GPS回傳數(shù)據(jù)是我們最重要的數(shù)據(jù),我們內(nèi)部搭建一個實時處理的系統(tǒng),把這些分布式消息列隊,我們會把這些數(shù)據(jù)拿到做實時的處理,計算每條道路當(dāng)前速度信息,結(jié)合道路等級發(fā)布他的擁堵狀態(tài),這是我們核心產(chǎn)品。

我們還會把離線的數(shù)據(jù)導(dǎo)入到我們的平臺。我們現(xiàn)在也會把數(shù)據(jù)傳到阿里云

的平臺上,包括ODPS和其他的數(shù)據(jù)處理系統(tǒng)。我們還會對這些東西做一個實時的評測和監(jiān)控,這對于我們保證數(shù)據(jù)的管理和質(zhì)量是非常重要的。

下面講一下存儲和運營。最主要對實時數(shù)據(jù)的管理和監(jiān)控,首先你要監(jiān)控你的數(shù)據(jù)的量是不是發(fā)生最大的變化,一旦有異常就報警。你要保證你核心產(chǎn)品發(fā)布的路況信息的準(zhǔn)確性,如果用傳統(tǒng)方式來看,你只能開一輛車到路上,看是不是堵,跟我們發(fā)布的信息比較,這種方式成本非常高。我們內(nèi)部開發(fā)了一個自己的自動化評測的系統(tǒng),它通過挑選一些非??尚诺腉PS回傳的終端樣本,通過經(jīng)過道路的狀態(tài)和我們發(fā)布的狀態(tài)做一個比較和自我校驗,如果不一樣的話,我們會自動的報警。


你怎么樣能夠快速的響應(yīng)用戶的抱怨,迅速的定位問題,并修復(fù)問題,這是一個非常大的考驗。因為我們每兩分鐘就會發(fā)布一個全國路網(wǎng)交通信息情況,兩分鐘大概會有六七十萬條的記錄,你要達(dá)到實時的檢索是很困難的事情。通過設(shè)計出一套非常復(fù)雜的索引技術(shù),基于HBase搭建一個系統(tǒng),比如說某個客戶說我們哪條路報的不對。我們選中這條路,綠色的格子標(biāo)注的是他的速度,紅色的是狀態(tài)。右側(cè)就會復(fù)現(xiàn)所有經(jīng)過這個道路原始數(shù)據(jù)的情況,從這個地方來看,是我們的算法有問題,還是我們在去噪的過程中有不好的噪點沒有去掉,導(dǎo)致我們交通信息發(fā)布的錯誤。因為這個數(shù)據(jù)部門運營的人數(shù)就和我們研發(fā)部門的人數(shù)是一樣的,說明了我們公司對這個問題的重視程度。


下面講一下我們基于這些數(shù)據(jù)掌握的應(yīng)用。第一,交通報告,針對全國40多個城市做交通的數(shù)據(jù)挖掘,它的道路擁堵情況,道路擁堵的成因。北京2014年Q3季度每日擁堵的曲線圖,橫軸是日期,縱軸是擁堵指標(biāo)。如果指數(shù)是2,你在高峰期出行,你所花費的時間是在你暢通時間的兩倍。紅色點表示周一,藍(lán)色點表示周五。周五是最堵的,經(jīng)過這條綠線,轉(zhuǎn)化成了最堵的是周一,周一就變成了一周里面最擁堵的一天??紤]到中國尾號為4的車輛比較少,所以限號4的車比較少,出現(xiàn)在路上的車就多了。


對比北京不同特征日出行的模式,灰色的是正常工作日的情況,早晚都要堵兩個小時左右;黃色的是周末線,早高峰會推一些,晚高峰還是比較高的。十一大家都出去玩,所以北京的暢通是比較好的。APEC還是比較暢通的,但是它還是有比較明顯的上下班的高峰。


這是我們實時查詢一個城市最堵的道路,同時也可以查到昨天最堵和今天最堵的道路。這是我們和清華大學(xué)和戴姆勒公司研究出來的一個模型,這是北京二三四五環(huán),縱軸是時間,西二環(huán)和東二環(huán)、東三環(huán)這幾個地區(qū)是北京快速路上最堵的幾個區(qū)域,北邊道路擁堵情況肯定比南邊要劇烈很多。北四環(huán)中路,紅色的地方擁堵的概率是非常大的,工作日早晚高峰的時候,主要堵點位于保福寺的出口,擁堵概率90%。擁堵最先開始是出現(xiàn)在一個什么樣的地方,我們?nèi)タ礄M軸,7:30到8:00之間,第一個紅色的點發(fā)生在學(xué)院橋的東入口,這條道路上擁堵最先發(fā)生的地點就在這個地方,如果你想治理擁堵,你要到這個地方實地考察一下,并進(jìn)行相應(yīng)措施的改進(jìn)。


我們還有一個很重要的功能,把我們的交通信息,路況信息和導(dǎo)航合在一起。躲避擁堵,我們可以發(fā)現(xiàn)三環(huán)上整體的擁堵情況是比較明顯的,如果使用了躲避擁堵功能,我們自動會為你推薦走四環(huán)的路。因為你從一個起點到終點,有很多不同方案,如果你只憑經(jīng)驗去走,不如用信息的手段得到最優(yōu)的方案。今天我來如果沒有用躲避擁堵這個功能的話,我可能就會遲到了。


規(guī)避事故也是一樣,如果前方發(fā)生了一個事故,用戶上報并通過我們的系統(tǒng)檢測這是一個很可信的事件,我們也會改變我們的導(dǎo)航路線。我們根據(jù)你使用高德地圖的情況挖掘你的家和工作地,這并不是我們最完美的一個案例,并不是很準(zhǔn),這兩個點離工作地和家比較近,如果精確不到小區(qū),可以精確到交通規(guī)劃概念上的小區(qū)。我們可以獲得比較好的指數(shù)信息,基于這些做城市規(guī)劃,相信對指數(shù)平衡方面也是有一些幫助。

我們利用大數(shù)據(jù)反哺我們自己產(chǎn)品的功能,左邊的有些點不在路網(wǎng)功能之上,一個是噪點,一個是新的路。我們跟清華大學(xué)另外一位教授合作,得到了這樣一個結(jié)果:通過一些特征的抽取,把可能是新路的東西由點連成線,提供給地

圖的更新部門,提高線路更新的頻率。

右邊是通車量的信息,對于通車量比較少的路,我們有理由認(rèn)為這條路不太好走,我們會降低它在路線規(guī)劃中的權(quán)重,保證我們提供路線規(guī)劃的質(zhì)量會得到提升。我們發(fā)現(xiàn)有一條路通車量非常少,你用街景一看,可以看到是這樣的路。我們避免在導(dǎo)航規(guī)劃的時候給你規(guī)劃處這樣的路線,因為用戶也不太相信這樣的路線。


簡單總結(jié)一下。

第一,大數(shù)據(jù)。數(shù)據(jù)來源手機(jī)、汽車、物流車、出租車。

第二,交通大數(shù)據(jù)的處理。道路和數(shù)據(jù)結(jié)合在一起,進(jìn)行了大數(shù)據(jù)的挖掘,我們提供一種響應(yīng)度非常高的數(shù)據(jù)質(zhì)量運營的產(chǎn)品。


介紹我們幾個應(yīng)用,交通報告主要是用于對這個城市的交通情況做定量的分析,分析出一些道路擁堵的原因,也可以對限號和天氣影響做分析。動態(tài)導(dǎo)航,幫助大家找到觸達(dá)目的地,對于不是特別堵的路線,加大目的地的功能,我們主要是想對個性化路線信息的推薦做一些幫助,反哺高德產(chǎn)品。新路識別和小路識別。

地圖數(shù)據(jù)和業(yè)務(wù)反饋的日志的數(shù)據(jù)都沒有包括在我這個演講當(dāng)中,因為很多專家朋友抱怨獲得數(shù)據(jù)很難,我們今年部門一個重大的項目是要做一個數(shù)據(jù)開放平臺,希望明年的時候能夠向公眾開放可以免費獲得大數(shù)據(jù)。只要你可以拿出讓我們眼前一亮的方案,我們可以簽訂協(xié)議,提供一次性大數(shù)據(jù)給大家,如果您無法處理一次大數(shù)據(jù),我們能夠分配我們的工程師幫助您處理成您所需要的格式,所以一次大數(shù)據(jù)、二次大數(shù)據(jù)都沒有問題;而且我們還可以提供必要的項目經(jīng)費支持。

整理:祁德力

校對:祁德力


轉(zhuǎn)載自:軟件定義世界


掃描下方“二維碼”歡迎關(guān)注。

 


本站僅提供存儲服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊舉報
打開APP,閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
如何保證汽車在行駛中導(dǎo)航的準(zhǔn)確性?
為什么高德、百度一類的地圖軟件可以最快地知道各地道路的路況,有人給科普下嗎?
為什么導(dǎo)航軟件能知道路上堵車?原來這就是科技的力量
高德地圖VS百度地圖,誰更準(zhǔn)確?誰更專業(yè)?看了這幾點就知道了
導(dǎo)航軟件是如何判斷是否堵車的?
oppo手機(jī)“高德導(dǎo)航幫助說明
更多類似文章 >>
生活服務(wù)
熱點新聞
分享 收藏 導(dǎo)長圖 關(guān)注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權(quán)!
如果VIP功能使用有故障,
可點擊這里聯(lián)系客服!

聯(lián)系客服