城鄉規劃大數據應用基礎知識
近十年來(lái),隨著(zhù)信息技術(shù)的迅速發(fā)展與移動(dòng)互聯(lián)網(wǎng)的廣泛普及,大數據技術(shù)的應用與規劃行業(yè)的結合,為現代城鄉規劃發(fā)展帶來(lái)了前所未有的機遇和挑戰。鑒于新事物的特點(diǎn),規劃編制與管理者在實(shí)際的工作中常常遇到一些新概念、新方法及新應用領(lǐng)域問(wèn)題,本文擬從常用術(shù)語(yǔ)、數據來(lái)源以及數據處理三個(gè)方面進(jìn)行簡(jiǎn)單介紹,希望能對實(shí)際工作者理解大數據在規劃領(lǐng)域的應用有所幫助。
△常用術(shù)語(yǔ)及含義
?。?)POI(PointOfInterest),興趣點(diǎn),是指各類(lèi)地表設施的位置和屬性信息集合而成的地理空間數據,每個(gè)POI一般包括名稱(chēng)、類(lèi)別、業(yè)務(wù)描述、經(jīng)緯度等方面信息,多來(lái)源于百度、高德、新浪等互聯(lián)網(wǎng)公司。
?。?)SoLoMo,Social-Location-Mobile的簡(jiǎn)稱(chēng),即社交本地移動(dòng)。其中Social表示社交網(wǎng)絡(luò ),用于幫助人們建立社交性的互聯(lián)網(wǎng)應用服務(wù),比如微博、微信、Facebook等。Location表示基于位置的服務(wù),獲取個(gè)體的空間位置和行為,實(shí)現各類(lèi)與位置相關(guān)的業(yè)務(wù),比如微博、微信中的實(shí)時(shí)位置。Mobile,表示以平板電腦和智能手機等為代表的移動(dòng)互聯(lián)網(wǎng)應用,是實(shí)時(shí)、動(dòng)態(tài)跟蹤用戶(hù)行為的基礎。
?。?)API(ApplicationProgrammingInterface),應用程序編程接口,開(kāi)放的API使開(kāi)發(fā)人員不用訪(fǎng)問(wèn)源代碼或者理解內部工作機制的細節,就可以高效地調用該程序的相應功能。
?。?)OSM(OpenStreetMap),開(kāi)源街道地圖,是一個(gè)內容自由且所有人可編輯的地圖。OSM數據開(kāi)源,可自由下載使用,拓展了規劃師的矢量空間數據來(lái)源,如城市道路網(wǎng)等。
?。?)手機數據,包括信令數據和話(huà)單數據,基本原理是手機信號需要定時(shí)和最近的通信基站發(fā)生聯(lián)系,且通信基站是空間固定的且具有經(jīng)緯度坐標。信令數據,依托運營(yíng)商建立的信令監測平臺,記錄手機匿名ID、事件類(lèi)別、時(shí)間、基站編號等信息;話(huà)單數據,依托運營(yíng)商建立的計費系統,記錄手機匿名ID、計費有關(guān)的通話(huà)、短信事件信息、發(fā)生時(shí)間、基站編號等信息。
?。?)數據庫,當數據量過(guò)大,為了準確、快捷、人性化的管理所有數據,就需要用到數據庫,可分為關(guān)系型數據庫和非關(guān)系型數據庫。關(guān)系型數據是指把所有數據通過(guò)二維表格的形式表示出來(lái),比如Oracle、MicrosoftSQLServer和MySQL等數據庫軟件;非關(guān)系型數據庫(NoSQL=NotOnlySQL),意即“不僅僅是SQL”,用于超大規模文檔等數據的存儲,NoSQL數據庫軟件有MongoDB、CouchDB等,谷歌和Facebook每天萬(wàn)億比特[1]的用戶(hù)數據即是采用NoSQL數據庫存儲的。
?。?)云計算(CloudComputing),把分散在世界各地的高性能計算機連接起來(lái)構成具有強大計算處理能力的資源池,用戶(hù)可按需付費、按需使用,是處理大數據的未來(lái)發(fā)展趨勢。Hadoop作為當前常用的基礎云計算平臺,是一個(gè)開(kāi)源的分布式系統基礎框架,適合大數據集的高速運算與存儲,目前已廣泛應用于包括Facebook、Twitter和Yahoo!等公司。
△城鄉規劃中大數據來(lái)源主要包括互聯(lián)網(wǎng)和智慧設施數據
?。?)互聯(lián)網(wǎng)數據,包括導航地圖類(lèi)POI(百度地圖、高德地圖等)、大眾點(diǎn)評類(lèi)POI、微博數據(新浪微博POI、簽到數據)、游記文本數據(攜程網(wǎng)、螞蜂窩、去哪兒網(wǎng)、同程網(wǎng)和藝龍網(wǎng)等旅游網(wǎng)站)、人口熱圖數據(百度熱力圖、騰訊熱力圖等)、房?jì)r(jià)數據(鏈家、搜房網(wǎng)、安居客等)和企業(yè)基礎數據(龍信企業(yè)數據)等。
?。?)智慧設施數據,包括公交刷卡、出租車(chē)GPS、智能水電氣表、手機數據(含手機信令、手機話(huà)單、手機上網(wǎng))等。
△城鄉規劃中大數據常用技術(shù)處理方法主要包括數據獲取和數據分析兩個(gè)方面
?。?)數據獲取方法:一是對于大眾點(diǎn)評類(lèi)POI數據、游記文本數據、人口熱圖數據和房?jì)r(jià)數據等,可以通過(guò)網(wǎng)絡(luò )爬蟲(chóng)的方式獲取。網(wǎng)絡(luò )爬蟲(chóng),又稱(chēng)網(wǎng)頁(yè)蜘蛛,指的是程序員基于python、Java等計算機語(yǔ)言編寫(xiě)程序或腳本,能夠自動(dòng)地訪(fǎng)問(wèn)互聯(lián)網(wǎng)并將網(wǎng)站內容下載下來(lái)。另外,有些網(wǎng)站數據由于規律性較強,也可通過(guò)成熟的爬取軟件(如火車(chē)頭、八爪魚(yú))獲取。二是對于導航類(lèi)地圖POI數據(百度地圖POI、高德地圖POI等)和微博數據(新浪微博POI和簽到數據)等,必須通過(guò)編程調用官方開(kāi)放的API接口獲取。三是智慧設施數據通過(guò)相關(guān)部門(mén)或官方開(kāi)放網(wǎng)站獲取。
?。?)數據分析方法:一是數據預處理,比如數據清洗、數據變換等。其中,數據清洗是按照一定的規則把“臟數據”“洗掉”,發(fā)現并糾正數據文件中可識別的錯誤;數據變換即把原始數據轉換成適合數據分析的形式,比如多種坐標系的統一,通常獲取的數據為火星坐標系(GCJ-02)、百度坐標系(BD-09)、地球坐標系(WGS84)等,在具體的數據分析過(guò)程中,需要進(jìn)行坐標轉換統一至相同的空間平臺。二是數據挖掘,將數據提煉為信息和價(jià)值的提升過(guò)程,主要包括統計分析、模式識別、機器學(xué)習和深度學(xué)習等處理方法,通過(guò)研究算法、確定模型、編寫(xiě)程序等方式,從大量數據中探索隱藏其中的信息、規律、分布特征等。
編輯:lianqi
相關(guān)閱讀
蘭州理工大學(xué)建筑與城鄉規劃專(zhuān)業(yè)展開(kāi)幕
5月26日上午,蘭州理工大學(xué)【詳細】
鄉村規劃師的人才困局:有情懷缺歸屬感
原本城市才有的規劃工作,8年前就走進(jìn)了成都的鄉村。今年4月,成都第八批鄉村規劃師開(kāi)始招募了。【詳細】
素描在設計表現中的應用
不管是紀實(shí)性的攝影還是創(chuàng )作性的攝影,攝影師都要學(xué)會(huì )組織畫(huà)面。新聞攝影的選材在于角度和距離,而策劃性的攝影在于組織人物和道具。速寫(xiě)也是這樣的。畫(huà)家的眼睛不是照相機的鏡頭而是像一個(gè)調度員,選取合適的、對應【詳細】
摩拜大數據:開(kāi)啟城市規劃新想象
為城市統籌規劃提供依據【詳細】