大数据时代的岩土工程监测——转折与机遇

发布时间：2022-04-20

　　摘 要：随着电子信息技术、科学研究与工程实践的快速发展，不断产生种类繁多、数量巨大的数据，大数据现象已经出现，在科学数据分析、电子商务和银行业等领域得到了越来越多的重视和应用，大数据即将深刻地影响着人类的生活、工作及思维。传统的数据存储方法、关系数据库、数据处理和数据分析方法逐渐不能满足大数据业务的需要。简要介绍了大数据的定义、特征、所涉及的方法和技术、带来的变革及简单的应用实例，回顾了岩土工程监测学科的历史、现状及面临的问题，指出大数据的概念与岩土工程监测具有天然的契合性，今后大规模、全方位、多维度及多场的岩土工程监测将得以实现。在大数据时代，以关联分析、成因分析及决策支持为核心的深入分析能力将成为监测工作的核心，现场监测将被提升到与试验、理论与数值模拟相同甚至是更为重要的地位。因此，岩土工程监测工作者应该重视大数据的研究，加强应用其他行业的大数据研究成果，抓住大数据对岩土工程监测带来的机遇，为未来岩土工程监测的跨越式发展奠定基础。

　　关 键 词：大数据;岩土工程;监测;数据分析;传感器

　　1 引 言

　　这是一个信息大爆炸的时代。随着电子、信息技术的不断发展，互联网、移动互联网、电子商务与物联网等应用日渐普及，加上科学研究与工程实践活动，不断产生种类繁多、数量巨大的数据。来自互联网上的数据显示：截止到 2012 年底，Twitter 用户每天上传的信息量超过 4 亿条[1];新浪微博发布峰值为 32 312 条/ s(2012 年 1 月 30 日中国龙年春节)，超过 Twitter 此前创下的 25 088 条/ s 的最高纪录[2];淘宝网目前共有超过 4 亿条产品信息和 2 亿多名注册用户，每天有超过 4 000 万人次访问量，每天活跃数据量超过 50 TB(1 TB = 1 000 GB)[3]。而且，这些信息量正在以极快的速度增长，正如 1998 年图灵奖获得者 Jim Gray 提出著名的“新摩尔定律”所述：“每 18 个月全球新增信息量是计算机有史以来全部信息量的总和”。因此，大数据现象已经出现，传统的数据存储方法、关系数据库、数据处理和数据分析方法不能满足当前的需要，大数据即将深刻地影响人类的生活、工作及思维。

　　最近几年，大数据研究热潮方兴未艾。2008 年 9 月 Nature 出版了“Big Data”专辑[4]介绍了大数据。 2009 年 5 月，联合国“Global Pulse”项目发布《大数据促发展: 挑战与机遇》报告[5]，旨在推动数据收集和分析方式的创新。2011 年 2 月，Science 刊登了“数据处理”专辑[6]，讨论了数据对科学研究的重要性。5 月，McKinsey 发布了研究报告《大数据：下一个创新、竞争和生产力的前沿》[7]，分析了大数据在不同行业的应用潜力，并给出应对大数据发展的策略。2012 年 1 月，在瑞士达沃斯举行的世界经济论坛上，《大数据，大影响》[8]报告指出了大数据已成为一种新型的像黄金和外汇一样的经济资产。2012 年 3 月，美国奥巴马政府推出“大数据研究与开发创新”计划[9-10]，宣布投入 2 亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，提高从庞大而复杂的数据中获取知识和思想的能力，加快科学、工程领域的创新步伐。在我国，2012 年 3 月科技部发布的“十二五国家科技计划信息技术领域 2013 年度备选项目征集指南” 中，把大数据研究列在了首位;2012 年 5 月召开的第 424 次香山科学会议，是国内第 1 个以大数据为主题的重大科学工作会议，随后中国计算机学会、通信学会分别成立了大数据专业委员会。

　　面对大数据发展的浪潮，岩土工程监测工作者应该有何作为?本文首先简要介绍了大数据的定义、特征、所涉及到的方法与技术、带来的变革及简单的应用实例，然后回顾了岩土工程监测学科的历史、现状及面临的主要问题，指出大数据的概念和岩土工程监测具有天然的契合性;大数据技术的发展将使尚不可能从理论上准确计算和预测的岩土工程学科转变为可以“摸着石头过河”的实证科学。因此，岩土工程监测学科必须加强大数据的研究，特别应重视应用其他领域中的大数据研究成果，为未来岩土工程监测的跨越式发展奠定基础。

　　2 大数据技术概述

　　2.1 大数据的定义与特征

　　目前，对于大数据还没有形成统一的定义，本文采用维基百科中的定义[11]：“大数据指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为更能积极帮助企业经营决策的信息”。

　　对于大数据的特征，目前 IT 界用 Volume、 Variety、Velocity、Value 这 4 个“V”来概括[11-14]。

　　(1)数据量巨大(Volume)

　　目前，人们与数据的交互比起以往任何时候都要密切。现实世界中，各种各样、难以计数的传感器被安装到各种设备中(比如卫星、汽车和城市摄像头)，每时每刻都在不断采集着不同格式的数据。在数字世界中，用户每天的通信、上网、购物、搜索、社交娱乐等网上活动都在产生着数量庞大的数据。有数据显示，当前全球每天有 20 亿人访问互联网，到 2013 年每年在互联网上产生的信息量将达到 667 EB(1 EB = 106 TB)[14]。

　　(2)数据类型多且十分复杂(Variety)

　　数据的来源及格式复杂多样，除了传统的结构化数据外，还包括半结构化和非结构化数据。据报道，在互联网上图像、音频、视频、地理位置信息等非结构化数据达到 80%以上，其比例还在迅速增加。另外，随着科学和技术的发展，数据的来源会更加多样。

　　(3)处理速度快(Velocity)

　　数据增长速度快，同时要求在极短的时间内完成数据的处理分析，甚至实时完成，以便能够从数据中及时提取知识、发现价值，迅速发挥数据的效能。显然，数据处理的速度越快、越及时，数据的价值及其发挥的效能就越大。

　　(4)价值密度低(Value)

　　虽然数据采集量很大，但往往有用的数据少。以视频为例，正常情况下 1 h 的视频，在连续不间断的监控过程中，可能有用的数据仅仅只有 1～2 s。价值密度的高低与数据总量的大小成反比正是大数据的又一个特征。

　　在以上 4 个特征中，第 1 个和第 2 个是关键，另外，数据量大小是相对而言的，各个行业之间的差别很大。

　　2.2 大数据技术简介

　　按照前述定义，大数据技术的关键在于设计一种成本可接受的，通过快速采集、发现、分析等工具和方法，从大量的、多种类型的数据中提取有价值的信息或知识的体系架构。由于近年来互联网、云计算、移动设备和物联网的迅猛发展，要处理的数据量大、增长快，而业务需求对数据处理的实时性又提出了更高要求，传统的常规技术手段无法应付。因此，大数据技术应运而生，但其研究和应用还仍处在探索阶段，本节仅仅对大数据技术的整体架构、数据存储及数据分析技术进行简单介绍。

　　2.2.1 大数据技术的整体架构

　　目前，大数据的多数实际应用均基于 Apache 开发的 Hadoop[15]。Hadoop 是一个开源的，能够以可靠、高效、可伸缩的方式对大数据进行分布式处理的基础性软件系统架构。它实现的分布式文件系统 HDFS(hadoop distributed file system)可以部署在低廉的硬件上，有着高容错性的特点，并且通过并行处理方式提供高数据访问传输率，适合大数据集(比如 PB 级)的应用程序。利用 Hadoop，用户能够在不需要了解底层细节的情况下开发分布式程序，充分利用计算机集群的优势进行高速运算和存储。

　　2.2.2 大数据存储与数据库技术

　　数据存储技术经历了从小规模数据到海量数据，从关系型数据库到非关系型数据库，从静态数据为主到动态为主的发展过程。

　　大数据面对的是大规模的、增长快速的、来源多样的、结构复杂且以半结构化和非结构化为主的信息。在 Web2.0 时代，传统的基于 SQL(structured query language)语言的关系数据库如 Oracle、SQL Sever、DB2、mySQL 等在应付日益膨胀的非关系型数据(如社交网络的 BLOG 等)的高并发读写、海量数据存储应用特征时越来越力不从心，由此产生了 NoSQL(not only SQL)非关系型的数据库，比如 Google 的 BigTable 和 Amazon 的 Dynamo。

　　大数据需要考虑的存储方案设计包括：异构系统、各种 NoSQL 分布式存储、分布式文件系统、分布式缓存等，以达到低成本、低能耗、高可靠性目标。幸运的是，早几年启动的云计算的发展为大数据的存储和管理提供了极佳的支撑。云计算的目的是通过互联网更好地调用、扩展和管理计算及存储资源和能力，云计算从根本上改变了企业的 IT 架构，能获取可以弹性扩展、相对便宜的存储空间，降低了使用成本，使得中小企业也一样可以通过云计算提供的工具和硬件支持来完成大数据分析。

　　2.2.3 大数据分析技术

　　大数据涉及到的数据分析技术主要包括数据挖掘、关联分析技术、机器学习、模式识别、预测模型、时序分析以及可视化处理等。

　　(1)数据挖掘数

　　据挖掘是一个知识发现的过程，即从大量的数据中自动搜索隐藏在其中的知识或特殊关系信息的过程。整个过程可以分为业务理解和数据准备、建立数据挖掘模型、结果表达和解释评估 3 个步骤。

　　大数据数据挖掘的复杂性体现在数据量大、数据来源多样、数据结构各异这 3 个方面，现有的数据挖掘算法在不同行业中难以通用。因此，具体应用还需要进一步探索。

　　(2)关联分析

　　关联分析是用于从大量数据中分析出各数据项之间有价值的相关关系。比如，20 世纪 90 年代美国沃尔玛超市将啤酒和尿布两个看上去没有关系的商品摆放在一起进行销售，获得了很好的收益，就是一桩源于销售数据关联分析的典型成功案例。

　　(3)机器学习

　　人类的学习行为背后隐藏着非常复杂的处理机制，机器学习主要研究如何使用计算机来模拟和实现人类学习(获取知识)的过程，创新、重构已有的知识，从而提升自身处理问题的能力。机器学习的最终目的是从数据中自动分析获取规律、知识，并利用规律对未知数据进行预测、判断和评估[16]。机器学习算法中涉及大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。

　　2.3 大数据带来的变革

　　正如 Viktor Mayer-Schönberger[17]所说，大数据带来的是一种生活、工作与思维方式的大变革，主要体现在以下几个方面[18-19]：

　　(1)决策将日益智能化，更加基于数据和分析，而不仅依靠经验和直觉。

　　随着计算机、通信、网络技术的发展和硬件成本的快速下降，科研、生产以及经营活动会收集到越来越多的数据和信息，未来的决策将基于真实的数据和分析，更加智能化和科学化，而不再仅仅依靠经验和直觉。这种决策将不再满足于数据和信息的简单汇总，而是渴求对数据展开深入分析，包括前述的数据挖掘、关联分析;同时探索其统计特征，发现内在隐藏的关联模式、知识和规律，进而由专业人员预测可能发生的变化趋势。因此，管理好、使用好这些大数据是一个挑战，同时也会带来巨大的利益。未来这种收集、管理、分析和运用数据的能力，必将决定企业的核心竞争力。

　　(2)探索数据之间的相关关系比获取因果关系更重要。

　　揭示数据之间的因果关系是人类认识自然、改造自然的主要方法。对于大数据集来说，由于具有数据量太大、数据项(影响因素)多、相互之间的影响程度与影响机制不明、数据结构复杂等特征，加上现有的数学、力学等基础科学可能还不足以解决这些问题，因此，建立一个正确的体现因果关系的模型在现阶段往往非常困难。于是人们经常采用化整为零的降维处理办法，逐步剥离、抽取一些数据项出来形成数据子集，探索它们之间相对简单的相关关系，多数情况下发掘出来的最主要的相关关系可以在一定程度上逼近因果关系。

　　(3)不再强求精确性，粗糙性才是本质，可靠度分析将变得很重要。

　　在大数据时代，因为采集的数据量非常多，某些数据不会那么精确，即具有粗糙性，难免具有“泥沙俱下”的特征。由于数据量大，因此不是抽样，而是更能代表总体。即使不那么精确，但能够全方位、多维度地表达出整体特征，比起挂一漏万的随机抽样来说，可能更能反映复杂现象的本质。同时，正因为存在粗糙性，可靠度分析将会得到足够的重视。

　　2.4 大数据应用简介

　　当前大数据的应用主要在于 IT 行业，比如电信运营商、互联网公司和电子商务，一些传统领域如交通、公安、银行、物流等业务部门也逐渐开始应用大数据技术，以下举几个简单的应用实例作为参考。

　　(1)Google 发现流感

　　2009 年 Google 的工程师依据网民使用搜索引擎来查询流感症状及治疗方法方面的记录数据，成功预测了在美国冬天即将爆发 H1N1 流感[20]，比联邦政府疾病管制局提前几周实现预警。这是一种创新的方式，通过对海量数据进行分析而获得了有价值的规律、见解，这也是关联分析的一例典范。

　　(2)智慧城市建设

　　智慧城市包括平安城市、市政交通管理、智能家居和环保监察等。以市政交通管理为例，当前在国内许多城市的道路上都可以看到摄像头，其视频数据是一个巨大的数据源。据介绍，海康威视公司开发的城市智能交通应用解决方案，依托于大数据平台，可以掌握城市交通摄像头覆盖区域中任一车辆的行驶状态、运行轨迹，分析出其是否违章，而且还能对海量交通信息进行对比、分析和预测，实现车辆布控、拥堵状态服务、出行最优路径规划、交通管理等。

　　(3)银行贷款审批

　　阿里巴巴集团通过大数据技术，分析小微企业的交易数据，以进行信用贷款审批。过去三年，阿里巴巴发放了人民币逾 1 000 亿元的贷款。据阿里巴巴称，截至 2013 年第 2 季度，不良贷款仅占其发放的贷款总额的 0.87%，低于商业银行不良贷款的平均水平。

　　(4)电信业务

　　中国联通部署了一套 Hadoop 系统的大数据平台，可以实现用户快速查询手机流量使用情况。输入联通手机号码，1～2 s 内就能查询到其上网记录，可以瞬间显示每天的流量，其中包括有详细的网站、起始时间、上网地点等明细。如果使用传统的关系数据库和查询方法，在几百亿条记录中返回查询结果需要几个小时，这是用户所不能容忍的。

　　3 岩土工程监测的历史与现状

　　3.1 岩土工程监测的历史简介

　　重大岩土工程，如大坝、地下洞室、隧道和深基坑等涉及到的场地地质条件、施工工序复杂，受岩土力学理论、技术和经济条件的限制，目前几乎不可能在设计阶段就准确预测和评估岩土体在施工、运行过程中的动态响应。因此，岩土工程的安全不仅取决于合理的设计、施工，而且取决于贯穿在工程始终的安全监测。安全监测为保证工程安全提供了科学依据，为设计的调整和指导施工提供了可靠资料。监测成果深化了对岩土介质物理力学性质的认识，为提高岩土工程的理论和技术水平积累了丰富的经验，是达到信息化施工的关键环节[21]。

　　岩土工程监测工作始于坝工建设，第 1 次进行外部变形观测的是德国建于 1891 年的埃施巴赫坝，瑞士在 1920 年首次用大地测量方法观测大坝变形， 1903 年美国最早采用专门的仪器进行了 Boonton 重力坝温度观测，随着差动电阻式传感器的发明，20 世纪 30 年代欧美国家逐步广泛开展监测工作。

　　相关知识推荐：岩土工程勘察治理论文发表字数要求

　　我国的安全监测工作也始于坝工建设，20 世纪 50 年代初在丰满、佛子岭和梅山等混凝土坝仅进行了位移、沉降等传统测量的外观变形观测工作。随后，在上犹江、响洪甸坝埋设了温度计、应变计和应力计等，开展了监测工作。20 世纪 50 年代末期，在新安江、三门峡等大型混凝土坝开展更大规模的监测工作。而安全监测真正蓬勃发展则始于 90 年代二滩、三峡、小湾等一系列水电站的建设，以及随后开始的大规模高速公路、铁路、城市轨道交通、矿业、自然灾害防治及市政建设等。

　　岩土工程监测技术的进展主要受硬件和软件两个方面的条件制约，包括监测仪器、监测资料的分析。

　　1932 年美国人卡尔逊发明了差动电阻式传感器，成为 20 世纪 70 年代以前广泛使用的仪器;德国人谢弗于 1919 年发明了最早的钢弦式仪器，但直到 20 世纪 70 年代，随着微电子技术、半导体技术的发展出现高精度频率计后才开始流行。由于弦式仪器的精度和灵敏度都高于差动电阻式仪器，并且结构简单，容易实现自动巡检，因此，近年来弦式仪器的发展很快。

　　国内在 1958 年水利水电科学研究院开始研制和生产差动电阻式仪器，1968 年南京电力自动化设备厂开始生产差动电阻式应变计、测缝计、钢筋计等，经过几十年的努力，我国的差动电阻式、电容式、钢弦式等十多种监测仪器在性能和自动化程度方面都取得了很大改进和发展，生产厂家众多，总体上满足实际需要，在价格方面有明显优势，但部分产品的可靠性尚需要进一步完善和提高。

　　20 世纪 80 年代以来，国内结合一些重大工程研究，确定了一批可供选型的仪器，对这些仪器的技术指标、适用条件、稳定性等也有了评定标准，仪器的安装埋设与观测的标准化、程序化和质量控制措施也在逐步的形成、完善。相继编制了多种、多专业建筑物安全监测规程、规范、指南和手册，如《混凝土大坝安全监测技术规范》DL/T51782003、《土石坝安全监测技术规范》SL60-94、《建筑基坑工程监测技术规范》GB 50497-2009、《铁路隧道监控量测技术规程》TB10121-2007 等。

　　近年来，光纤传感器、测量机器人、摄影测量、 GPS、合成孔径雷达差分干涉测量技术(differential interferometry synthetic aperture radar, D-InSAR) 等先进监测技术也不断在岩土工程中得到应用。

　　3.2 岩土工程监测的特点、现状及存在的问题

　　3.2.1 岩土工程监测的特点

　　岩土工程监测，特别是重大岩土工程监测，具有工期长、测点数量大、测点种类多、数据量大、数据来源复杂及多媒体化等特征。比如，城市轨道交通施工期监测时间一般为 3 a，水电工程则更长(三峡工程长达 15 a)。一座车站或者一段区间隧道设置 300～600 个第三方监测测点，全线包含上万个第三方监测测点(施工方监测的测点数量更多)。测点种类包括位移、应力、应变、压力、轴力、地下水位、振动等，数据类型包括数值、文本、图形、图像、音频及视频等。因此，获得的数据是极其庞大和复杂的。

　　3.2.2 岩土工程监测的现状

　　(1)由于监测工作能可靠地反映施工过程中工程结构和周边环境的安全状态，日益受到建设单位的重视，特别是在城市轨道交通、水电和铁路部门，先后颁发了一些规程规范。

　　(2)随着传感器精度提高和价格持续走低，加上计算机及网络技术的高速发展，大规模、全方位、多维度、多场的岩土工程监测将得以实现。今后，使用宏观、细观和微观的监测方法和设备，“现场版的模型试验”将会出现，施工工程中结构和周边环境动态响应的高密度实时采集将不再是一个假设。

　　(3)数据简单汇总、粗略分析、然后提交监测报告的粗放模式已经不能满足业主高层次的需求，在大数据时代，以成因分析、关联分析、快速查询、及时反馈、决策支持为主的后续分析能力必将成为监测工作的核心。

　　(4)业界对岩土工程监测提出了新要求，即采集快速、分析可靠、反馈及时、避免风险，真正达到信息化施工的目的。

　　3.2.3 当前岩土工程监测存在的问题

　　尽管建设单位对监测工作越来越重视，国家和相关行业也相继颁发了部分规程规范，但一些工程项目在施工过程中仍然发生了事故，其中存在因监测工作不力的原因，反映出当前岩土工程监测工作中尚存在以下问题：

　　(1)客观上数据采集的门槛越来越低，对分析人员的要求越来越高，但主观上重采集、轻分析的现象一直存在，监测工作未能发挥应有的作用。

　　一方面，随着电子和信息技术的发展，设备、传感器价格的持续降低，加上常规监测技术、方法的成熟普及，监测数据采集的门槛越来越低;另一方面，由于数据量采集量大频高，加上目前工程所处地质条件、环境条件和施工设计难度越来越复杂，建设“两型社会”对环境的保护越来越重视，从而对监测结果分析的要求日益提高。但可能因节约成本，或者经验、认识不足的原因，一些监测单位只重视数据采集和提交简单报表，忽视了成果分析、解释和反馈，直接导致花费了大量人力物力采集的数据没有得到充分及有效的应用，同时也给工程带来了潜在的风险。——论文作者：王 浩 1 ，覃卫民 1 ，焦玉勇 1 ，何 政 2