产品解决方案及主要应用场景
资源预览文档简介为自动调取,内容显示的完整度及准确度或有误差,请您下载后查看完整的文档内容。
1/57
2/57
3/57
4/57
剩余53页未读,查看更多内容需下载
1VmwareVsan产品/解决方案主要应用场景
vRealizeNSXvSANHorizonvSphereVMwareSDDC平台:业界最稳定、最安全、支持最广泛应用2AppsAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAPPAndManyMore...BusinessCriticalAppsDesktopVirtualizationBigDataCloudNativeApps/Container3DGraphicsDeepLearningw/GPUTest/Dev/Tier2/3
国内某用户ESX持续运行近8年
vSAN:为虚拟化和云计算而生、支持最广泛应用的超融合软件定义存储解决方案关键业务应用(ERP/SAP)虚拟桌面(VDI)灾难恢复/灾难规避云原生应用数据库(SQL/Oracle)ROBO(远程分支机构)管理集群容器vSANvSphere+vSAN…硬盘SSD硬盘SSD硬盘SSDvSAN数据存储
vSphere6.5U1vSAN6.6.1vSphere6.5.0dvSAN6.6vSphere6.5.0avSAN6.5vSphere6.0U2vSANvSphere6.0U1vSAN6.1vSphere6.0vSAN6.0vSphere5.5U1vSAN5.55vSAN与vSphere的版本号对应关系及其要求同时支持混合和全闪存支持vSAN延伸集群(双活)支持数据加密支持去重/压缩/纠删码vSphere版本号vSAN版本号
VMware客户将他们的基础架构托付给vSANvSAN客户数量部署的国家/地区数量基于全闪存的关键应用占比>10,000>10083%领先的HCI供应商#1
关键应用已成为vSAN主要的客户使用场景远程区域办公室灾备9%26%IT运维38%私有云21%*关键应用生产环境虚拟桌面43%非关键-生产环境测试开发53%62%48%*Sources:VMwareCustomersurvey,July2015客户将其超过60%的vSAN作为关键业务应用的存储来使用
vSAN典型销售场景8应用重要性VM数量BAD开发测试管理集群SDDC/CloudVDI生产应用C
vSAN主要使用场景和典型案例9用户场景项目场景客户挑战与需求选择vSAN的原因客户开发测试开发测试系统开发测试云传统存储管理复杂降低存储投资系统频繁变更扩展性好管理简单无需购买高端存储线性扩展XX证券XX开发银行生产应用新应用上线U2VL新业务系统性能保证降低基础架构故障对应用带来的风险灵活调整应用性能降低设备成本与节能;提高运营效率;大幅提高性能;大幅降低TCO;存储虚拟化提高利用率XX银行XX移动BankofAmericanXX度VDI虚拟桌面桌面云降低VDI的总体成本提升用户体验和性能简化存储管理高性价比无需在外置磁盘阵列上大额投资可以随VDI规模在线扩展管理简单XX证券XXXABCXX基金Cloud/SDDC私有云城市云行业云资源池高性能I/O海量存储池高扩展性成本压力自动化部署高IO吞吐,低延迟大容量,容易扩展高性价比与云平台集成自动化部署XX移动XX广电XX电集团ABCD
XX银行vSAN使用案例业务的快速增长传统存储采购周期长,业务难以快速上线传统存储设备的总体拥有成本过高传统共享存储体出现问题影响面大存储服务级别依赖硬件,灵活性差挑战简化存储的采购模式缩短存储供给周期,满足业务快速上线需求大大降低存储和运维成本分布式存储体系结构,故障时影响面积更小内嵌在vSphere内核,高效率vSphere级别的系统稳定性管理便捷,很短时间内即可生成数十TB级别的存储空间非常容易进行纵向扩展或横向扩展通过存储策略定义应用SLAWhyvSAN使用情况生产应用VDI开发测试办公客户收益
场景1:vSAN用于包含客户关键业务应用在内的数据中心虚拟化环境ScaleOut硬盘SSDvSphere+vSAN硬盘SSD…………….硬盘SSD硬盘SSDScaleUp
SPBM基于策略存储管理本地磁盘场景2.vSAN和传统外部存储阵列共存于客户的虚拟化数据中心12vSANSAN/NAS本地磁盘本地磁盘双向迁移数据互相备份数据混合存储架构企业应用:SAN存储专用于核心DBvSAN承载其他VM及数据虚拟桌面:vSAN提供性能(OS盘)NAS提供容量(数据盘)SAN/NAS与vSAN可以互备关键数据,以及根据应用生命周期移动数据APPDBVDIVDPVCOPSVRNSXvNAS
13SPBM基于策略的存储管理SPBM基于策略的存储管理本地磁盘vSAN本地磁盘本地磁盘SRM+VR场景3.vSAN用于客户的异地灾备数据中心SAN/NAS
融合架构平台(vSphere+vSAN)桌面资源池vSAN集群1应用资源池vSAN集群2备份资源池vSAN集群3交付统一的超融合基础架构平台快vSAN基于对象存储更“懂”数据的存储,借助SPBM+SSD“主动”加速,性能更快;桌面离应用更“近”,访问速度更快。稳服务器和存储层面均实现HA保护,可用性、可靠性及数据安全性得以保证省架构简单,扩展灵活、管理高效,无需外置存储,省心、省力、省钱。场景4.vSAN用于客户的数据中心虚拟化、桌面虚拟化、数据备份和私有云环境可靠性可用性可扩展性VDP、VR
15SPBM基于策略的存储管理本地磁盘本地磁盘本地磁盘SPBM基于策略的存储管理本地磁盘本地磁盘本地磁盘SRM容灾管理+Replication复制站点A(主)站点B(备)vSAN存储B点生产数据A点生产数据容灾B点生产数据容灾A点生产数据vSAN存储场景5.vSAN同时用于客户的IT生产站点和容灾站点,并实现互为灾备
16挑战/需求原有存储宕机,导致业务中断希望采用双活存储方案,但是传统存储厂商技术复杂,并且都有不同的限制传统的存储供应商对于双活存储的报价已经超出预算,并且从长期而言,性能、容量的增长并不持续传统的双活增加了复杂性,对运维管理人员有很大挑战解决方案在标准的x86服务器上部署vSAN成效节约了大量成本:与购买存高端的双活存储阵列相比,vSAN双活的方案节省了20%–30%的成本.易于对硬件进行升级:通过更换部分组件或者整个节点,一些组件,即可利用最新的服务器和硬件日常维护费用降低:无需独特的存储管理和双活管理的背景和经验。“通vSAN,我们可以在需要时随时添加容量或提高性能。”“借助vSAN的双活,即使整个机房发生故障,我们也不用担心会中断我们的运营。”IT部门经理XX高铁制造有限公司双活数据中心案例场景6.vSAN是构建双活数据中心的理想方案
17关键业务双活保护收益<=200msRTTover100mbpsL3nomulticast<=200msRTTover100mbpsL3nomulticastwitnessvESXiappliance机房1vSANActiveL2withMulticastvSphere+vSANStretchedCluster<5msRTTover>10/20/40gbpsvCenter机房2vSANActive要点概览故障域Site层面保护(双活存储)Site故障时会自动切换支持OracleRAC和WindowsMSCS优势概览无需(多个)存储网关标准x86服务器统一、简便的管理允许有计划的维护,业务负载随需迁移零RPO
18机房一机房二vSAN分布式虚拟化数据卷备份存储(利旧)园区网应用集群核心交换园区网双站点数据保存,实现站点级存储双活架构简单,配置管理简单无需额外虚拟网关,低成本双活存储仲裁站点vESXiappliance跨机房的双活架构
vSAN6.6产品版本和许可方式vSANSTDvSANADVvSANENTFeatures(功能特性)StoragePolicy-BasedManagement-基于存储策略的管理Read/WriteSSDCaching-读/写SSD缓存DistributedRAID-分布式RAIDvSphere®DistributedSwitch-vSphere分布式交换机vSANSnapshots&Clones-vSAN快照和克隆RackAwareness-机架感知Replication(5minRPO)-复制(RPO为5分钟))All-FlashSupport-全闪存支持BlockAccess(iSCSI)-数据块访问(iSCSI))QoS–IOPSLimits–服务质量-IOPS限制Deduplication&Compression(AllFlashonly)-重复数据消除和压缩(仅限于全闪存)ErasureCoding(AllFlashonly)-纠删码(仅限于全闪存)StretchedClusterwithLocalFailureProtection-具有本地故障保护能力的延伸集群Data-at-restEncryption–静态数据加密NewFeatureinvSAN6.6ExistingfeatureinvSAN6.5License授权方式按CPU数量、VDI桌面数量授权按CPU数量、VDI桌面数量授权;同时包含在HorizonENT/ADV中按CPU数量或VDI桌面数量授权以成本和容量优先支持混合和全闪存以性能+成本优先支持混合和全闪存以构建双活数据中心为优先支持对存储加密
客户选择vSAN的七大优势20vSAN高可用性最可靠的Hypervisor(HA/vMotion/FT/DRS)支持多达4份虚拟机数据副本高性能全闪存单个节点支持高达9万以上IOPS简单(低管理量)vSAN内嵌于vSphere内核,一键激活自动化基于存储策略自动化管理虚拟机存储容量与性能低成本TCO成本节省50%以上高扩展性3-64个节点在线纵向和横向扩展(对于ROBO,可以2个节点)灵活性基于标准的X86服务器,无需依赖特定硬件服务器
vSAN的体系结构21
vSAN是:内嵌在vSphere内核的分布式的对象存储聚合了虚拟化管理程序的极其简单的虚拟机存储vSphere+vSAN...软件定义的存储针对虚拟机进行了优化超融合体系架构(分布式,横向和纵向扩展)可在任何标准x86服务器上运行将HDD/SSD池化为共享数据存储提供企业级的可扩展性和性能基于策略的自动化,满足SLA,可按虚机甚至vmdk级别的颗粒度设置存储策略与VMware产品体系深度集成概述硬盘SSD硬盘SSD硬盘SSDvSAN数据存储用来取代vSphere后端的传统外置磁盘阵列
软件定义存储之vSAN存储自动化:存储管理的革命23操作传统存储vSANRaid组创建LUN划分ZoningLUNMasking/MappingVMFS格式化多路径软件设置存储策略创建为vmdk选择存储策略存储策略选择存储策略真正助力云计算所需的存储服务级别
存储策略向导SPBMvSAN对象vSAN对象管理器虚拟磁盘(vmdk)vSAN对象可能(1)跨主机进行镜像,以及(2)跨磁盘磁盘/磁盘组/主机进行条带以符合虚拟机存储配置文件策略数据存储配置文件VMwareSPBM-存储策略决定服务级别(包括确定数据如何布局)从上至下,围绕着业务/虚机为中心每个虚机甚至每个vmdk在置备时都可配置各自的个性化QoS的属性。用户以策略的形式指定所需设置,然后vSAN会自动决定如何在集群中为每个vmdk分配存储资源,以满足用户的QoS需求
vSAN的体系结构三张图–图1对象和组件25对象副本组件存储策略(如FTT,条带宽度)决定未来数据如何放置两份个副本意味着两份数据,此时FTT(允许的故障数)=1
vSAN的体系结构三张图–图2条带按固定增长26当VMDK对象被创建后,其实就已经按照存储策略决定了第一笔数据会写入哪些主机的哪些盘。也就是说,数据的布局就已经固定下来了。之后新增的数据,仍会遵循同样的部署方式,按照条带分段大小以增量的方式去消费盘上的空间,体现出来的是对象容量在增长。直到组件超过255GB,此时vSAN会新建一个组件。这也是有时我们发现某个副本实际的组件数会比条带宽度大的原因。条带是按1MB增量进行扩大的
vSANSSD性能级别从vSANHCL里查询A级:每秒2,500-5,000次写入B级:每秒5,000-10,000次写入C级:每秒10,000-20,000次写入D级:每秒20,000-30,000次写入E级:每秒超过30,000次写入示例Intel的400GB910PCIe固态磁盘每秒约38000次写入Toshiba的200GBSAS固态磁盘MK2001GRZB每秒约16000次写入工作负载定义队列深度:16个或更少传输长度:4KB操作:写入模式:100%随机延迟:不到5毫秒耐久性10次驱动器写入/天(DWPD),以及每个NAND模块的传输长度为8KB时最多3.5PB随机写入耐久性,而每个NAND模块的传输长度为4KB时最多2.5PB27vSAN的体系结构三张图–图3写性能主要由缓存层SSD决定*增加磁盘组,对性能增长有帮助;
vSAN的体系结构–术语混合配置和全闪存配置磁盘组(DiskGroup)vSAN数据存储(vsanDatastore)对象(Object)组件(Component)28
29混合全闪存每个主机40KIOPS每个主机90KIOPS+亚毫秒级延迟缓存层读写缓存写入内容会首先进行缓存,而读取内容会直接进入容量层容量层SAS/NLSAS/SATA/直连式JBOD容量层闪存设备读取内容会直接进入容量层容量层(也即持久化层)vSANSSDPCIeUltraDIMMSSDPCIeUltraDIMMvSAN的两种配置–混合与全闪存为本磁盘组加速
vSAN磁盘组(DiskGroup)vSAN使用磁盘组这一概念将闪存设备和磁盘池化为一个管理构造。以混合配置为例磁盘组至少包含1个闪存设备和1个磁盘。每台主机最多5个磁盘组。每个磁盘组:1个SSD+1至7个HDD闪存设备用于提供性能(读缓存+写缓冲区)。磁盘用于提供存储容量。不能在没有闪存设备的情况下创建磁盘组。30磁盘组磁盘组磁盘组磁盘组每台主机:最多5个磁盘组。每个磁盘组:1个SSD+1至7个HDD磁盘组HDDHDDHDDHDDHDD
vSAN数据存储(vsanDatastore)vSAN是一种以文件系统(vSANFS)的形式呈现给vSphere的对象存储解决方案。该对象存储装载着集群中主机的存储资源,并将它们呈现为一整个共享数据存储。仅限该集群的成员才能访问vSAN数据存储。并非所有主机都需要提供存储,但是建议提供存储。31磁盘组磁盘组磁盘组磁盘组每台主机:最多5个磁盘组。每个磁盘组:1个SSD+1至7个HDD磁盘组vSAN网络vSAN网络vSAN网络vSAN网络vSAN网络vSAN数据存储HDDHDDHDDHDDHDD
32vsanDatastore随磁盘组或盘增加或减少,可在线扩大或缩小
vsanDatastore随主机数增加或减少,可在线扩大或缩小3个主机扩展为4个主机后的vsanDatastore,从4.86TB动态地在线地扩大为6.48TB33
vSAN对象(Object)vSAN通过名为对象的灵活数据容器的形式管理数据。虚拟机文件称为对象。存在四种不同类型的虚拟机对象:虚拟机主目录(主机命名空间)虚拟机交换文件VMDK快照Memory(vmem,虚拟机内存文件),vSAN5.5时,当快照创建时,虚拟机内存以文件形式存放在VMHome里。而在vSAN6.0时,虚拟机内存在vsanDatastore里实例化为独立的对象虚拟机对象基于虚拟机存储配置文件中定义的性能和可用性要求划分为多个组件34磁盘组磁盘组磁盘组磁盘组每台主机:最多5个磁盘组。每个磁盘组:1个SSD+1至7个HDD磁盘组vSAN网络vSAN网络vSAN网络vSAN网络vSAN网络HDDHDDHDDHDDHDD
vSAN组件(Component)vSAN组件是对象区块,这些对象区块跨集群中的多台主机分布,以便容许同时发生多个故障并满足性能要求。vSAN利用分布式RAID体系结构将数据分发到整个集群中。组件的分布主要采用两种技术:镜像(RAID1)条带化(RAID0)创建多少组件副本将基于对象策略定义决定。35磁盘组磁盘组磁盘组磁盘组磁盘组vSAN网络vSAN网络vSAN网络vSAN网络vSAN网络vSAN数据存储副本1副本2RAID1HDDHDDHDDHDDHDD
vmdk的构成:对象和组件36对象副本组件存储策略(如FTT,条带宽度)决定未来数据如何放置两份个副本意味着两份数据,此时FTT(允许的故障数)=1
对象和组件布局37vSAN网络vSAN网络vSAN网络vSAN网络vSAN网络vSAN存储对象R1R0R0R0可用性定义为副本数量vSANFSvSANFSvSANFSrolo2.vmdk虚拟机主目录对象格式化为vSANFS,以便在此对象上存储虚拟机的配置文件。性能可能会包括条带宽度vSANFSrolo1.vmdkrolo.vmx、.log等/vmfs/volumes/vsanDatastore/rolo/rolo.vmdk磁盘组HDD磁盘组HDD磁盘组HDD磁盘组HDD磁盘组HDD
vSAN的技术细节
虚拟机存储策略虚拟机存储策略可从vSphereWebClient主页屏幕访问。39
vSAN的存储功能vSAN当前向vCenter呈现8个以上的存储功能。40
1、允许的故障数(FTT)允许的故障数(FTT)定义存储对象能容许的主机、磁盘或网络故障的数量。若要容许“n”个故障,则要创建“n+1”个对象副本,并且需要“2n+1”台主机提供存储。41vSAN网络vmdkvmdk见证esxi-01esxi-02esxi-03esxi-04约50%的I/O约50%的I/OvSAN策略:“能容许的故障数量=1”raid-1vSAN新增纠删码(n=k+m):k是数据块,m是校验块(也即FTT值)
vSAN新特性:纠删码(ErasureCoding)纠删码+FTT=1->RAID5“FTT=1”高可用性RAID-53+1(最少4台主机,并非4的倍数,而是4台或更多即可)1.33倍的开销,以往的开销是两倍以往20GB数据消耗40GB空间,现在约为27GB可以实现在vmdk的颗粒度上,在VMwareSPBM(基于存储策略的管理)里设置不支持vSANStretchedCluster42RAID-5ESXiHostparitydatadatadataAllFlashOnlyESXiHostdataparitydatadataESXiHostdatadataparitydataESXiHostdatadatadataparity
“FTT=2”的高可用性RAID-64+2(最少6台主机)1.5倍的开销,以往的开销是3倍以往20GB数据消耗60GB空间,现在约为30GB可以实现在vmdk的颗粒度上,在SPBM里设置不支持vSANStretchedCluster43AllFlashOnlyESXiHostparitydatadataRAID-6ESXiHostparitydatadataESXiHostdataparitydataESXiHostdataparitydataESXiHostdatadataparityESXiHostdatadataparityvSAN新特性:纠删码(ErasureCoding)纠删码+FTT=2->RAID6
442、纠删码可按vmdk颗粒度的精细级别,在存储策略里设置
纠删码和去重压缩,显著提高空间效率:14倍!4550%与混合竞争产品相比,全闪存每GB成本减少2倍14倍14倍存储效率,无折中*通过重复数据消除和压缩而实现的改进会因工作负载不同而异。VDI完整克隆测试的结果。$1/GBAll-Flashforaslowas$1perusableGB
3、每个对象的磁盘条带数每个对象的磁盘条带数存储对象的每个副本所跨的硬盘数46vSAN网络条带2b见证esxi-01esxi-02esxi-03esxi-04条带1b条带1a条带2araid-0raid-0vSAN策略:“能容许的故障数量=1”+“条带宽度=2”raid-1
4、IOPS限制(QoS)47Newin基于每个虚机或每个vmdk,能以可视化的图形界面来设置IOPS的限制值一键即可设置消除noisyneighbor(相邻干扰)的不利影响可以在vmdk的颗粒度上满足性能的服务等级协议(SLA),在SPBM里设置在一个集群/存储池,可以为不同虚机/vmdk,提供不同的性能,将原本可能相互影响的负载区分开来用户在图形界面中,可以看到每个vmdk的IOPS值,并通过颜色(绿色,黄色,红色)判断实际IOPS与IOPS限制值的关系计算IOPS时,包括vmdk及其快照的读写操作…vSphere+vSANvSphere&vSAN
5、SoftwareChecksum(软件校验和)48概览数据的端到端校验,检测并解决静默磁盘错误软件校验和在集群级别默认是开启的,可以通过存储策略在vmdk级别关闭在后台执行磁盘扫描(DiskScrubbing)如果通过校验和验证发现了错误,则重建数据基于4K的块大小采用CRC32算法(CPU开销小)好处提供更高的数据完整性自动检测和解决静默磁盘错误(silentdiskerrors)vSAN
vSAN其他存储功能6、强制调配如果选择“Yes”(是),则即使当前可用的资源不符合存储策略中指定的策略,仍将调配对象。7、闪存读缓存预留(%)预留闪存容量,作为存储对象的读缓存。以对象逻辑大小的百分比形式指定。8、对象空间预留(%)调配虚拟机时要预留(实施厚配置)的存储对象的逻辑大小的百分比。将对其余存储对象实施精简配置。49
存储功能的默认值和最大值50存储功能使用情形值容许的故障数量(RAID1–镜像)冗余默认1最大3每个对象的磁盘条带数(RAID0–条带)性能默认1最大12对象空间预留厚配置默认0最大100%闪存读缓存预留性能默认0最大100%强制调配覆盖策略禁用
vSANI/O流
混合配置和全闪存配置,写IO的详细步骤写I/O在混合配置和全闪存配置下是一样的。假设:FTT=1(也即两份副本);虚机vm运行在主机01上;主机01是vm的VMDK对象的属主;该对象有两份副本,分别在主机02和主机03上;步骤1,虚机vm发起写操作;步骤2,VMDK对象的属主(也即主机01)触发写操作到虚拟磁盘;步骤3,主机01克隆写操作,主机02和主机03各自独立地执行;步骤4,主机02和主机03各自在自己的缓存层(SSD)的log上执行写操作;步骤5,缓存写完,主机02和主机03分别立刻发确认信息给属主;步骤6,属主收到了两个主机都完成I/O并确认的消息后;步骤7,属主将一批已经确认过的写I/O合并,Destage(刷)到容量层的盘;vSpherevSANH3H2H16552virtualdisk314477
写IO的性能,主要取决于缓存层采用什么闪存设备VMwareSSD性能级别A级:每秒2,500-5,000次写入B级:每秒5,000-10,000次写入C级:每秒10,000-20,000次写入D级:每秒20,000-30,000次写入E级:每秒超过30,000次写入示例Intel的400GB910PCIe固态磁盘每秒约38000次写入Toshiba的200GBSAS固态磁盘MK2001GRZB每秒约16000次写入工作负载定义队列深度:16个或更少传输长度:4KB操作:写入模式:100%随机延迟:不到5毫秒耐久性10次驱动器写入/天(DWPD),以及每个NAND模块的传输长度为8KB时最多3.5PB随机写入耐久性,而每个NAND模块的传输长度为4KB时最多2.5PB53
vSpherevSANH3H2H1virtualdisk从缓存层将IODestage(刷)到容量层的详细步骤混合配置中的容量层是HDD,vSAN使用电梯算法(ElevatorAlgorithm)异步地将来自不同虚机的,缓存内的,按照每块HDD物理地址相邻的数据,批量地Destage(刷)进磁盘中,以此来提升性能如果写缓存还有充足的空间时,vSAN不会频繁开启Destage的操作,这样就避免了对同一个数据的多次改写,屡屡刷进HDD里全闪存配置中的容量层是SSD,被频繁写的数据(也即热数据)仍然停留在缓存层,而那些较少访问的数据才会被刷进容量层(也即提供容量的SSD)。
55当VMDK对象被创建后,其实就已经按照存储策略决定了第一笔数据会写入哪些主机的哪些盘。也就是说,数据的布局就已经固定下来了。之后新增的数据,仍会遵循同样的部署方式,按照条带分段大小(1MB)以增量的方式去消费盘上的空间,体现出来的是对象容量在增长。直到组件超过255GB,此时vSAN会新建一个组件。这也是有时我们发现某个副本实际的组件数会比条带宽度大的原因。条带是按1MB增量进行扩大的如果条带为2,如何写进磁盘里?依次按1MB增量进行条带化
vSpherevSANH3H2H1virtualdisk123645步骤1,虚机vm发起对VMDK对象的读操作;步骤2,VMDK属主(主机01)根据如下原则选取从哪个副本读:1)通过跨越不同副本实现负载均衡2)不一定要从属主所在主机的副本读3)一个给定的块,其上的数据会只从同一个副本读;步骤3,如果在读缓存里,直接读;步骤4,否则,从HDD读到读缓存,取代某些冷数据;步骤5,将数据返回给属主;步骤6,完成读操作,将数据返回给虚机vm;全闪存配置下:步骤3,如果数据在写缓存里(注意是写缓存,不是读缓存!),直接读;步骤4,否则,直接从容量层的SSD里读数据(无需复制到缓存层!);混合配置,读IO的详细步骤
谢谢!
版权提示
- 温馨提示:
- 1.
部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
- 2.
本文档由用户上传,版权归属用户,莲山负责整理代发布。如果您对本文档版权有争议请及时联系客服。
- 3.
下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
- 4.
下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服vx:lianshan857处理。客服热线:13123380146(工作日9:00-18:00)