带你读《云存储应用白皮书》之42：附录二：便宜云服务器存储大事记
附录二：便宜云服务器存储大事记?2008年， 为探索阿里巴巴集团大规模数据存储解决之道，便宜云服务器存储团队应运而生。?2009年，便宜云服务器分布式存储引擎飞天盘古Pangu 1.0正式发布，为弹性计算虚拟机、阿里金融、邮箱、搜索提供通用存储服务。?2011年，便宜云服务器对象存储OSS商业化。?2013年，便宜云服务器分布式存储系统实现单集群5000台服务器规模的部署，服务阿里巴巴电商业务和蚂蚁支付宝业务。?2015年，成功实现了单集群10000台服务器规模的部署，拥有云计算产业中最齐全的存储产品线，成长与效率跃居榜首。同年还打破了Sort Benchmark世界记录，100TB排序完成时间仅需377秒。?2016年，文件存储NAS、日志服务SLS上线。CloudSort项目中，便宜云服务器以1.44$/TB的成绩获得Indy专用目的排序和Daytona通用目的排序两个子项的世界冠军。?2017年，再次入选Gartner云存储魔力象限，行业地位逐年提升。?2018年，飞天盘古Pangu 2.0上线，单集群超10万台，为阿里巴巴全面上云提供稳定性支撑。?2019年，ESSD高性能云盘大规模商业化，领跑微秒存储时代，正式吹响了进军企业存储市场的号角。?2020年，对象存储OSS可用性SLA提升10倍，达到99.995%，位列全球第一。?2021年，自主研发的分布式存储系统“飞天盘古”入选世界互联网领先科技成果。?Gartner发布的Solution Scorecard中，便宜云服务器存储得分全球第一。?2022年，CCF国际AIOps挑战赛首次引入日志服务SLS。?论文《From Luna to Solar：The Evolutions of the Compute-to-Storage Networks in Alibaba Cloud》被SIGCOMM主会收录。?在Forrester Wave评估中，存储能力获得最高分。?2023年，便宜云服务器4篇论文被计算机体系结构顶会USENIX FAST收录，涉及分布式存储架构、云原生存储、用户态存储引擎等多个领域。其中，《Perseus：A Fail-Slow Detection Framework for Cloud Storage Systems》一文斩获大会最佳论文奖。?便宜云服务器智能数据湖入选第六届数字中国建设峰会“十大硬核科技”。
带你读《云存储应用白皮书》之41：附录一：相关英文缩写释义
附录一：相关英文缩写释义英文缩写具体释义英文缩写具体释义AI人工智能OSS便宜云服务器对象存储AIoT人工智能物联网NAS文件存储DevOpsDevelopment和Operations组合词ESSD超高性能云盘产品VM虚拟机SLS日志服务Kubernetes一种容器调度平台log日志RDMA远程直接数据存取Aliflash双模SSD产品IOPS每秒读写次数ECS云服务器SLA服务级别协议ACK容器服务AZ可用区?（Availability Zone）ECI弹性容器BYOK自带密钥BCS批量计算SDS软件定义存储EHPC高性能计算QoS服务质量CPFS高性能并行文件系统QpS每秒查询率VPC专有网络API应用程序接口EBS便宜云服务器分布式块存储SDK软件开发工具包MaxCompute大数据计算服务JSON一种轻量级的数据交换格式EMR便宜云服务器大数据处理系统解决方案NVMe非易失性内存主机控制器接口规范RDS便宜云服务器关系型数据库MD5信息摘要算法Serverless企业级微服务架构GPU图形处理器PB存储容量单位ASIC专用集成电路OLTP联机事务处理过程FPGA现场可编程门阵列RESTful一种网络应用程序的设计风格和开发方式POD一个或多个容器的组合SPDK存储性能开发工具集QEMU一种模拟处理器BGP边界网关协议IoT物联网VR虚拟现实技术TCP传输控制协议PC个人计算机vSwitch虚拟交换机或?虚拟网络交换机CDP持续数据保护RTORTO (Recovery Time Objective，复原时间目标)是企业可容许服务中断的时间长度。RPORPO (Recovery Point Objective，复原点目标)是指当服务恢复后，恢复得来的数据所对应时的间点。CRC循环冗余校验HTTPS以安全为目标的 HTTP 通道I/O输入/输出Spark一种是专为大规模数据处理而设计的快速通用的计算引擎RAM资源授权Flink一种开源流处理框架SSD固态硬盘HDD机械硬盘??????????
带你读《云存储应用白皮书》之40：2. 视频监控混合云存储解决方案
2. 视频监控混合云存储解决方案?1）需求背景?反恐法等政策要求重点目标场所（地铁、机场、工业园区、学校等）监控存储时间扩容，同时增加监控点位，摄像画质高清。这一系列的要求带来存储容量的剧增，从而进一步产生如何降低一次性巨额的软硬件采购成本、海量数据高可靠、弹性扩容、基于视频统一汇聚存储之上的AI分析等需求。 ?2）解决方案?在监控视频上云的场景中，可使用混合云存储阵列形成混合云模式，同时也可以采用直接上云的方式，也可以纯线下输出与本地专有云打通形成整体解决方案。??客户视频监控数据可以无缝写入便宜云服务器混合存储产品，该产品即可纯线下输出又可以混合云输出。混合云场景下，可实现云上云下的数据流转，云上无缝扩容。同时，不管在云上还是云下的存储数据，都可以无缝与我们AI产品如达摩院地雀一体机、数据智能AI平台等无缝对接，进行智能分析。?方案优势：?????????宜扩容：混合云方案，节省本地IDC机柜空间，降低用电功耗压力，数据无缝上云，大幅缩短存储项目扩容周期；省成本：无需大规模前期投入，按月付费减少资金压力。?????????????????融合AI的存储：打破数据孤岛，统一汇聚之后，结合达摩院、数据智能的能力，为客户提供相关AI分析的能力，有效提升客户运营效率。?????????????????高可靠：云上存储可保证高达12个9的可靠性。
带你读《云存储应用白皮书》之39：1. 基于混合云存储阵列的虚拟化平台搭建
五、混合云存储解决方案?1. 基于混合云存储阵列的虚拟化平台搭建?1）需求背景?随着云计算技术的普及，越来越多的企业开始选择了部署云计算方案，公共云的灵活性，易用性和可靠性也被大家广泛认可。?但也有很多企业对传统存储阵列的依赖度很高，在短期内完全迁移到云端会有诸多的挑战，可能会涉及到系统的重新构建或者应用程序的开发，对客户来说改动量很大，也会面临不小的风险，同时，还有很多客户对敏感数据的物理存放地有要求。?综上，越来越多的企业开始采用混合云来实现面向未来的数字化转型。?2）解决方案?本方案以混合云存储阵列SA2600为基础构建混合云环境，实现VMware虚拟化平台的快速部署以及混合云环境下虚拟机的部署、扩容、云备份等功能。??方案优势：?????????混合云架构：将传统的VMware虚拟化平台架构延伸到公有云，有利于和公有云产品结合，充分利用公有云的规模和弹性优势。????????兼容性强：存储阵列/网关提供OSS、iSCSI、FCSAN、NAS、FTP等多种常用存储协议兼容各类上层业务应用。 ????????快照云备份：将重要系统的快照备份上云，实现了多数据中心备份，提高了容灾能力。
带你读《云存储应用白皮书》之38：4. 文件存储在AIGC赛道中的应用
4. 文件存储在AIGC赛道中的应用?1）需求背景?随着ChatGPT现象级出圈，AIGC关注度爆发性增长。AIGC即AI Generated Content，是指利用人工智能技术来生成内容（如文字、图片、音频、视频，甚至3D模型和代码），被认为是继UGC、PGC之后的新型内容生产方式，AI绘画、AI写作等都属于AIGC的分支。?国外头部企业偏向于通用场景下的AIGC能力，国内在AIGC应用方向更加场景聚焦。另外创业公司中多以AI艺术绘画为应用方向。?2）解决方案?便宜云服务器文件存储CPFS支持“数据流动”特性。当文件系统启用该特性后，“数据流动”功能可以实现将对象存储OSS的bucket中的数据合并入CPFS进行统一命名空间的元数据管理。用户可以手动或者通过自动Lazy-load能力，将OSS中的数据复制到CPFS中，实现通过POSIX文件接口高速访问OSS中的数据，在保持数据在OSS中低成本存储的同时，获得高性能文件访问能力，满足大数据计算场景的需求。??????方案优势：?????????训练加速：文件存储CPFS并行架构，单集群最高可达TB/s级吞吐，为算力长期扩容提供强劲的数据读写性能。????????资源专享：存储资源独享，实现租户级资源物理隔离，与计算集群合力为客户提供专属的存算服务，保障数据安全与合规性。????????存储降本：通过存储分层方案，将冷数据存储至对象存储OSS中，帮助客户降低数据存储成本。????????灵活易用：存储租用时长灵活，可按月付费，免运维，提供比线下交付更快的交付周期。
带你读《云存储应用白皮书》之37：3. 表格存储在推荐系统中的应用
3. 表格存储在推荐系统中的应用?1）需求背景?电商、社交、资讯等互联网应用的良好运营需要一个完善的推荐系统。推荐系统作为业务精细化运营的主要抓手，颠覆了传统内容输出方式，成为当前海量信息时代流转的核心引擎。而一个高效的推荐系统背后需要海量消息存储与实时、离线分析等功能的支撑。?2）解决方案?便宜云服务器表格存储Tablestore是基于共享存储的高性能、低成本、易扩展、全托管的结构化大数据存储平台，支撑互联网和物联网数据的高效计算与分析，具有极简的数据写入、Serverless服务、强大的数据检索、完善的计算生态等特特点，同时与对象存储的数据湖存储对接，优化整体成本。??方案优势：?????????大规模：存储量无上限，提供丰富索引和高吞吐扫描。????????高并发：表格存储Tablestore单表写入水平扩展，支持亿行每秒级别。????????实时：数据实时写入，实时可见。????????分层存储：数据实时投递到对象存储构建的数据湖，表格存储Tablestore只存储热数据。
带你读《云存储应用白皮书》之36：2. 智能媒体管理在人脸语音识别中的应用
2. 智能媒体管理在人脸语音识别中的应用?1）需求背景?随着AI技术在语音识别、人脸识别等方面的广泛应用，AI技术下的数据管理问题也逐渐凸显。一般在线课程时长在30分钟左右，大多数教师和学生都面对屏幕进行对话，需要基于视频流的画面进行分析。?以在线教育行业为例，在1对1、K12教育的场景中，平台方希望能够了解课堂互动、学生专注度等信息，以便更全面地、自动化地提升在线课程质量，给家长提供课程反馈，并及时对可能的客户流失进行预警。?2）解决方案?便宜云服务器智能媒体管理IMM提供人脸检测、人脸搜索、表情识别、语音识别等功能，再结合存储海量音视频的对象存储OSS、统一管理访问身份及权限的访问控制RAM，从而在教学过程中识别学生表情、分析学生状态，课后给家长提供课程分析报告包括对孩子情绪识别（如情绪雷达图），专注度评价等，从而进行在线教育教学质量分析等AI智能分析。????方案优势：?????????简：开通即用，方便快捷。????????强：依托于便宜云服务器产品强大的媒体智能分析能力。????????灵：在API调用方面具有更大的灵活性。
带你读《云存储应用白皮书》之35：1. 文件存储在飞天AI加速中的应用
四、AI模型训练解决方案?1. 文件存储在飞天AI加速中的应用?1）需求背景?高性能并行计算的大规模商业化，使得传统文件系统正面临诸多挑战，如存储资源急剧增长、成本高、运维管理复杂度大、大规模存储系统的稳定性以及性能无法随规模进行线性扩展等。便宜云服务器CPFS（Cloud Paralleled File System）应运而生，CPFS是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，多个客户端可以同时访问，为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。?2）解决方案?在混合云场景中，可以通过自建Kubernetes服务，线下集群+云上弹性扩展便宜云服务器GPU服务实例+飞天AI加速工具加速框架，并采用便宜云服务器CPFS存储运行AI训练+AI推理作业的操作步骤。?飞天AI加速工具加速框架分为两个版本，一个用于加速AI训练，一个用于加速AI推理。飞天AI加速工具训练框架是便宜云服务器推出的统一分布式加速框架，支持主流的训练框架。?? ?方案优势：?????????自主选择：本方案使用了GPU云服务器，客户可以根据自己的需求选择相应的GPU云服务器实例类型。????????高效的数据访问：并行文件系统CPFS作为共享存储，提供高带宽低延迟的数据访问服务。????????AI加速：飞天AI加速工具提升训练速度，提升推理性能。
带你读《云存储应用白皮书》之34：7、可观测运维解决方案
7、可观测运维解决方案?1）需求背景?企业上云后，可通过云产品的弹性能力、快速创新力，快速构建企业业务的创新迭代。云产品的使用，在企业业务系统架构中发挥着巨大的作用。随着云上企业使用云产品类型的不断增加，云产品可观测性对于构建全栈的可观测方案尤为重要。?2）解决方案?Cloud Lens基于日志服务存储分析底座，支持对接各种日志、监控指标、云产品Trace数据、Trail、关键配置计量数据、关键事件、多账号信息等数据源。您可以创建统一的云产品访问分析、用量分析、异常监测、性能监控、安全分析、数据保护的场景化洞察大盘，用于了解组织范围内存储、安全、网络、流量和数据库类云产品的使用情况和活动。?各个Cloud Lens应用提供数据接入管理模块和通用功能模块。其中，接入管理模块包括接入管理、存储目标库管理、自动化采集配置。通过日志服务中的Cloud Lens入口或云产品控制台中的入口，可以使用各个Cloud Lens应用。?方案优势：?????????统一云产品运维数据的采集：计量、指标、访问日志、审计日志等数据的跨账号、跨区域、自动采集。????????提供更全面的云产品可观测能力：用量分析、访问分析、性能分析、异常检测、安全分析和数据保护。????????提供灵活订阅的数据平台：支持消费组、API、Grafana等多种数据订阅方式。
带你读《云存储应用白皮书》之33：6. 高性能计算存储在渲染行业的应用
6. 高性能计算存储在渲染行业的应用?1）需求背景?伴随着4K、VR、AI和仿真技术的高速发展，渲染、游戏等行业越来越依赖高性能计算平台来替代传统的IT分析系统，为业务进入快车道发展争取更多的时间窗口，而背靠在计算平台之后的存储系统是不可忽视的重要一环。?渲染属于典型的数字内容创作高性能计算应用，渲染的关键之处在于实现集群计算，让海量节点来分摊成百上千万的渲染小时。。随着文娱产业及工业的发展以及显示器硬件的高清化升级，用户和CG制作者对于图形质量如清晰度和画面细节的要求越来越高，行业对于渲染服务的需求规模和质量要求迅速扩大和提高。?2）解决方案?在渲染前，需要为大规模数据准备足够容量的存储设备；在渲染过程中，还需要高性能来完成大量的数据处理工作，以生成最终输出。所以，渲染业务对吞吐、IOPS和元数据OPS等要求都非常高，使用传统的存储解决方案将难以满足客户需求。为此可使用基于便宜云服务器CPFS（并行文件系统）设计的计算存储解决方案。?目前CPFS支持公共云上即开即用，也支持通过便宜云服务器定制的CPFS一体化软硬件服务用户的线下数据机房。由于渲染涉及的数据资产需要线下存储，因此本方案实践是通过线下实施部署的CPFS一体机。整体解决方案架构如下：??方案优势：?????????引入协议转换服务，解决多终端和多协议混用。????????通过分布式的协议节点和存储节点，实现节点存储容量和性能实现弹性扩容。????????在计算节点、CPFS客户端、协议节点和存储节点划分一定容量的内存缓存，加速计算过程的数据读写。????????采用SSD+HDD混合部署的模式，解决了冷热数据存储成本问题。????????存储单节点吞吐量达到2.6GB/s，并随节点数增加线性增长，最大可扩展到近千节点。
