标签归档:开源中国

数据库得生态者得天下,产学研用如何联合创新?

数据库得生态者得天下,产学研用如何联合创新?

独行快,众行远。作为基础软件皇冠上的明珠,数据库的发展更需要产学研用多方合作。在 Summit 2021峰会上,中国工程院院士廖湘科指出,数据库是公认的最为复杂,跨技术领域最多的基础软件,其发展难度更大,更需要产业界形成合力、不断创新数据库得生态者得天下,产学研用如何联合创新?,来推动数据库产业的高质量发展。

开源社区是当今科技领域最具创新的一种组织方式,在国家的“十四五”规划中,首次将软件“开源”列入其中,明确支持数字技术开源社区等创新联合体发展。数据库也要充分利用开源和发展开源,广泛吸纳全产业力量,打造根植于中国的开源社区,形成创新活力,在合理的社区治理框架和机制上有机协同,最大发挥各方合力。

一位业内人士指出:“开源在生态体系上有着得天独厚的优势,更利于产品更快被受众接受,以便收集更多的反馈和快速迭代。”

生态是数据库竞争的终极战场,得生态者得天下,如今各数据库厂商都在积极布局生态。自2020年6月开源以来,开源生态取得了长足发展。据悉,开源一年半以来,社区已吸引了产业链100家核心企业的加入,推广使用超过1万套,覆盖政府、金融、能源、教育、制造等行业。发展20个SIG特别兴趣小组,超过2500名开发者参与技术贡献;全球下载量超过50万万发商务移动站,遍布全球81个国家,558个城市。社区吸引了海量数据、云和恩墨、神舟通用、南大通用等数据库厂商加入,此外,中国移动、中国联通、中国电信邮储银行、民生银行、招商银行等成为社区理事会成员,开源社区的吸引力可见一斑。

开源生态发展如此快速的秘诀是什么?在峰会联合创新圆桌论坛环节我们找到了答案——合作共赢,联合创新。怎样联合创新?产学研用如何更好释放各方优势形成合力?开源生态最重要的三个生态用户生态、学术生态、伙伴生态的代表、业内大咖在圆桌论坛带来了他们的思考。

开源迎来了好时代

资深媒体人IT168企事业部总编老鱼在主持时谈到10几年前曾经与同事合办电子杂志《开源时代》,阅读量、下载量都很好,最后因没有商业价值无企业响应而无奈关停,彼时谈开源似乎有点不合时宜。现在国家政策的指引,社会、产业与个人对开源有了更多的认识与参与热情,社区治理能力逐步提高,开源迎来了好时代。

在这样的好时代背景下,开源数据库产业生态创新的序幕拉开。产学研用的参与者共同发出自己的时代强音,演奏出国内开源数据库创新生态的交响曲。

用户联合创新:“真”场景、“真”需求促进数据库可持续发展

在商用落地时,不能满足用户需求的软件产品都是耍流氓,所有的联合创新最终要归结到满足用户需求上来,开源社区拉进了数据库产品与最终用户需求的距离。招商银行作为开源生态用户方的代表,第一个发言。

招商银行总行信息技术部数据中心应用及数据库管理室主管田永江指出,包括招商银行在内的金融系统对数据库有着非常高的要求,因为数据库是最重要的IT基础设施,银行业对数据库的要求集中在高可用、高稳定,这是压倒一切的,没有稳定就没有一切。

作为用户方,招商银行根据多年的一线实践对数据库产品有自己的一套考核标准,比如数据库在高可用、高稳定基础上,应该满足低成本、易运维、高性能等要求,数据库应该是可管理、智能的。

招商银行与进行了联合创新,招商银行主要负责输出需求,比如在金融行业的关键领域、核心交易环节,应该需要什么样的数据库,哪些特性应该着力加强,哪些场景或者哪些特性和功能不一定要有等。为了更深入有效进行联合创新,招行银行加入了内核小组,与在内核新型存储方面联合创新,在数据频繁更新场景下,实现性能非常平稳,特别适合对性能和稳定性有极致要求的金融行业。

招商银行作为金融行业头部企业,对数据库的需求更为广泛与深入,所提供的需求具有金融业的普适性和大行的特性,能够更好地锤炼打造金融级能力。

田永江指出,基本上在性能、容量以及可用性等方面,能够达到现有的商业级产品的能力,这是有别于基于开源软件上修改的重要特征。正如主持人老鱼所说,金融行业银行对于数据库的要求是最严苛的hao123网站大全,基本上银行能够满足的,其他的行业也都能够满足。

“希望能够早日成熟,通过社区共建,通过产学研用一起努力,打造一个好的生态,能够支撑更重要的业务,实现国产数据库从能用到好用的突破。”这是用户生态代表田永江的希冀,随着越来越多的行业用户积极参与到开源社区,进行联合创新,相信数据库的突破能早日实现。

学术界高校联合创新:人才培养和学术研究成果落地

高校合作是生态建设非常重要的一环,是数据库发展的长期目标,不仅肩负着解决人才短缺的重任,还有难点课题公关及研究成果的落地实践。

数据库人才短缺是世界性难题,人才培养周期长,多位业内人士指出国内数据库人才短缺问题的迫切性,经常看到百万年薪寻找数据库精英的招聘贴。根据信通院的《数据库发展研究报告(2021)》,当前数据库人才培养渠道主要有三个:高校教育、培训机构和企业。高校教育注重普适教育,重视社会人才发展大趋势需求。通过原理性知识传授、数据库系统应用实践等教学方式,为数据库产业发展提供了大量储备人才。一些企业开始加强与院校的产教融合尝试,通过与高校进行教材编撰、实训开发、专业共建、人才共建等合作项目,在高校提前培养数据库相关储备人才。

在创新论坛来自国内最高两个学府北大和清华的高校代表分享了作为学术界与社区通过联合创新在人才培养以及学术研究成果落地的探索,两个高校团队分别研究数据库领域较为前沿的图数据库和时序数据库。IT168&ITPUB在做盘点时发现,2021年国内外数据库领域的融资,很大一部分流入到图数据库,数据库最大单笔融资也在图数据库领域。图数据库是业内当红炸子鸡,以后是万物互联的时代,作为物联网基石时序数据库代表着数据库发展的未来。

北京大学王选计算机所教授邹磊强调,高校与企业相比,更加适合突破性的原始创新的探索,可以为企业提供更加丰富的先行先试的经验。同时企业可以为高校的原始创新提供广阔的落地应用空间。因此,融合高校和企业的联合创新体制对于构建开放式的开源社区,推动国产基础软件生态的构建方面具有非常重要的意义。邹磊回顾了团队在开源图数据库系统gStore方面的工作,并强调图数据库作为目前受到普遍关注的非关系数据库系统在很多行业有着丰富的应用场景,包括金融中风控场景、基于知识图谱的推荐场景等。作为技术创新中重要一环,未来团队在社区当中,与一起合作联合创新,为知识图谱和图数据库的发展做贡献。

清华大学软件学院助理研究员Apache IoTDB PMC主席黄向东指出,开源社区创新联合体的发展在于创造价值,作为高校,清华大学团队能带来两方面价值,一是给用户带来价值,其团队更关注工业互联网里面的时序数据库,也有自己的开源项目。未来团队会把用户需求以及积累的技术和做技术融合,以用户需求为指引落地产品,在时序数据库方面一起为用户创造更多价值。二是给学生创造价值。很多开发者都来自于学生,这样的开源社区为学生带来实践机会。更核心的技术在于关系型数据库,让学生学到更全面的知识,为学生开源的文化和技能打下很好的基础,培养数据库人才。

伙伴联合创新:团结共创数据库创新生态

正如社区理事长江大勇在 峰会上所讲,数据库是需要长期投入的产业,技术创新是立足之本,生态构建是能否繁荣的关键,在商业推广方面用户开放场景是对最大的支持和肯定,开源建设和人才发展是创新的源泉,技术、生态、商业,开源建设和人才发展五大因素协同,共同打造数据库根社区。

伙伴生态是数据库生态构建非常关键的一环,是数据库根社区上不断延展的枝杈,助力数据库能够更广泛触达用户。云和恩墨、海量数据、神舟通用、北京超图集团作为伙伴生态代表,相关嘉宾分享了伙伴参与联合创新的探索与思考。

云和恩墨创始人盖国强是数据库行业老兵,在数据库领域从业20多年,他提到了云和恩墨加入开源社区的初心,过去中国数据库行业的发展有着深刻的矛盾,一方面是百花齐放的蓬勃创新形态,另一方面生态才刚刚起步。必须团结,凝心聚力,才有可能对国外产品进行追赶和超越。

盖国强指出,万事归结到一点,最重要的是满足用户需求。一是满足用户当下短期需求,用户短期的需求就是安稳易用,安全、稳定、容易使用,所以云和恩墨把过去在商业数据库上构建的竞争力,如产品兼容性,迁移平稳性,运维自动化等能力带到社区,并且开源核心产品代码放到社区上去。二是满足行业的长期需求。一个产品必须是高瞻远瞩的,满足行业长期发展趋势,用户才会一直跟随,才能解决用户的长期发展的担忧。

云和恩墨基于推出了商业发行版MogDB。盖国强将数据库行业长期发展的未来概括成一个词SPA(,,AI)。第一,保证基础内核的安全稳定国家数据库,因为《国家数据安全法》提出了非常高的要求。安全是第一要义,数据是企业的核心资产,不断地加强安全性,所以团队在安全稳定方面有投入。第二,通过性能提升,最终降低用户成本,在社区版本基础之上,MogDB在基准测试里达到了256万。第三,云和恩墨成立AI团队,把AI技术不断放到数据库内核上去,从当下到远期全力创新。

“整个的数据库产业成功,是要靠生态,不仅有人才,还要有产学研全线投入,生态最好是形成合力,不要分散,今天的峰会就做出了表率。”盖国强指出。

北京海量数据也基于推出了发行版,社区贡献仅次于华为,排名第二。其总裁肖枫强调,海量数据会一直坚持沿着两个确定的方向贡献,第一是客户需求,第二是完善生态。“生态是数据库成败的关键,要看生态有没有活力。沿着客户的需求走,是沿着生态,让它壮大,更加完善,这是我们继续大批量向社区贡献的基础和方向。”

同为数据库厂商的神舟通用能够加入并进行贡献引起了大家的好奇,神舟通用总经理顾云苏介绍,大家对有很多期许,神舟通用有航天科技集团背景,其用户主要在军工、国防行业,用户更关心数据库的可靠性、稳定性不能出问题。“别的地方出问题可能是经济损失,我们这里出问题就是政治损失。”为此,神舟通用做了两块工作,一是增加了兼容性,并且把产品做好。从产品手册,产品可靠性测试,功能等方面都能够满足用户需要。二是做技术托底,在任何场景下,7×24小时的重保,必须有人在现场。

据悉,社区神舟通用也做了相关规划,目前神舟通用一直做传统的事务处理数据库,未来是多模方向,现在遇到了大量需求,期望借助能够社区开源社区发展多模方向,支撑不同数据模型,满足不同用户的不同场景需求。

北京超图集团是地理信息空间软件的平台厂商,其客户群体主要关注海量的空间数据。北京超图集团副总裁王海涛介绍,团队一方面考虑怎么样和结合之后更有性能的优势,另一方面是发展多模态和非关系型数据库,未来作为的补充。

超图集团在2020年就已经有了自己的数据库Yukon(禹贡),2021年3月份与社区签署了企业版贡献协议。禹贡是中国最古老的最具有系统性的地理概念词汇,作为超图的数据库,Yukon(禹贡)主要解决两个方面问题,一是国产信创工作,地理空间数据库参与其中。二是关于新需求,比如在实景三维建设、新型测绘上配合。希望借助生态,建立更具有中国特色数据库的合作。

在论坛的最后,各位嘉宾纷纷对的发展表达了自己的祝福和信心,大家希望以开放的心态,共建开放平台,共同完成历史使命。相信在未来三到五年时间,社区可以引领中国乃至全球数据库的创新体系。

华为云与计算开源业务总经理&开放原子开源基金会TOC主席堵俊平指出,社区三方生态联合创新的发展,打破了原来所认为的开源数据库只是内核不能用于生产的固有认知。在产学研用各方联合创新下,走向了更大规模的生产级的创新。

“成熟度各方面都非常好,非常完备,完全可以做生产级替代,但是未来创新空间依然很多,跟AI的结合,跟地理信息结合,或者面向IoT场景,面向图计算场景,大数据、隐私计算,未来空间非常大。在很多领域国家数据库,我们项目已经比较成熟,但是创新永不止步,今天主题也是要汇聚数据库创新力量,面向未来是逐梦数字时代的星辰大海。我们有足够的空间欢迎新用户加入一起创新,我们完全是开放的、创新的、共赢的社区。”堵俊平总结时强调,创新永不止步。

818114文章来源于互联网,本网转载出于传递更多信息和动漫学习之目的,并不意味着赞同其观点或证实其内容的真实性,如有侵权请通知我们立刻删除!

开源运维监控产品篇

开源运维监控产品篇

随着云计算和互联网的高速发展,大量应用需要横跨不同网络终端,并广泛接入第三方服务(如支付、登录、导航等),IT系统架构越来越复杂。快速迭代的产品需求和良好的用户体验,需要IT运维管理者时刻保障核心业务稳定可用nginx后端服务器监控,而企业运维中的痛点和难点也急需解决。

1、面向业务的运维,不但关心单点IT资源的运行状态,更关心整个业务系统的健康状态

2、如果企业使用了大量的API和模块化应用,那么关注每个接口的性能变化情况和指标

3、对于运维主管及企业管理层来说,特别需要上墙的监控大屏

4、运维需要每周、每月查看报告趋势分析,但传统运维工具数据导出困难

5、需要第一时间转雀和快速发现故障节点,减少业务中断带来的损失

云智慧对业内主流的开源运维监控系统和商业运维监控系统进行对比,分析各种产品的定位、目标用户和功能特点,希望帮助广大运维、开发和创业者找到最适合自己的运维工具。

开源运维监控产品篇

Zabbix

推荐星级:★★★★★

Zabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级开源运维平台,也是目前国内互联网用户中使用最广的监控软件,云智慧遇到的85%以上用户在使用Zabbix做监控解决方案。

入门容易、上手简单、功能强大并且开源免费是云智慧对Zabbix的最直观评价。Zabbix易于管理和配置,能生成比较漂亮的数据图,其自动发 现功能大大减轻日常管理的工作量,丰富的数据采集方式和API接口可以让用户灵活进行数据采集,而分布式系统架构可以支持监控更多的设备。理论上,通过 Zabbix提供的插件式架构,可以满足企业的任何需求。

用户群:85%以上的泛互联网企业。

优点:

1. 支持多平台的企业级分布式开源监控软件

2. 安装部署简单,多种数据采集插件灵活集成

3. 功能强大,可实现复杂多条件告警hao123网站大全

4. 自带画图功能,得到的数据可以绘成图形

5. 提供多种API接口,支持调用脚本

6. 出现问题时可自动远程执行命令(需对agent设置执行权限)

缺点:

1. 项目批量修改不方便

2. 社区虽然成熟,但是中文资料相对较少,服务支持有限;

3. 入门容易,能实现基础的监控,但是深层次需求需要非常熟悉Zabbix并进行大量的二次定制开发,难度较大;

4. 系统级别报警设置相对比较多,如果不筛选的话报警邮件会很多;并且自定义的项目报警需要自己设置,过程比较繁琐;

5. 缺少数据汇总功能,如无法查看一组服务器平均值,需进行二次开发;

6. 数据报表需要特殊二次开发定义;

Nagios

推荐星级:★★★★☆

Nagios是一款开源的企业级监控系统,能够实现对系统CPU、磁盘、网络等方面参数的基本系统监控,以及 SMTP,POP3,HTTP,NNTP等各种基本的服务类型。另外通过安装插件和编写监控脚本,用户可以实现应用监控,并针对大量的监控主机和多个对象 部署层次化监控架构。

Nagios最大的特点是其强大的管理中心,尽管其功能是监控服务和主机的,但Nagios自身并不包括这部分功能代码,所有的监控、告警功能都是由相关插件完成的。

用户群:适合复杂IT环境的企业

优点:

1. 出错的服务器、应用和设备会自动重启,自动日志滚动

2. 配置灵活,可以自定义shell脚本,通过分布式监控模式

3. 支持以冗余方式进行主机监控,报警设置多样

4. 命令重新加载配置文件无需打扰Nagios的运行

缺点:

1. 事件控制台功能很弱,插件易用性差

2. 对性能、流量等指标的处理不给力

3. 看不到历史数据,只能看到报警事件,很难追查故障原因

4. 配置复杂hao123网站大全,初学者投入的时间、精力和成本比较大

Ganglia

推荐星级:★★★★☆

Ganglia是加州大学伯克利分校发起的一个开源集群监控项目,设计之初是用于监控数以千计的网络节点。Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统。它已被广泛移植到各种操作系统和处理器架构上。

用户群:适用于大型服务器集群用户。

优点:

1. 适合监控系统性能开源运维监控产品篇,通过曲线很容易见到每个节点的工作状态

2. 可以自定义监控项,监控展示有表格和图像两种,支持手机版

3. 部署方便,通过不同的分层管理上万台机器,无需逐个添加配置

缺点:

1. 没有内置的消息通知系统

2. 没有报警机制,出现问题不能够及时报警

Zenoss

推荐星级:★★★★☆

Zenoss Core是Zenoss的开源版本,其商用版本为。作为企业级智能监控软件,Zenoss Core允许IT管理员依靠单一的WEB控制台来监控网络架构的状态和健康度。Zenoss Core的强大能力来自于深入的列表与配置管理数据库,以发现和管理公司IT环境的各类资产。Zenoss同时提供与CMDB关联的事件和错误管理系统, 以协助提高各类事件和提醒的管理效率。

优点:

1. Zenoss比较出色的地方在于它的,可以配置很多portlet

2. 每个用户的界面都是分开管理的,自定义不会影响其他用户

3. 强大监控功能支持服务器、路由交换、防火墙、存储、数据库、中间件监控

4. 采用基于HBASE的存储任意时间段的数据

5. 将状态监控,性能监控万发商务移动站,资源管理,良好的报告机制进行有机的整合

缺点:

1. 对资源要求较高,即使只管理少数几台设备,也需要消耗大量硬件及内存等附加资源。

2. 针对windows系统,开源版只提供SNMP,通过WMI检测CPU,Disk,软硬件和性能只在收费版提供。

Open-falcon

推荐星级:★★★☆☆

Open-falcon是小米运维团队从互联网公司的需求出发,根据多年的运维经验万发商务移动站,结合SRE、SA、DEVS的使用经验和反馈nginx后端服务器监控,开发的一套面向互联网的企业级开源监控产品。

Open-falcon架构

用户群:目前有几十家企业用户不同程度使用。

优点:

1. 自动发现,支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持

2. 支持每个周期上亿次的数据采集、告警判定、历史数据存储和查询

3. 高效的portal、支持策略模板、模板继承和覆盖、多种告警方式、支持调用

4. 单机支撑200万metric的上报、归档、存储

5. 采用rrdtool的数据归档策略,秒级返回上百个metric一年的历史数据

6. 多维度的数据展示,用户自定义Screen

7. 通过各种插件目前支持Linux、Windows、Mysql、Redis、Memache、和交换机监控。

缺点:由于发布时间较短,很多基础的服务监控插件(如Tomcat、apache等)还不支持,很多功能还在不断完善中,另外由于缺少专门的支持,虽然有开放社区,但是解决问题的效率相对较低。

商用运维监控系统篇

监控宝

推荐星级:★★★★★

监控宝是云智慧为用户提供IT性能监控(IT )的SaaS产品,包含网站监控、服务器监控、中间件监控、数据库监控、应用监控、API监控和页面性能监控等功能。包含免费版、畅 享版和企业版,目前用户约40万,监控宝app也是国内唯一提供移动监控服务的产品。

用户群:覆盖电子商务、移动互联网、广告传媒、在线游戏、教育医疗等行业的几十万用户,小米、陌陌、高德、用友、金山、途牛、聚美优品、陆金所、 中国平安、建行信用卡中心、春雨医生、畅游、国家电网、中国电信、滴滴打车、春秋航空、凤凰网等各行业领先企业和中国互联网百强企业超过30%在使用监控 宝。

优点:

作为国内最早提供基于SaaS服务的网络监控平台,监控宝不但为初级用户提供免费的标准服务,企业用户还可以按需购买所需的监控、告警资源,最大限度的节省企业运维成本;

监控宝通过遍布全球的300多个分布式监测节点,对网络进行稳定性和可用性的主动监控和实时分析,支持http(https)、ftp、ping、udp、tcp、smtp、等多种协议,测量CDN效果及DNS状态,全网全地域性能趋势分析。

实时捕捉服务器深层性能指标,支持Linux/Unix/Windows系统及云平台,支持CPU使用率、CPU平均负载、内存使用比例、磁盘 IO、磁盘空间使用率、网络流量和系统进程数统计等物理指标及30多种应用服务,云主机监控端一键开启,无需复杂配置。对于应用服务的监控,监控宝已经支 持常见的应用类型包括:Apache、、Nginx、Tomcat、IIS、和Redis,存储层监控支持 Hadoop、MySQL、MongoDB、、Oracle的健康状态及性能监控。

监控宝是国内目前唯一支持API监控的网络监控产品,通过API接口调用模拟用户使用过程,支持对get、post、put、delete、 head、options六种请求方式进行实时监控;支持JSON、XML、Text、 Status验证及Postman脚本导入。

Docker监控也是监控宝的独家功能,能够实时监控Docker容器的CPU、内存、网络流量及Swap状态,让开发者和运维人员在使用Docker时清晰掌握其资源消耗状况。

监控宝提供页面性能管理,基于国际标准制定页面性能指数,识别加载元素的状态及正确性,对全网全用户加载响应时间分析,同时准确定位问题元素及优化建议。

及时有效的告警通知对运维来说至关重要,监控宝可以根据SLA设置告警阈值,第一时间发送告警通知。监控宝覆盖最全面的告警通知方式:电子邮件、 短信、电话语音、URL回调通知、App Push等。另外监控宝提供分级告警通知,能够根据告警事件的不同等级将不同的告警推送给不同的人员,支持企业分层管理!

监控宝目前对其Smart Agent进行了开源,用户可以根据业务需求定制化开发Agent,同时用户的数据安全得到保障。

监控宝提供私有化部署解决方案,满足政企、金融行业专有网络监控的需求。

来自、CA、IBM等企业IT服务资深专家,超过5年的本土化企业级SaaS服务经验,以及超过百人的技术服务团队,为用户提供最佳的服务保障。

360网站服务监控

推荐星级:★★☆☆☆

360网站服务监控是一款面向广大站长的网站监控产品,提供免费的网站、服务器监控。

用户群:个人站长

优点:

818114文章来源于互联网,本网转载出于传递更多信息和动漫学习之目的,并不意味着赞同其观点或证实其内容的真实性,如有侵权请通知我们立刻删除!

解读数据库的2021:资本进来添了一把火,开源已占据半壁江山

解读数据库的2021:资本进来添了一把火,开源已占据半壁江山

作者 | 李冬梅

本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一,由 InfoQ 编辑部制作呈现,重点聚焦操作系统在 2021 年的重要进展、动态,希望能帮助你准确把握 2021 年操作系统的核心发展脉络,在行业内始终保持足够的技术敏锐度。

“InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一,将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域,后续将聚合延展成专题、迷你书、直播周、合集页面,在 InfoQ 媒体矩阵陆续放出,欢迎大家持续关注。

特此感谢方勇、黄东旭、李海翔、罗荣龙、杨传辉(花名日照)(按姓名首字母排序)对本文的贡献,他们的真知灼见,是本文能与大家见面的关键。

2021 年以来,企业数字化转型进入深水区,行业数字化场景爆发式增长,数据以指数级数量增长。就在去年计算机在数据库的应用,我国也明确了数据在市场化配置过程中成为了继土地、劳动力、技术、资本之后的第五大生产要素,数据在社会发展进程中的重要性不言而喻。

承担数据存储与计算的数据库与操作系统、中间件并列为三大基础软件,数据库的种类非常多,常见的有从数据模型上对其进行划分的,包括关系型数据库、文档型数据库、图模型数据库,以及综合了多种模型的多模数据库等;再有从架构角度区分的,有单机型数据库、主备数据库、分布式数据库等;还有从应用类型的角度区分的,如 OLTP、OLAP 等;以及从技术特征区分的,带有时代特性,如 NoSQL、NewSQL 等。所以严格来讲,数据库没有固定的划分标准。

那么,整体来看,数据库领域 2021 年发生了哪些值得关注的大事件?业内资深大咖们又观察到了哪些技术趋势?

2021 年数据库领域重大事件回顾

2 月 24 日,华为云正式发布云数据库 GaussDB(for )全网商用。GaussDB(for )是华为基于 自研生态推出的企业级分布式数据库,能为企业提供高可用、功能完备、性能卓越、开放生态、极致弹性的企业级数据库服务。

2021 年 3 月 19 日,中央政府采购网发布《中央国家机关 2021 年数据库软件协议供货采购项目成交公告》,21 家数据库厂商入围,其中除了甲骨文的 Oracle 和微软的 SQL Server,其余全部为国产数据库,份额达到 90%。

3 月 12 日,新华社受权全文播发《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要》。其中值得关注的是,“开源”首次被明确列入国民经济和社会发展五年规划纲要。

4 月 25 日,PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本。TiDB 5.0 在性能、稳定性、易用性等方面均取得了巨大进步,并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性,通过引入 MPP ( ,即大规模并行处理)架构成为具备完整 HTAP 能力的分布式数据库,为企业数字化转型提供一栈式数据服务平台。

5 月 11 日,浪潮发布开源国产数据库 ZNBase 2021 发展规划。ZNBase 是浪潮开源的一款 NewSQL 分布式数据库114网址导航,具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性,支持完整 ACID,支持 协议访问,同时提供自动化运维、监控告警等配套服务。可为用户提供完整的分布式数据库解决方案。

5 月 18 日,腾讯云发布首款全自研分布式分析型数据库 TDSQL-A,以应对海量数据实时分析需求。这是腾讯云数据库在品牌升级后的首次新品发布。TDSQL-A 是腾讯首款全自研的分布式分析型数据库,支持行列混合存储,适应于海量 OLAP 关联分析查询场景,全面兼容 语法、高度兼容 Oracle 语法。

6 月 1 日 hao525万发商务移动站,蚂蚁集团自研数据库 宣布开源,开放近 300 万行源代码,采用木兰协议,代码托管主站在 Gitee,镜像在 GitHub,同时成立 开源社区,社区官网同步上线。最新的 3.0 版本,让 同时具备了在事务处理和数据分析两类任务的高性能能力,升级为一款支持 HTAP 混合负载的企业级分布式数据库。和过去相比,事务处理性能提升 50%,数据分析性能提升 10 倍。

6 月 10 日,《中华人民共和国数据安全法》(简称《数据安全法》)经十三届全国人大常委会第二十九次会议表决通过,并将于 2021 年 9 月 1 日起正式施行。《数据安全法》出台,标志着我国将数据安全保护的政策要求,通过法律文本的形式进行了明确和强化,为数据作为新的生产要素推动创新和经济发展提供了法律依据,将为下一阶段数字经济的安全发展保驾护航。

6 月 20 日,全球公认三大数据库顶尖会议之首的 SIGMOD 在西安举办,这也是时隔 14 年后 SIGMOD 大会再度回归(2007 年 SIGMOD 第一次在中国北京举办)。

7 月 8 日,阿里云 RDS 数据库进行品牌升级,推出云原生企业级自治数据库。

7 月 9 日,国家电网有限公司具有自主知识产权的电力行业图数据库产品“”在 2021 世界人工智能大会正式发布。中国工程院院士倪光南表示:“在图数据库自主创新方面,我国从 2019 年起开始自主研制电力专用图数据库,实现了核心技术工具的技术创新和自主可控,有力支撑了‘电网一张图’建设。

经过了近三个月的沉淀后,9 月 1 日,《数据安全法》正式落地实施。中国信息通信研究院联合 30 余家单位正式发起“数据安全推进计划”(Data ,以下简称“DSI”)。DSI 是一个公益性合作项目,将依托大数据协同安全技术国家工程实验室、中国通信标准化协会大数据技术标准推进委员会、中国互联网协会数据治理工作委员会开展具体工作,致力于打造健康规范的数据安全生态体系,帮助企业了解监管要求,全方位提升企业数据安全能力。

9 月 17 日,TiDB 社区首批通过可信开源社区评估,获评 OSCAR 尖峰开源项目及开源社区。会上中国信通院云大所所长何宝宏发布了由 PingCAP 和中国信通院联合撰写的业内首个《开源社区成熟度白皮书》。

10 月 20 日,阿里云在 2021 云栖大会现场宣布正式开源云原生分布式数据库 PolarDB-X 的源代码,将自研云原生分布式核心技术分享出来114网址导航,进一步推动云原生分布式数据库发展。

12 月 20 日, 通过工信部电子标准院首批开源项目成熟度评估。

这一年,从业者看到的几大现象

近两年,作为基础软件之一,数据库可以称得上是最火热的一个赛道,这背后根本的原因是因为大家认识到了数据的重要性。技术发展到如今,上层应用和底层基础设施发生的了翻天覆地的变化计算机在数据库的应用解读数据库的2021:资本进来添了一把火,开源已占据半壁江山,而这种变化一定会推动中间层——数据库的变化,也就是说,光靠传统的狭义的数据库已经无法解决当下的新需求了,我们需要一些新内容注入到数据库中。而这一年,关于数据库的发展,从业者眼中看到了几大现象。

数据库产品工程化程度变高

多家产品走向金融行业,开始落地生产环境

2010 年起,随着云计算技术的快速兴起,云数据库技术也顺势得到了迅猛发展,这给了国产数据库厂商弯道超车的机会。多家产品走向金融行业,开始落地生产环境。在过去的一年里,腾讯云 TDSQL 落地在中国银行和农业银行等; 在金融行业拥有多个标杆案例客户如工商银行、建设银行、南京银行、广东农信、中华财险等,另外在运营商场景中也有落地,客户数突破 400+;而华为 GaussDB(for ),主打政企核心业务负载的金融级分布式数据库hao123网站大全,在性能、可用性、弹性方面全面提升,并且已经受金融业务全场景的严苛考验;PingCAP TiDB 成功应用于浦发银行、北京银行、浙商银行、中国人寿、平安科技、微众银行等多家金融企业的联机交易、在线支付、信贷管理、实时风控等场景。

各类型数据库走向“大一统”

随着云上技术和基础设施的日臻成熟,数据库领域迎来了的“大一统”。

数据库的种类纷繁复杂,以前集中式数据库和分布式之间有明显的边界,而近年来,这条边界正在逐渐模糊,集中式数据库和分布式数据库在慢慢融合hao123网站大全,两者能够在同一套架构里互有补益,这是第一种融合。

其次,OLTP 数据库跟 OLAP 数据库也在融合,比如 底层是基于原生分布式架构,在解决数据量问题的同时,在一套系统里又能做好交易、也能做好分析,这是 OLTP 和 OLAP 的融合;TiDB 今年发布的 5.0 版本也提供了完整的 HTAP 混合负载处理能力,引入了 MPP 引擎,在实时性与一致性前提下实现 OLTP 和 OLAP 负载完全隔离,在中通快递双十一等读写双高的极致场景下提供优异的性能和稳定性。

第三个融合,是传统数据库跟炙手可热的大数据之间的融合。传统数据库更偏向结构化、事务化的数据的处理,大数据更偏向非结构化、非事务化的数据的处理。当前新型的数据库,既能处理传统数据库擅长的事务型工作,又能适配大量的 SQL 语法兼容当前的数据开发工作,甚至能进行非结构化、分布式计算的大数据类型工作,所以数据库基本上是朝着一个融合的趋势发展的。

其实数据库的“大一统”是业内人士一直在尝试去做的事情,只是彼时苦于云上技术和基础设施不够成熟而无法实现。但是最近两年,这些条件基本已经成熟了,所以 HTAP 才能变成了可能。

甩掉“落伍”数据库的包袱

因此甩掉“落伍”的数据库的包袱,对数据库的发展来说是一个利好。

新型数据库的迅速崛起,给传统数据库带来了一定冲击。以 Hadoop 为例,Apache Hadoop 作为一个完整的开源大数据套件,在过去的十多年里深刻影响了整个计算机界,但随着各类新兴技术的发展,面对种种新需求时,Hadoop 已经明显“力不从心”了。就在今年,13 个与大数据相关的 Apache 项目(包括 Sentry、Tajo 和 Falcon)宣布取消,这就给了新技术库腾出了更多的发展空间。

数据库的发展必须要跟业务场景相结合,新的技术要有场景和人去使用才会有它的进步空间,如果老旧的数据库架构一直占用着有限的应用场景,那么新技术的发展空间就会受到限制,因此甩掉“落伍”的数据库的包袱,对数据库的发展来说是一个利好。

资本进入,为数据库添了一把火

资本的进入,为数据库领域添了一把火。

资本都是逐利的,而在基础软件领域,数据库无疑是最受资本青睐的一块“大蛋糕”。2020 年 9 月, 在纽约证券交易所上市,让人震惊的是,上市首日股价大涨超 110%,估值翻了一番多,从 330 亿美元增至 700 多亿美元,并一举成为了美国有史以来 IPO 规模最大的一家软件公司。

在股市中的强劲表现背后释放出了一种信号:开源及数字基础设施被资本盯上了!据《2021 年数据库发展研究报告》显示,从融资总量上看,我国数据库产业投融资在近几年呈井喷式爆发。从 2013 年开始,数据库企业逐步吸引了资本的目光。

据不完全统计,2021 年各企业完成千万级甚至上亿级融资数量在 14 轮以上。对比我国数据库初创企业成立时间分布可以看出,众多初创数据库企业经过几年的技术积累与市场运作,已逐步在资本市场崭露头角。资本的进入,为数据库领域添了一把火。

818114文章来源于互联网,本网转载出于传递更多信息和动漫学习之目的,并不意味着赞同其观点或证实其内容的真实性,如有侵权请通知我们立刻删除!

汇数据库创新力量,逐梦数字时代星辰大海,openGauss Summit召开

汇数据库创新力量,逐梦数字时代星辰大海,openGauss Summit召开

若问国内IT基础设施领域哪个板块门槛又高、容量又大?我想非数据库莫属!

那么,究竟什么是数据库呢?数据库是由特定软件,即数据库管理系统搭建、处理、维护的数据及数据间逻辑关系的集合体。它面向多种应用hao123,可以被多个用户、多个应用程序所共享。数据库和数据库管理系统共同组成了数据库系统。

数据库处于IT架构的核心位置,向上是各种应用的支撑引擎,向下调动计算、网络、存储等基础资源。因此,数据库的重要性不言而喻,数据库对产业发展和数字化转型有重要意义。

数据库市场,不光是大蛋糕,更可以称之为“IT基础设施皇冠上的明珠”,只是这个明珠,过去常年被国际巨头垄断。但是最近几年,做数据库的小伙伴发现,势头有点不大一样了,国内的数据库玩家们风生水起,开始爆发式增长。

据艾瑞统计,2020年中国数据库市场总规模达247.1亿,较2019年增长16.2%,CAGR(2020-2025e)达15.6%。2020-2022中国数据库市场将呈高速增长,由多方面因素促成:

1,政策利好,国家大力鼓励国产数据库厂商的发展;2,需求拉动,国产化和数字化建设带动需求的爆发增长;3,供给端多元厂商发力,传统、初创和跨界厂商厚积薄发,产品和技术经历了工程实践的打磨走向成熟;4,国内企业对基础软件的付费意愿和IT支出也在逐年提升,有利于市场的长期发展。

虽然中国数据库市场发展呈利好趋势,但是数据库发展的难度仍不可小觑。国产数据库厂商要坚持长期投入,攻克技术难关,耐得住寂寞hao123网站大全,不要急于求成。随着互联网的发展,多种类型数据爆发式增长,各种创新业务场景层出不穷,进而促进了供给端厂商技术和产品架构的创新,从而给市场和客户带来了更多优质的选择,开源模式将成为产业互联网时代数据库厂商的破局之刃。

从产业发展角度来,开源模式一方面提高了数据库产品开发的“效率”,它将源代码开放,避免了研发人员对基础程序的重复开发;另一方面有助于产品的技术“创新”,开源社区最大程度上汇聚了全球的资源力量,为开发者提供了交流切磋的空间,从而加速创新灵感的诞生。

对于厂商而言,尽管从表面上看,企业部署开源并不能获得直接的利益,但在这个过程中,它们却可以布局产品的生态建设,从而为自己获得有利的战略地位。在当今移动互联网向产业互联网发展的转折点,开源模式未尝不是各云厂商、传统厂商、新兴厂商扩展市场的破局之刃。

要知道汇数据库创新力量,逐梦数字时代星辰大海,openGauss Summit召开,开源模式的驱动因素有很多,包括:

实践反馈。数据库作为基础软件,应用场景和种类具有复杂性的特点,需要大量的工程实践,开源社区可以提供足够的反馈,加速数据库产品的改进。

生态布局。开源模式有助于培育相应的专业人才,促进周边生态产品的研发,为后续发展打下基础;同时有利于扩大传播面积,提升产品整体影响力。

客户转化。开源产品符合企业开箱即用,快速试错,低成本学习的要求,因此具备用户群体广、传播速度快的特点。在此基础上,有助于提升其专业版/商业版的转化率。

低成本。开源数据库一方面省去了巨额的license费用;另一方面对高性能硬件的依赖度不高万发商务移动站114网址导航,可作为分布式节点满足企业海量数据处理需求。

可扩展。开源数据库源码可见,可以最大程度利用全球开发者的智慧。另外,公司可以根据自身业务在开放源码基础上进行灵活开发和扩展。

IT建设。对于发展到一定量级的企业,都在一定程度上具有建设自己IT力量的需求。而开源数据库具有源码开放,社区活跃的特性,“站在巨人的肩膀上看世界”不妨是一种企业IT建设的有效路径。

数据库已经开源一年多了,其社区迅速壮大,生态蓬勃发展,围绕企业级性能、企业级安全、企业级可靠等方面持续加强,并在行业加速落地。目前成功支撑邮储银行新一代个人业务核心系统上线,并成功打造同业领先的金融核心系统;中国民生银行通过DBPasS结合丰富查询视图及OM工具实现智能运维114网址导航,使用全密态支持其全生命周期数据保护;基于鲲鹏4路服务器的中国移动数据库性能测试排名绝对领先。

生态是开源库数据库成功的关键因素,一直就秉持共建、共享、共治的生态策略,携手产业链伙伴 hao525,最终实现生态共赢。不仅代码开源,还通过开源社区运营,让业界的开发者、伙伴能公开透明的参与进来,通过技术委员会、SIG组的形式广泛汇聚业界的技术专家,为发展提供源源不断的智力支持和思想输入。

创新之道,唯在得人。得人之要,必广其途以储之。高校是人才培养的根据地,是人才发展的未来。联合高校,通过产、学、研、用,打通人才体系建设,通过基础理论对接产业和市场需求构建知识体系,从理论到实践到应用相结合,构建良性人才生态,激发产业持续活力。

从基础研究、高校合作到产业创新,社区汇聚高校、产业界的智慧和力量,共同开展数据库基础软件创新突破。持续聚焦数据库根技术数据库中的视图,以开源协作创新,为业界带来持续领先的数据库技术与产品;以开放繁盛生态数据库中的视图,联合产业链上下游伙伴,让落地千行百业,助力客户加速数字化转型,共促产业发展和生态繁荣。

值得一提的是,12月28日, Summit 2021将在北京以线上+线下形式举办。 Summit 2021由中国软件行业协会、中国计算机学会数据库专业委员会指导,是开源社区主办,联合20家数据库领域相关企业举办的年度开源数据库技术盛会。本次大会旨在与产业界通过技术创新、生态构建、商业推广、开源建设和人才发展等方面的合作,共同驱动数据库无界创新,合力创造行业用户数据新价值。

学术专家、行业用户、合作伙伴和社区贡献者齐聚峰会,共同探讨数据库技术与行业数字化转型过程的融合创新,展现开源数据库最新的创新技术和多元化开放生态。让我们拭目以待!

818114文章来源于互联网,本网转载出于传递更多信息和动漫学习之目的,并不意味着赞同其观点或证实其内容的真实性,如有侵权请通知我们立刻删除!

专访阿里云 Serverless 负责人:无服务器不会让后端失业

专访阿里云 Serverless 负责人:无服务器不会让后端失业

简介:2012 年,云基础设施服务提供商 Iron.io 的副总裁 Ken 谈到软件开发行业的未来,首次提出了 的概念,为云中运行的应用程序描述了一种全新的系统体系架构。此后,以 AWS 为代表的云服务厂商将 概念逐步落地,陆续推出了基于 的 FaaS(函数即服务)产品。经过几年的发展, 架构已被业内认为是引领云原生下一个十年的发展潮流。

2012 年,云基础设施服务提供商 Iron.io 的副总裁 Ken 谈到软件开发行业的未来,首次提出了 的概念,为云中运行的应用程序描述了一种全新的系统体系架构。此后,以 AWS 为代表的云服务厂商将 概念逐步落地,陆续推出了基于 的 FaaS(函数即服务)产品。经过几年的发展, 架构已被业内认为是引领云原生下一个十年的发展潮流。

据 Gartner 报告,2020 年全球已有 20% 的企业采用 技术部署, 从底层进行技术变革计算资源的形态,为企业的软件架构设计和应用服务部署引入创新的技术设计思路。

尽管如此hao123,国内的一些企业和开发者在面对 时依然持观望态度。一方面是相关技术在国内起步较晚,部分开发者对新技术的接受度较低;另一方面,国内的 生态建设较为落后,市面上相关的工具链并不完善,这导致开发和部署难度大、成本高。

近日,阿里云 技术团队宣布开源 Devs 平台,为开发者提供了一套 工具链体系。据介绍,通过该平台,开发者可以一键体验多云 产品,快速部署 项目。

为了进一步了解 Devs 项目的特性,以及 、微服务等云原生技术生态在国内的发展趋势,开源中国邀请到了阿里云 研发负责人杨皓然(不瞋),阿里云 产品经理、 Devs 项目发起人江昱,与我们分享了 项目的细节与国内 生态的情况。

以下为采访原文:

1. 请简要介绍一下阿里云 Devs 项目的技术团队成员构成。

:团队是由阿里云智能云原生中间件前端负责人带队,联合阿里云智能云原生函数计算团队的多名技术专家,以及数名社区爱好者。通过开源思路,进行项目建设,耗时 120 天。

Devs 的技术团队核心研发人员主要包括:

2. 目前使用阿里云 平台服务的具体落地场景有哪些?

: 作为基础研发底座,被越来越多的企业所接受,并应用于业务实践中。除了互联网企业最早“尝鲜”之外,传统企业也在探索大规模使用 。

以世纪联华为例,2019 年的 双11,函数计算 FC 帮助世纪联华顺利渡过了大促。2020 年 双11,世纪联华全面迁移到函数计算 2.0,抗住了超过去年 230% 的业务峰值,并且研发效率交付提效超过 30%,弹性资源成本减少 40% 以上。如今,阿里整个经济体都在实践 ,包括淘宝、天猫、支付宝、钉钉、飞猪、闲鱼、语雀等,并将 的应用场景扩展到前端全栈、小程序、微服务、新零售、游戏互娱等领域。具体场景如下:

在小程序、Web/Moible 应用、API 服务等场景中,业务逻辑复杂多变,迭代上线速度要求高,而且这类在线应用,资源利用率通常小于 30%,尤其是小程序等长尾应用,资源利用率更是低于 10%。 计算的免运维,按需付费的特点非常适合构建小程序 / Web / Mobile / API 后端系统,通过预留计算资源+实时自动伸缩,开发者能够快速构建延时稳定、能承载高频访问的在线应用。在阿里内部,使用 构建后端服务是落地最多的场景,包括前端全栈领域的 For ,机器学习算法服务,小程序平台实现等等。

典型的离线任务批处理系统,例如大规模音视频文件转码服务,包含计算资源管理、任务优先级调度、任务编排、任务可靠执行、任务数据可视化等一系列功能。如果从机器或者容器层次开始构建,用户通常使用消息队列进行任务信息的持久化和计算资源的分配万发商务移动站,使用 K8s 等容器编排系统实现资源的伸缩和容错,自行搭建或集成监控报警系统。如果任务涉及多个步骤,还需要整合工作流服务实现可靠步骤执行,而通过 计算平台,用户只需要专注于实现任务处理逻辑,而且 计算的极致弹性能很好的满足突发任务对算力的需求。

典型的 计算服务通过事件驱动的方式广泛的与云端各种类型服务集成,用户无需管理服务器等基础设施和编写集成多个服务的胶水代码,轻松构建松耦合、分布式的事件驱动架构的应用。

以阿里云函数计算为例,通过 API 网关和函数计算的集成,用户可以快速实现 API 后端服务。通过对象存储和函数计算的事件集成hao123,函数能实时响应对象创建、删除等事件,实现以对象存储为中心的大规模数据处理。通过消息中间件和函数计算的事件集成,用户能快速实现海量消息的处理。通过和阿里云 的集成,无论是一方云服务,还是三方的 SaaS 服务,或者是用户自建的系统,所有的事件都可以快速便捷的被函数计算处理。

通过定时触发器,用户能够用函数快速实现定时任务,而无须管理执行任务的底层服务器。通过云监控触发器,用户可以接收 ECS 重启/宕机阿里云控制台前端框架,OSS 对象存储流控等 IaaS 层服务的运维事件,并自动触发函数处理。

具体案例请参考:

3. Dev 项目诞生的契机和愿景是什么? Dev 与阿里云此前开源的另一个 项目 Midway 是否有联系?

:首先我们在服务集团内外的用户时看到,工具链是 被用户接受的最大障碍。这主要体现在以下几方面:

其次从云原生发展的趋势来看,开发者在构建云原生应用时,要解决的问题的范围和复杂度在不断增加。比如在构建应用时,开发者仍然需要花大量精力来处理和业务逻辑无关的细节问题,包括资源的创建和删除,权限管理等等;对于企业级客户,除了资源管控外,还需要做到安全合规,比如怎么保证敏感数据没有被错误的赋予外部访问权限,VM 没有被禁止访问公网等等。我们相信在工具层面,将有巨大的创新空间。

因此从实际用户需求和未来趋势两个方面出发,我们希望为开发者打造一条工具链,能帮助用户完整的解决应用开发和运维环节的问题,将 dev 和 ops 真正串联起来,提升研发效率。我们希望这个工具做到良好的 “ ”,当问题简单时,能够快速上手;当问题变得复杂时,同一套工具和流程仍然能胜任。

:虽然说 已经发展很久了,也不是什么新鲜的概念了,但是 的工具链还蛮匮乏的。我们不仅意识到了这个问题,也和很多用户进行过深度沟通,对用户在使用 的时候遇到的问题也是非常关注专访阿里云 Serverless 负责人:无服务器不会让后端失业,最终我们决定要做一个“站在开发者角度的 工具链体系”,其目的是可以让开发者像使用手机一样使用 ,可以给大家更简单、方便、快捷的上手体验、实践操作,并且可以在 项目的全生命周期发挥作用。至于和 Midway 的联系,我觉得是非常紧密的,因为 Devs 更多是一个工具层的产品,而 Midway 则是一个框架层的产品,二者互为补助,毫不冲突。

4. 我们看到 Devs 的定位是 “首个支持主流 服务/框架的云原生全生命周期管理”的平台,它的首创性体现在哪些方面?与业内已有的 服务平台相比有何优势?

:对比 等流行的工具, Devs 有几个明显的差别:

5. Devs 开源了哪些部分?选择开源的目的是什么?

: Devs 开源了两个主要部分:命令行工具与应用中心。 其实是一个开发者驱动性很强的领域,我们将整个项目开源,将整个思路开放,其主要目的是想要站在开发者角度,去为开发者提供开发者所需要的工具,让开发者们自己定义和建设 工具链,我们也希望通过这种形式,可以和更多的开发者有交集114黄页网,接触到更多的 爱好者,和大家一起 。

6. 如果开发者在 Devs 上部署了自己的应用,之后还可以将该应用转移到其他平台上吗?比如转移到其他云服务平台或本地服务器,转移过程是否便捷?

:多云的应用迁移涉及到很多的因素 hao525,除了计算平台的迁移,还包括数据迁移,配置流程迁移等。 Devs 的设计哲学是帮助开发者用统一的方式 build、deploy、release 容器或 应用。无论用户使用何种语言(nodejs/python/golang/java),何种平台( K8s/阿里云 /Google cloud run 等),研发运维的体验是一致的,因此 Devs 能够简化应用迁移到其他平台的难度。

7. 有一种说法是 “ 会阻碍开源服务的创新”,因为目前很多流行的开源软件还不能大规模地部署在 Faas 平台上,毕竟目前主要的开源软件并不是针对 执行环境的阿里云控制台前端框架 hao525,特别是数据系统。未来的趋势是创造更多 原生开源软件,还是把一些已有的主要开源软件迁移到 架构呢?

:” 会阻碍开源服务的创新” 这个观点来自于 UC 的论文 《 : One Step Forward, Two Steps Back》,论文中的谈及的 对开源服务创新的阻碍是指当下 的局限性。半年后他们发表了另一篇论文:《Cloud : A View on 》,预言 面临的挑战是可以解决的,会成为云计算的默认范式。当前 已经成为学术界的研究热点,从 2017 年开始,每年相关论文数呈 2 倍速增长。

当前学术界/工业界在 方面主要研究趋势:

8. 架构与一些流行的微服务架构是什么关系? 是否会取代微服务架构?

: 和微服务架构不是对立的,而是不同维度的概念。微服务是一种架构模式,而 FaaS 为代表的 计算平台则是实现微服务的一种方式。微服务可以用 FaaS 实现,也可以用 PaaS 平台, K8s + 容器,或者 VM 实现。

判断选择用什么来实现微服务,要从可靠性、成本、性能、工程效率、安全性、系统迁移难度等维度出发,不同的场景有不同的取舍。当下在微服务场景下使用 架构,最大的挑战在于和现有微服务框架兼容,能够平滑迁移存量应用。为了解决这类问题,阿里云 应用引擎应运而生,兼容 、Dubbo 等流行微服务框架,传统应用平滑迁移,集成 ARMS 等阿里云服务,提供开箱即用的可观测能力,同时提供定时伸缩,按指标伸缩等弹性能力,让微服务场景也能享受 的红利。

9. 有网友担心 等云服务的出现会取代很多后端工程师的工作,以后中小型公司似乎只需要雇佣前端业务开发者即可,这种看法是否准确? 能否给一些年轻的后端开发者提供一些发展的建议。

:这种看法是片面的。对于任何一项技术,需要思考它的源起、趋势、优劣势,特别是要自己去实践,才能得出客观的判断。 并不是新技术,阿里云第一个云服务对象存储 OSS 就是 的存储服务,使用 OSS 并没有压缩后端开发者的技术发展空间。下图是要构建一个弹性高可用的后端系统需要考虑的因素,只有蓝色虚线的框才是平台负责,其他大量内容仍然需要后端开发者设计和实现:

计算只是解决了基础设施管理等最基础、对用户最没有差异化的脏活累活。正如当前已经几乎没有开发者会基于汇编语言构建应用, 也是如此,期望在 cloud 时代,为用户提供高级语言的编程体验。

818114文章来源于互联网,本网转载出于传递更多信息和动漫学习之目的,并不意味着赞同其观点或证实其内容的真实性,如有侵权请通知我们立刻删除!

国产数据库的逆袭,OceanBase再造OceanBase

国产数据库的逆袭,OceanBase再造OceanBase

有这样一群人,他们原本是互联网大厂的“工程狮”,却一路选择了最难的道路,2010年,20人团队要“去IOE”中的O,甚至要和Oracle甲骨文、Google谷歌这些公司在数据库上较量一番。

“不知天高地厚,是不是只是玩票。”质疑声从未停止。但偏偏这群最偏执的追梦人,在2019年的「数据库领域的世界杯」,打败了称霸这一领域9年的Oracle。他们的梦想还不止于此,要让更多的企业都用上新一代分布式数据库。2020年6月8日数据库置疑是什么意思,为了完成这个梦想,他们从大厂中独立出来创业。

十年冷板凳,这是属于这群最“偏执”人的追梦历程。今年,他们把300万行代码开源,创造属于自己的社区生态,这又是一项国内技术领域创举。在上周六的HICOOL 全球创业者峰会上,再次宣布“创计划”为中小企业“全免服务”。

聚集这群人的公司名为“北京奥星贝斯科技有限公司”,如果你对这个名字陌生,那并不意外。提起他们的产品,你也许听说过,名为“”分布式数据库。如果再说起他们服务的客户,你一定不陌生,10亿级用户的支付宝平台,工商银行等200多家客户。

10年前,为何立下Flag,10年后,他们为何又从蚂蚁集团中独立?如今万发商务移动站,又为何要独立打造自主的开源技术社区?现在,为何又要为中小企业提供全免服务?

在刚刚结束的HICOOL全球创业者峰会期间,北京奥星贝斯CEO杨冰接受了Tech星球的专访,讲述了战略发展的思考,以及开源、服务中小企业背后,再造的逻辑,这群追梦人将自己演绎成了数字时代的主角。

底气

在科技互联网时代,芯片和操作系统是大家熟知的技术高峰,而数据库由于概念难懂,大众对其认知并不深刻。实际上数据库也是俗称的“卡脖子”技术。在 2020 年 6 月科技日报发布了制约我国工业发展的 35 项技术,数据库管理系统即名列其中。

一直以来,国内企业的数据库,大都采用的是Oracle和IBM的传统关系型数据库。这两家企业在全球范围内,也是数据库的执牛耳者,Oracle一家的全球市场份额就超过50%。但对于很多快速发展的互联网企业来说,数据呈指数级增长,数据库却只能搭积木式的维持。

“这个事情有专业词语叫Scale up。”杨冰告诉Tech星球,”就像是你拿了一辆车,不断地给它装更高的配件。四缸变八缸变十二缸,但是再怎么样加配,你也是只能不断的升级,而不是换代。“

传统关系型数据库的水平扩展能力的缺失以及高昂价格,让不少企业开始思考有没有更好的替代方案。方案肯定是有,当时谷歌发布了 Google Spanner分布式数据库。“这种新型数据库架构也叫scale out,支持水平扩展。“杨冰形象地向Tech星球解释:”它可以连接形成一个网络,可以线性的扩展,只要加机器就有,这种方式就让它的处理性能没有天花板。”

当时,Oracle不是没有意识到这种新型数据库的潜力,只是自己传统集中式的数据库,与互联网时代的分布式数据库,天然存在利益冲突。Oracle没有决心革掉自己的命,还得在8年之后才深刻意识到。

Oracle躺着赚钱的心思不难理解,但对于阿里来说,其不仅是Oracle亚太地区最大客户,还是拥有全球最大的Oracle集群。每年缴纳巨额的费用,却日渐无法满足淘宝和天猫的发展。这让阿里动了换掉Oracle的心思。

杨冰回忆当时的起步缘由,创业团队从2方面考虑后决定做数据库。第一,现在淘宝的发展需要新型数据库,业务发展需要;第二个数据库相当于毕竟是软件领域当中的“芯片”,应该是软件当中,除了操作系统以外最难的产品。

“所以在这个层面上,我们也希望能够去打造一个中国的品牌,真正纯正的中国品牌,不是基于开源的技术。”很少有人知道,当时Oracle是最好的外企offer,毕业生都以进入Oracle、IBM和SAP为荣,阿里和腾讯无论是薪资还是名气都还排不上号。

就是在这样的背景下,现北京奥星贝斯首席科学家、创始人阳振坤等人,已经开始了研发之路。这里还有插曲,也正是当年选择了全部自研,10年后,才能选择 Open Core 商业模式,将300万行核心代码全部开源。

没人能打包票一定成功,那时阿里还有很多团队在做数据库,大家的技术路线也并不相同。留给的机会并不多,最早只是在淘宝的收藏夹,这样一个小场景中适用。

在发展的第二阶段,得到了“阿里云之父”的王坚博士的支持,他说服了原蚂蚁集团的CTO鲁肃。“新型分布式数据库在金融场景下应该是更适合。”

就这样,并入蚂蚁,真正迎来跨越式发展,开始在蚂蚁集团的业务中登台亮相。杨冰说,“有一年双十一计划给我们1%的业务量,后来公司问我们双十一交易高峰给你10%行不行,我们说行。也没有别的选择,就来吧。然后顶过去了,顶过去就一战成名。”

在互联网场景中淬火的,尤其经历蚂蚁集团的金融+互联网的锻炼,验证了其能力,也成就了一张闪亮的名片。

最值得纪念的时刻,也是在,他们实现了挑战技术霸主的愿望。

在2020年9月,数据库领域最权威的国际机构国际事务处理性能委员会 TPC 在官网发表了最新的 TPC-C 基准测试结果, 以 7.07 亿 tpmC 的在线事务处理性能,打破了自己在 2019 年创造的世界纪录。

硬仗

技术上登顶后,能不能改变国内数据库市场的格局?

在成立10年后,这群偏执的人又给自己提出了这些疑问。离开巨头的怀抱,独立出发了。

产品能不能经受的住客户考研?能不能让客户心甘情愿换代?独立后怎么养活自己?这些疑问是这帮技术人才,过去没有考虑过的问题。在2020年6月份成立后,他们还是勇敢迈出了这步。

但迎接OB的,并不是鲜花和掌声。如今中国现在两百多家数据库,现在数据库已经构成当年滴网约车大战,共享单车大战那种感觉。“大家都在搞,也是因为开源把入门的门槛变低了。”

这些开源的数据库产品,往往是基于MySQL或进行二次开发。演化的路径也分为两个派系,一方面OLTP(事务型),另一方面是OLAP(分析型)。但企业发展至今,往往需要两者数据库配合使用,但两者配合使用时存在延时的问题。这时候,HTAP型数据库就开始成为新一代主流数据库类型。

就是这种数据库的代表,由于HTAP基于分布式架构,支持弹性扩容,可轻松应对高并发和海量数据库场景。但也是相对传统关系型数据库的这些优点,让不少企业开始质疑,的产品,真的有这么厉害吗?

中国人保健康也经历了这种从质疑到相信的过程,在最初,中国人保健康后台需要离线处理保单,系统效率平均下来每单需要耗费 5 秒的时间。在接入支付宝合作后国产数据库的逆袭,OceanBase再造OceanBase,巨大的流量冲垮了其传统的集中式架构。这时候支付宝自身采用的分布式架构,走向其视野。

采用的架构后,最明显的变化是,处理能力也从过去的 5 秒 1 单到现在每秒千单,系统保单的处理速度从 4 个小时缩短为 6 分钟。业务前台接入互联网,后端采用新一代数据库处理业务万发商务移动站,中国人保健康也体验了一把“互联网速度”。

不仅是中国人保健康,在为期3个月的观察验证之后,中国工商银行与蚂蚁集团、阿里云技术团队共同制定主机下移方案,并于今年9月正式投产。两地三中心的分布式集群,五副本+主备模式的高可用,传统金融单位也越来越信任。

事实上,国内外的金融和电信行业,曾经是Oracle和IBM的数据库绝对垄断的领域。在不断攻克传统金融巨头时,难道Oracle没有反击吗?

Oracle一直是王者万发商务移动站,但英雄迟暮也是众所周知。2019年5月,一则Oracle中国区首批裁员900人,赔偿N+6的消息爆出,揭开了Oracle大调整的序幕。背后等国产数据库的进击,以及Oracle市场份额从垄断到跌落至17%左右。

的成人礼

创业后,也体会到独立过日子的不容易。

“以前是一个产品技术主导的一个体系,但是从去年开始,我们成立商业化团队之后,我们要把客户放在第一位。因为我们得从内走到外面,得到市场的肯定。这个时候客户的业务环境不同就有定制化的要求,我们就要去做定制化的开发。”

独立后的树立10大标杆客户,主动上门布道,主动提供VIP服务,让客户真正把用起来。

在这些企业中,使用效果如何?据杨冰告诉Tech星球,比原来集中式的数据库使用成本几乎降低一半:”50-80%都有可能,规模越大节约成本久会越大”。

但是它会有个下限,据杨冰介绍,如果客户只有三、五台,那就没有这个效果,如果说超过七、八十台数据库置疑是什么意思,一百台MySQL的实力,这个规模下如果全部换成,效果会很明显,起码砍一半成本以上。

但对于想颠覆国内传统数据库的局面,还有很多事情要做。最关键的地方在于,尽管兼容MySQL、Oracle等传统数据库,但是的产品如何更快被企业接受,如何快速建立起不同于MySQL和的第三套自研生态体系,都是一件任重道远的事情。

过去10年,杨冰形容是在阿里巴巴和蚂蚁的这种“双十一”喂出来,磨出来的,在最复杂和海量的业务环境中磨练出来。但在未来如何打动中小企业,吸引其替换底层数据库是重点,“分布式数据库还是一个巨大的新兴的市场万发商务移动站,Google Spanner 还没有开源,在国内率先开源共创,就是期待抓住这一时代机遇。”

杨冰具体解释道:“因为开源开放很多参数可以调,很多其实他自己可以去适配,所以会更容易。我们在今年的6月1号,正好成立1年的大会上宣布开源。”这次开源后,开发者更容易下到的代码,看到的原理,中小企业可以去DIY去使用和调配。

据了解,在9月份的HICOOL 2021全球创业者峰会上,杨冰正式宣布“创计划”。“创计划”强调“全免服务费”, 解决中小企业数据库的技术痛点,首期“全免服务费”权益向100家中小企业开放。免费服务项目包括:前期的技术咨询、人才培训、数据迁移等全链路的技术服务。

创计划的推出,也意味着国产数据库的开源与服务中小企业口号,不是玩虚的。与国内众多企业一起共创未来,这将促使100%自主研发的进化成何种模样,也是件值得关注的事情。

据介绍114网址导航,目前在生态合作方面, 在产业端也与40家伙伴完成了深度合作; 认证工程师达到1万+;技术/服务类伙伴也拓展至12家;此外还投入千万级资源参与高校人才建设;而在客户服务方面,目前 也累计服务200家客户。

“在中国并不缺一家数据库的公司,但却缺少一家真正能够完成核心替代的高端数据库。”杨冰总结道 hao525,期待 可以实现最终梦想,成为国内外企业做最多选用的分布式数据库。

818114文章来源于互联网,本网转载出于传递更多信息和动漫学习之目的,并不意味着赞同其观点或证实其内容的真实性,如有侵权请通知我们立刻删除!