2016年11月18-20日,由 CSDN打造的“SDCC 2016中国软件开发者大会”(简称SDCC 2016),在北京京都信苑饭店盛大开幕。大会为期三天,汇聚100多位国内外顶尖专家和知名讲师,全体大会探讨当下软件开发的“新趋势”与“新实践”,而14场专题论坛则直击开发者关注的技术和行业实践, “英雄会”晚宴和特色活动也异彩纷呈。SDCC 2016致力将最前沿的软件开发技术,以及最具创新的实践案例带给开发者,是国内软件开发领域最具价值的专业技术年度盛会。 SDCC始创于2007年,十年长空,历久弥新——2016年,SDCC已分别在上海、深圳、成都、杭州四地举办系列峰会,广受当地开发者欢迎。作为的年度收官之作,本次大会聚焦最前沿技术成果,汇聚年度最强实践案例,为中国软件开发者们呈献了一份年度技术实战解析全景图。 如果重视技术人才和工程师在这个时代的意义,如果期待技术实践能带来一日千里的发展,如果决心塑造新的企业关键竞争力,请不要错过SDCC。SDCC前行的路上,有你的陪伴才不会孤单,在软件开发技术日新月异的今天,感恩有你,让我们在快速变革的时代始终保持初心。
17:40【Erlang 编程语言专题论坛】在火币网CTO程显峰的主持下,Erlang设计者Joe Armstrong、阿里云RDS技术专家黄大鹏(武藏)、环信首席架构师兼IM技术总监梁宇鹏、Yunba云巴CEO张虎一起围绕着 Erlang 与编程语言设计实践以及并行编程进行了深度的交流与探讨。 直至今日,Armstrong 先生依然会写代码,也在现场分享了他的一天,从起床、看新闻,弹1小时左右的钢琴这些技术之外的事情,到突然之间迸发的灵感并将之付诸实践。对于编程语言,Armstrong 先生认为“编程语言该生而简单,语言需要保持简约性,必须简单好用,才能方便开发者的学习”。
17:30【电商架构专题】京东搜索部平台部负责人王春明带来主题演讲《京东搜索架构演进之路》,涵盖搜索产品简介、搜索架构演进之路、搜索应对1111之道、搜索的挑战四方面内容,从微观角度分析搜索系统的架构设计及如何满足突发需求。首先他将电商搜索与大搜索相比较,表明电商数据具有结构化、召回率高、信息时效性高及用户个性化需求高等特点。通过介绍搜索架构在四个不同阶段的不同性能,详细阐述了搜索架构应如何满足这些需求。随后分享了搜索如何应对1111,提出面临的主要问题:高并发查询、低延时、海量数据&实时更新、复杂的排序模型、个性化需求,还涉及部署结构、搜索服务流程、三级缓存、托底系统等内容。最后总结阐述了时下搜索系统所面临的复杂挑战。
17:20【架构师进阶之路】华为内源平台架构师庄表伟,分享了《架构的来处》的主题演讲。“一将无能、累死三军”,开发者加班的最大因素,就是架构设计的错误。架构设计是研发项目中的一组关键决策,恐惧、贪婪、傲慢与无知,都会导致架构师做出错误的决策。错误的架构决策,不能简单的甩锅给产品经理。内源平台的目标是:将开源社区的理念、方法、流程,应用于企业内部的研发实践,不仅仅是一个“满足用户需求”的项目。架构师应该追求:高质量的架构设计,然后才会有高质量的软件实现;正确的架构设计,然后才能减少返工、降低潜在风险;先进的架构设计:然后才能提升软件的整体竞争力。“路漫漫其修远兮,吾将上下而求索”,架构师,必须不断学习、思考,才能不断进步。
17:10【前端开发专题】QQ音乐&全民K歌高级工程师袁聪发表《全民K歌React Native实践与优化》主题演讲。袁聪主要对React Native的简介、原理、优化与展望进行了详细讲解,其中在分享React Native优化时,袁聪分别从Bundel拆分、动态加载、首屏秒 开、网络优化以及其他优化,包括内存、安装包大小及安全性等方面做了干货分享。而后续的优化主要包含两个方面,即差分算法 增量更新和Hot Reload。随后,袁聪也对React Native做了展望,首先是与Native的性能差异变得更小;其次是更丰富、更高效的组件和动态;再次是可能成为中小微型体量应用的首选开发方案;最后,可能替代大部分H5的应用场景。
16:50【电商架构】淘宝资深开发工程师范围带来“淘宝商品体系架构的历史和演进”主题演讲,以“业务问题+淘宝实践中的解决手段”为模式展开,全面分享淘宝体系架构的演进、商品架构,以及元数据在淘宝商品体系架构中的应用三大部分内容。架构是一个拆分再重组的过程,就是将系统整体拆分成一个个部分,并赋予不同的角色,再加以构建从而形成整体的过程。而淘宝随着发展的不断推进,架构体系也在不断升级,在这个阶段对稳定性和高可用的追求是架构升级的一个主要原因。淘宝早期业务简单,起初知识一个购买的PHP 系统,随后逐步发展为Java系统,开始有一个后台应用,然而随着淘宝商城的出现,系统开始面临巨大瓶颈,开发团队不断壮大,需要支持更复杂的业务特性。如今,商品概念不再局限于实物本身,服务等都成为一种商品形态,这也对商品体系架构提出了新要求。在这里淘宝用到了元数据来控制和实现应用逻辑,而元数据驱动架构的核心思想就是提高元数据使用比例。
16:35【前端开发专题】58到家高级前端工程师周俊鹏发表《基于webpack的前端工程解决方案》主题演讲。周俊鹏分别从四个层面对主题进行阐述,即首先,前端工程解决的问题;其次,webpack在前端工程化中的定位;再次,58到家前端工程化实践;最后,对前端工程化理想模式的思考。而选择webpack主要是基于其功能强大、稳定、与前端新技术/框架高度融合、可扩展性优秀及社区力量庞大等特性。
16:20【Erlang 编程语言专题】Yunba云巴CEO 张虎发表《实时系统 Erlang 实践》主题演讲,在面临支持亿级用户、线性扩容、高可用、软实时等方面的挑战时,有着异步 IO(Libev/epoll、Node.js)、轻量级进程(Erlang、Golang、Akka)等可选方案,而 Erlang 可公平调度、支持分布式、进程独立的 GC、OTP,基于此张虎具体分享了其团队在 Erlang 的实践,主要为: 1. OTP Applications:每一个 模块封装一个 Application(Supervisor),业务逻辑由 Worker 实现,对外提供 RPC 接口; 2. 接入负载均衡模块:实时监控,动态添加、移除接入点,每一个接入点用一个 Erlang 进程监控; 3. 主逻辑模块:每个 Worker 每次处理一个业务请求; 4. 大规模 publish:目标客户端数在200+,Worker 把 publish 分片,每个分片由一个 Erlang 进程处理; 5. 离线消息性能问题:无线网络抖动频现,需保证离线消息送达率,一次 publish 有可能大量离线消息。 最后,张虎还就“为什么 Erlang‘难学’”这个问题分享了自己的经验,Erlang并不难学,首先,学习者对于函数式语言需要有几天的适应期,但还是有很多人都在工具链处放弃了。而云巴团队之所以会选择 Erlang 是因为其所带来的便利性,但工具链的确是阻碍 Erlang 普及的一大因素。
16:20【前端开发专题】Ruff架构师、JavaScript专家周爱民发表《有前端思想的物联网系统架构》主题演讲。周爱民首先介绍了 三位图灵奖的获奖人并由此引出本次的分享议题,即程序是可被组织的元素。接下来,周爱民详细解释了如何将物联网描述成网络,进而把它Run在云端。那么如何将网页Run起来?周爱民认为,其本意并非Run的问题,而是Run me的问题,也就是Run后面的me。
16:10【架构师进阶之路】PingCAP CTO黄东旭分享了《一个架构的演进和开发哲学》的主题演讲,帮助大家了解分布式基础软件架构及开发哲学,技术团队管理和复杂度控制经验,开源社区运营的一些技巧。All problems in computer science can be solved by another level of indirection,所有的计算机问题都可以抽象到另一个层面解决。在写Parser的同时,我们还做了:收集了MySQL社区所有我们能找到的集成测试,到现在大约累计了1000w个;将存储引擎的行为抽象成很薄的几个接口,使得可以无缝的接入各种嵌入式kv engine; 团队大约十号人了;还好每层都拆分的比较彻底,否则没法并行; 开源了,顺便上了把 HackerNews的首页。Talk is cheap, show me the tests,构建一个数据库最难不是写出来,而是证明它是对的,对于一个分布式数据库来说更加困难,只有测试才可解决新的开发者、模块加入带来问题。Embrace the community you don't need to do everything,我们和 CoreOS 的 Etcd team 是好盆友,遇到什么问题可以以最高的优先级解决它^ _ ^ ……TiDB仅仅用了两年时间,便成功地挑战了MySQL的传统地位,发布了分布式NewSQL的产品级实现。这些关键的决策思考及基础软件开发团队管理,是TiDB 的架构师完成此项任务的重要基础。
16:10【电商架构专题】独立技术顾问易兵带来主题演讲《传统电商架构的云计算之路》,包括电商网站的一般架构、问题域与目标、容器架构探索实践及关键问题三方面的内容。他以腾讯、淘宝网交易服务平台架构的介绍开场,突出“云+多端”的显著特征。想要构建理想的电商架构图需要从线上和线下两个角度实现无缝对接,但在这个过程中,除去要求细化目标外,还会遇到服务治理、弹性容量、平滑升级演进、DevOps等问题。随后谈到了容器云的控制流与业务流,详细介绍容器技术及其与微服务架构的关系。此外还提到了活跃度较高的分布式容器管理系统kubernetes,阐述了它的性能、设计结构、工作原理和常见问题。对于这些想法该如何落地?他提到要从服务治理、服务发现、健康检查、负载均衡等多角度实施。
16:10【架构师进阶之路】阿里巴巴资深技术专家,B2B首席架构师郝景顺发表了《我们看重的架构师特质》的主题演讲,结合自己在阿里多年的架构经历,尤其是这两年对架构组织的管理实践心得,阐述了不同环境、不同时期企业期望的架构师的特质。架构管理面临可维护性、可管理性、效率与成本、架构文化的建设的挑战,人们希望架构师们能理解B类业务、B类用户、B2B的产品和技术,具备抽象与设计能力、快速学习能力,可以运用大数据解决问题,架构实施、技术领导力、循序渐进有耐心。企业内部不同规模的部门需要架构师解决的问题各不相同,企业在不同发展阶段解决架构问题的策略也不一样。架构师需要为自己职业发展所需的技能做好储备,以便跟随企业的发展壮大而成长。“用“方言”沟通;兼顾各方利益;接受不完美;面向未来思考,成就他人”是架构师的生存法则,懂业务、懂开发;兼顾各方面的利益;我们需要接受不完美并改善;比如安全、性能的预判都是对未来的思考。如果都做到了,我们就成就了他人。
16:10【架构师进阶之路】阿里巴巴资深技术专家,B2B首席架构师郝景顺发表了《我们看重的架构师特质》的主题演讲,结合自己在阿里多年的架构经历,尤其是这两年对架构组织的管理实践心得,阐述了不同环境、不同时期企业期望的架构师的特质。架构管理面临可维护性、可管理性、效率与成本、架构文化的建设的挑战,人们希望架构师们能理解B类业务、B类用户、B2B的产品和技术,具备抽象与设计能力、快速学习能力,可以运用大数据解决问题,架构实施、技术领导力、循序渐进有耐心。企业内部不同规模的部门需要架构师解决的问题各不相同,企业在不同发展阶段解决架构问题的策略也不一样。架构师需要为自己职业发展所需的技能做好储备,以便跟随企业的发展壮大而成长。“用“方言”沟通;兼顾各方利益;接受不完美;面向未来思考,成就他人”是架构师的生存法则,懂业务、懂开发;兼顾各方面的利益;我们需要接受不完美并改善;比如安全、性能的预判都是对未来的思考。如果都做到了,我们就成就了他人。
15:30【电商架构专题】岗岭集团技术副总裁黄哲铿带来“智慧医药电商系统的探索与实践”主题演讲,从移动电商的角度和大家分享如何架构一个大型电商系统。首先,他指出架构是基于场景构建的,脱离场景的架构是不存在的。谈及双十一带来的海量数据,就不得不分析一下核心微服务高并发实践,微服务也是本专场的热门话题之一,实践中根据业务模块划分服务种类;每个服务可独立部署且相互隔离;通过轻量级API调用服务;服务需保证良好的高可用性。此外,商品个性化推荐也能很好地提升用户体验,除却常见的根据访问购买记录进行推荐之外,本次分享中还着重介绍了个性化推荐系统和地理位置之间的关联。
15:30【Erlang 编程语言专题】环信首席架构师兼 IM 技术总监梁宇鹏发表《Erlang 在大规模分布式系统中的问题与应对》主题演讲。首先,在架构实践方面,以会话存储层设计为例,Mnesia 能处理么?在没有持久存储的情况下能,但是节点宕机时会遇到全局锁,从而导致所有节点都会阻塞引发整体集群无法访问,以自带的分区功能减少每个节点数量。随后,梁宇鹏对 Erlang 在大规模分布式系统中的运用进行了具体分享,包括分布式设计、全连接网络、进程调度等方面,他表示:调度的本质是计算资源的分配,公平才能保障系统的实时性,开发者需谨慎使用进程组,比如 Erlang的 Kafka client——Ekaf会把 pg2 把所有的调用方绑在一起,导致在网络闪断或 Kafka Server 端出问题时,全集群的锁定,对此,可将进程信息改为本地存储,该方案已开源。
15:20【前端开发专题】360奇舞团前端工程师钟恒发表《使用Vue.js 2.0开发高交互Web应用》主题演讲。钟恒主要分享Vue.js实 战,首先是架构,当架构确定后便进行开发,开发完成后则要进入一个痛苦的阶段,即填坑。接下来,钟恒以实战的角度为现场的 开发者分享了自己这些年的填坑经验,主要基于架构、开发、填坑(优化)三个方面进行了详细讲解了如何使用Vue.js 2.0开发高 交互Web应用。
15:10【架构师进阶之路】和创科技研发总经理曹洪伟发表了《老曹眼中的全栈架构师》的主题演讲。为什么需要全栈?老曹认为性能瓶颈、沟通困难、救火灭火、资源紧张这些需求导致需要全栈型的架构师。通过技能、性能、效率三个主要方面了解全栈的技术栈。在效率中的环境方面,全栈架构师需要了解:硬件、IDE、虚拟机: VirtualBox、沟通工具、知识管理;语言方面,需要了解:Java、Objc、Python、JavaScript;敏捷方面,需要了解:Scrum 流程、协同工具、质量工具、持续集成/发布;DevOps需要了解:配置、环境、管理、集成部署、质量反馈、自动化流程、协作流程、组织变革、产品管理。这些都效率。初此之外,全栈架构师在技能方面需要了解:操作系统、数据存储、网络、框架与库、安全、微服务、云服务、大数据;在性能方面,需要了解业务与代码、运行时调优、数据访问、缓存、均衡、消息队列。只有了解了以上“套路”,了解什么是全栈,如何成为全栈,认识全栈必备的相关技能,你才能称为一个真正的全栈架构师。
14:50【电商架构专题】微盟萌店架构部架构师谢茂森发表主题演讲《创业型千万级社交电商萌店SOA架构实践之路》。本次分享从创业公司技术的挑战与痛处、电商业务拆分与SOA服务治理关系、SOA核心技术体系、SOA技术选型、SOA架构演进实践要点五方面阐述。作为典型的创业型公司,萌店面临着业务多变、资源缺乏、异构系统等常见问题。为此,他从萌店SOA核心技术体系入手,重点说明了萌店SOA实施内容:技术框架、知识体系、专家团队、组织架构、业务梳理,随后在配置中心、SOA框架、监控平台、发布系统角度介绍了技术选型的重要性。此外还涉及了SOA-Proxy、业务异常体系、云平台、服务降级、实时监控、应用错误信息、具体接口调用链、接口日志查询等技术内容。作为中国最大的微信第三方开发服务商,萌店为同处于创业情境下的公司提供了服务治理的丰富实践参考。
14:50【Erlang 编程语言专题】阿里云 RDS 技术专家黄大鹏(武藏)发表《Erlang 在云上数据链路的应用》主题演讲。当今云上数据链路面临着数据库服务极其严苛的可用性要求、云上业务多样性带来的困难、超高并发带来的问题、运维实体从几十到几十万带来的问题、资源倾斜、低成本与高效率的矛盾等挑战。作为高性能、高可用的平台,Erlang提供了相关的基础设施,负责任务调度、内存管理、应用隔离、网络框架、高可用框架、代码热替换,由此武藏与其团队开始了 Erlang 在云上数据链路的应用实践探索。比如在高可用方面,当硬件、操作系统故障,内部逻辑 Bug 造成假死,可在检查到异常后,采取将 SLB 路由摘掉、流量导走的措施。而在热升级方面,武藏建议:1. 尽量有soft_purge,purge不成功不要强行替换;2. 数据与应用逻辑的兼容,写好code_change;3. 避免模块间循环依赖;4. 动态启动的进程可能不会执行code_change。
14:36【架构师进阶之路】易宝支付CTO陈斌发表了《架构师的成长之路》的主题演讲。金字塔架构既有形又有神,而我们现在的东西能有形就不错了。作为架构师你从事物的本源考虑问题,分析问题和业务解决方案,具备从业务方案转化为技术方案的能力,而且架构师的方案要有独立思考,要有自己的风格和品位。初级学习1-2年积累知识,中级2-4年积累技能和组织影响力,高级4-7年应用经验和部门影响力,架构师需要至少7年以上,通过自身的智慧提供跨部门影响力。互联网企业要成功,除了在业务模式上要有优势以外,也需要在技术管理方面形成不断向上的良性循环。这种良性循环的形成需要有合适的技术人才,合适的组织结构,合适的管控流程以及合适的技术决策。
14:20【前端开发专题】饿了么Node Team负责人黄鼎恒发表《纯手工搭建一个高性能实时监控系统》主题演讲。黄鼎恒带来的是 APM的分享,他表示之所以要搭建实时监控系统,主要是用于监测系统漏洞。由于饿了么的客户量非常巨大,所以每天收到的报错量 是惊人的,而通过搭建APM可以便于收集系统的error,并通过对报错做甄别、归类,可以方便大家认领及快速分析。黄鼎恒表示, 希望通过今天的分享,能让大家了解到APM并利用APM帮助团队去查找系统error。
14:10【电商架构专题】阿里巴巴AliExpress技术高级技术专家桑植、许晓斌发表“跨境电商的基础架构及区域化部署实践”主题演讲。本次分享分为上下两个部分,前者基于AliExpress基础架构展开详尽分析,后者侧重区域化布置细节的讨论。跨境带来多数据中心的问题,很容易影响用户体验,数据库是否要同步和路由也是不容忽视的问题。区域化部署在基础架构上实现的过程中也遇到了很多挑战,海外机房带来支撑全世界流量的需求,很难找到足够大的机房。容量上的局限带来了水平扩展的问题;可用性局限带来了异地容灾的需求;性能也在很大程度上影响着用户体验。这一系列挑战更是在数据一致性、切换速度和就近访问等方面提出了极高的要求。
13:40【架构师进阶之路】滴滴出行技术研究员许令波发表了《思维模式的转变,从工程师到架构师再到技术TL》的主题演讲。从阿里到滴滴出行,许令波的丰富经历是其有很多架构师方面的感悟与大家分享。从普通的工程师到架构师,从架构师再到技术TL,许令波认为架构师需要知道如何从内在思维上提升自己:第一、职场新人要成长成为架构师如何先做事再做人、与人协作、如何了解老板希望你的、如何善于发现兴奋点;不仅是技术上的修炼,与老板以及合作伙伴都要协作上注意实现别人的想法。第二、做好架构师角色外要成长为一个技术TL如何从利己到利他、多提建议少出解决方案,TL要成为工程师和架构师的坚强后盾,需要把公司的目标、老板的目标中与团队成员的成长进行对接。最后,许令波阐述了“对上不要脸,对同级不要脸,对下属不要脸”三个不要脸的原则。
13:30【前端开发专题】Stackla前端团队Leader蒋定宇发表《不断归零的前端人生》主题演讲。蒋定宇首先为开发者分享了自己过 往的工作经历,并如约实现自己出国工作的梦想。接下来,蒋定宇分别从生活的重置—梦想、心态的重置—产品、团队的重置—成长、技术重置—前端,四个方面紧扣主题为现场的开发者带来精彩的技术及人生的分享,让大家对未来工作和生活规划有了新的认识。最后,蒋定宇也总结了自己的分享,即生活的归零实现了自己出国工作的梦想、心态的归零在产品上学到了一些知识、团队的归零,有成长也有牺牲、而技术的归零则是这两三年前端技术的不断更迭。
13:30【Erlang 编程语言专题】Erlang 语言设计者 Joe Armstrong 发表《Erlang和我的编程人生》主题演讲,分享了自己从“Young Me”到“Dr Me” 的多彩程序人生,以及 Erlang 的设计、开源、使用。Armstrong 的事迹让我们津津乐道,而他在现场则以非常诙谐的方式分享了自己那与计划有点背离却殊途同归的程序生涯。因着1972年攻读物理学博士、1975年“Really run out of money”转向计算机科学,1986年创立 Erlang,到之后被 Fired、Erlang 开源,认为“PPT 总是会摧毁人们的创造力”的 Armstrong 先生用手绘图里的哭和笑表情带过了个中曲折。 而在编程方面,Armstrong 先生分享到: 1. 人们总认为产品开发流程是这样:Specify→Build→Test→Sell→$$$,然而实际上却是这样的:start→??????????→Product; 2. 学习语言从一个问题开始,比如 Xcode:How can we confuse people? Erlang:How can we program telephony? 3. 关于文档:Read the code; 4. 关于性能:Wait 10 years for x1000 improvement,在未来二十年,所有与关键性能相关的软件将与硬件相融合。
13:30【电商架构专题】唯品会高级架构师王海波发表主题演讲《唯品会电商平台架构治理》,主要包括唯品会电商平台架构概述、业务及应用架构的治理、数据架构的治理三个方面。他以唯品会独有的“特卖”商业模式开场,列举了目前唯品会电商系统所面临的业务平台分散、系统交互复杂、维护困难、数据定义混乱、系统风险性较高等问题。针对这种情况,提出了架构治理的原则和方法:建立专门的治理机构、标准和规范先行、建立管控流程、问题驱动、先拆分再整合、以业务架构为核心。随后重点分析了业务能力拆分这一要点,从业务环节、业务对象、业务特性、业务模式四个维度展示了唯品会电商平台业务架构图,并以“取消订单”服务化示例加以说明。最后提及了业务服务化分层、统一元数据管理、SQL治理及数据质量监控等内容,为听众详细阐述了唯品会服务化、生态化的电商系统架构。
13:25【前端开发专题】w3ctech&前端圈发起人周裕波做开场致辞,周裕波首先分享了过去自己的开发经历,并为与会开发者介绍每位演讲嘉宾,分别是Stackla前端团队Leader蒋定宇、饿了么Node Team负责人黄鼎恒、360奇舞团前端工程师钟恒、Ruff架构师、 JavaScript专家周爱民、58到家高级前端工程师周俊鹏、QQ音乐&全民K歌高级工程师袁聪,以上6位技术大咖将为大家带来精彩的前端开发经验。
12:00CSDN 首席数据分析师、研发总监左建平正式发布了《2016中国软件开发者白皮书》,并在现场进行了重点解读。白皮书集结近万名开发者,覆盖8大技术领域、47个行业,报告显示:软件开发者的收入与工作压力成正比,70%的开发者处于长期加班状态;国内企业软件开发流程日益规范化,60%的开发团队使用包括自动化运维、敏捷等各类型工具,以提升开发效率和产品质量。2016年,中国开发者已经成为全球开源社区最重要的贡献群体之一,在 GitHub 上,来自中国的活跃用户数进入前三。而在今年大火的直播领域,在技术快速发展的同时,业务形态同质化现象却非常严重,亟需差异化和创新型应用。同样热门的 VR 应用开发仍然处于发展初期,仅有3%的开发者具备实际 VR 产品开发经验。而在人工智能领域,极度缺乏专业技术人才与高质量数据资源。另一方面,据 Gartner 预测,到2019年,将有20%的企业会放弃 App,AI 驱动新一轮信息技术变革,技术融合运用增多,而 Web 应用开发技术日趋成熟,具备全栈开发能力的开发者数量越来越多。在此技术趋势下,开发者需具备敏锐的判断和选择能力,制定明确的个人成长目标,持续学习,并学会打造个人品牌,有意识地接触不同行业,提升自身的能力。 [详情]
12:00【CSDN采访间】华为PaaS首席系统工程师俞岳在CSDN专访间接受了记者的专访,针对华为paas平台的不同点,对于企业内部特别大的问题,端到端的真正的应用开发敏捷,快速上线的问题,没有一个完整的解决方案,而华为paas2.0主要是在统一架构上,解决从企业开发到生产然后端到端的大多数问题。这个统一架构的平台是基于开放开源的技术,那我们的平台里面也是融入了这个docker、kubernetes等技术。 对于paas平台的构建,paas内部的“内核”会帮助用户做一些任务调度,还有资源管理的事情,之上会是构建一层服务。因此华为认为未来认为用户的应用架构,肯定不是从0开始做的,那么肯定是要基于某些已有的东西,来构建的,用户自需要写最核心的那小部分逻辑,其他的尽量都是用现有的服务来构建,构建出相应的服务,这样才能满足快速上线,敏捷的要求。
11:15一点资讯算法总监王元元发表《提升内容分发效率和价值背后的核心技术》主题演讲。人类阅读奇点将至,人工智能的普及,流量要素是效率,那么效率应该如何提高?这与人工智能时代核心的技术机器学习算法以及海量数据息息相关,随着用户规模增加,算法及复杂度也会随之复杂。从算法的角度看效率和价值的背离,海量数据所产生的价值通过专家知识进行管理,面对被动的反馈要学会主动的引导。基于海量数据的推荐GBDT系统设计,以用户兴趣定义、发现、满足分布引入专家知识。接儿引入用户画像,从数据、维度、自顶向下、顺藤摸瓜为策略,使用对应的内容的主动进行试探。试探必定会有一定收益并要付出一定的代价,一点资讯平衡二者关系主要采用LinUCB的Exploration-Exploit(E&E)方法。最后王元元分享使用简单的模型合并、基于先验合并、限制性回归等多任务学习方法解决建立一个推荐点击模型同时满足多种用户反馈问题。
11:00【CSDN采访间】CSDN首席数据分析师、研发总监左建平在采访间接受了媒体的采访,他首先从专业的角度介绍了本次中国软件开发者白皮书从数据的收集到数据的清洗以及解读,最后生成报告、观点的过程,他表示,每一届的白皮书CSDN都会有社区的专家提供支持,保证大的调研结果和观点在大的方向上,不会有太大的问题。针对今年的白皮书,他也给出了很详细的解读,包括云计算何大数据领域和往年的不同,视频直播和VR领域的一些新变化,其中他很提到了调查结果和主观感觉不一样的地方,他以视频直播为例说明,一方面今年以来视频直播异常火热,但是另一方面视频直播表现形式以秀场为主,同质化倾向非常严重。最后,对于白皮书的价值,他表示,回到当初CSDN做白皮书的的初心,一方面CSDN的宗旨更好给开发者提供服务,一方面除了技术上,知识上的服务之外,另一方面也希望给开发者提供一定的就业、择业,甚至是学习的指导,白皮书可以承载这方面的功能。
10:30【CSDN采访间】一点资讯算法总监王元元在csdn采访间接受了记者们的采访,他首先介绍了一点资讯系统的打造过程以及经历的难点.一点资讯在个性化推荐和内容分发的领域是起步较早的一家创新企业,坚持技术导向,基于算法推进的基础之上,他们一直强调私人定制价值阅读的理念。在谈到一点资讯的个性化推荐系统时,他表示也经历过好几个阶段,在一开始的阶段他们没有用户的数据的情况下,更多是根据专业的,专家的知识,启动策略。随着我们用户的规模越来越大,推进算法的威力就能够充分的发挥出来,他们可以根据用户大量的后台反馈,可以获取用户对文章直接的兴趣,从而,整体的效率是随着数据量的增加不停的往上涨,具体模型到架构的一些变迁,从一开始易于并行化的设计,慢慢的过渡到一些需要更大并发或者说更高模型复杂度的阶段。
10:30华为PaaS首席系统工程师俞岳发表“新一代华为PaaS平台助力企业IT全云化转型”主题演讲,通过回顾云化挑战、技术发展趋势,以及华为PaaS平台的架构设计,全面分享了华为公司在云计算领域的思考和实践。企业转型素来说易行难,阻碍这一进程的三大山分别是组织流程、应用架构,和系统平台建设。他指出了“部门墙”烟囱式设计以及单体应用架构带来的升级时间窗等问题。同时分析了企业应用架构由单体应用到松耦合的SOA再到Micro Service一步步细粒度拆分的云化进程。此外,PaaS平台现在在企业内部显示出碎片化的形式,而未来的PaaS平台一定是一个统一架构的开发平台。最近的容器技术在PaaS平台的演进历程中扮演着重要的角色,Docker的出现给PaaS平台带来了新的技术和发展,“Docker是进程,PaaS是机器”。 [详情]
9:50【CSDN采访间】ThoughtWorks 中国区 CTO 徐昊在分享完《技术雷达之PaaS容器即进程,PaaS即机器,微服务架构即编程模式》之后,在采访间接受了记者的采访,在回答技术雷达如何保证它的客观性时候,他强调说技术雷达强调的正是它的非客观性,行业里面有太多的因为选错技术而造成悲惨的结果,所以不能通过有多少人使用和采纳某项技术,因为脱离上下层级的时候,你没有办法判断这个技术做出是对还是错。因此,技术雷达是来自ThoughtWorks为全球客户提供的实践和经验基础上提炼总结出当前软件开发与实施过程中的变化。技术雷达上面的每一个技术背后,委员会都有一些狂热的支持者,技术雷达上的技术来自这些人的理性思考和经验总结。
9:50Erlang之父Joe Armstrong发表“如何设计高可靠的分布式并行系统”主题演讲。以其30年的并行编程经验切身探讨了并行编程优于顺序编程的诸多方面,包括简易性、统一性、以及可靠性。Armstrong先生表示,现实世界是并行的,计算机程序也应该遵循现实世界并行的物理规律。并行计算的简易性体现在并行编程只需模拟外部世界的运转模式,“无需多动脑筋”;统一性和可靠性体现在其能够实现计算机内部的相互备份与支持,当一个模块发生故障时,其他模块能够无缝接手其工作。在现场,Armstrong先生以电梯控制系统为例说明如何编写并行程序。最后,Armstrong先生为开发者介绍了学习Erlang的方法以及相关书籍。 [详情]
9:10ThoughtWorks 中国区 CTO 徐昊发表《技术雷达之 PaaS 容器即进程,PaaS 即机器,微服务架构即编程模式》。在过去五年里,云已经成为真正意义上的“The de facto platform”,如何在实践中真正拥抱这样一个平台的变化是整个行业都在思考的命题。我们能够看到,行业内许多所谓的云化操作仅仅只是简单的迁移替代。云和内核虚拟化存在着什么样的差异?在我们使用 AWS 等设施时,就是在使用云?而虚拟化和云之间存在的一大鸿沟就是完全拥抱云平台给我们带来的弹性。大家狂热地强调自动化部署,但对于应用而言,真正的问题是,是否能够发挥云的最大效果,能否真正利用云平台带来的好处。 [详情]
9:00CSDN &《程序员》总编孟迎霞发表开场致辞,热诚欢迎各位参会者前来,并介绍了最早创办于2007年的SDCC中国软件开发大会,是由CSDN和美国CMP集团合作,引入国外一流的技术会议。SDCC已经十年,今年更是相继走进了上海、深圳、成都、杭州等地,在深入探讨与分析软件研发基础上,更聚焦人工智能、区块链等前沿技术实践,其更大的目的是为开发者提供深入交流的机会,希望大家在三天中收获满满。 [详情]
9:00十年长空,历久弥新!11月18日上午9:00,SDCC 2016中国软件开发者大会在北京京都信苑饭店正式拉开序幕。作为年度收官之作,本次大会聚焦最前沿技术成果,汇聚年度最强实践案例,为中国软件开发者们呈献了一份年度技术实战解析全景图。
18:00【微信开发专题】腾讯云技术步道师、腾讯云小程序教程作者贺嘉进行了《基于腾讯云的小程序快速开发》主题演讲。对于时下正是火热的微信小程序开发,除了建议开发者详读官方的开发教程以便更好地上手之外,贺嘉更基于自身实战经验具体分享了小程序的开发适合场景、踩过的坑以及面临的技术挑战。贺嘉表示:小程序更适合开发面向低频用户、时常使用的工具,或提供某种功能的应用,并不建议开发重度的游戏、直播类产品。目前小程序开发还存在许多问题,比如不支持WebView,在一个应用中同时只能打开5个页面,在WXSS中不能使用本地资源,小程序本身不能超过1M等。 在技术挑战方面,则包括:现有SDK/DEMO缺乏云端支持,开发者需逐个模块搭建云端服务,过程冗繁。并且,小程序必须通过HTTPS完成与服务端通信,直接导致开发效率大幅降低。
17:50【高可用架构专题】 58赶集集团转转事业部资深数据研发工程师李军带来“转转二手交易平台大数据体系化与高可用实践”主题演讲,重点阐述转转二手交易平台在二手业务的高速发展下,数据如何体系化、平台化、高可用。纵观数据采集——数据传输——建模存储——统计挖掘——可视化这一发展全程,每个环节都有其难点需要一一突破。为了应对系统可用性差、维护成本高、体验不统一以及业务增长和数据运营的矛盾等问题,团队展开数据体系化操作,包括数据仓库化和数据平台化。在数据仓库化的介绍中,涉及数据的结构化、低耦合、主体化、模型化、ETL,以及高可用。论及数据平台化则关注全局架构、数据架构以及BI平台等。在BI平台方面,团队只做了两项工作,包括业务需求抽象分类和多样性解决方案。而此处实时多维统计对监控的意义就在于保证数据的时效性,通过服务降级和水平扩展实现高可用。同时,所谓“一图胜千言”,还要实现数据可视化。 [详情]
17:20【高可用架构专题】阿里巴巴大数据计算平台首席架构师林伟发表《高可用的大数据计算平台如何持续发布和演进》主题演讲,具体分享支持完全托管的 PB/EB 级数据仓库解决方案 —— 阿里 MaxCompute 计算平台在保障数据安全的同时,是如何快速解决用户海量数据计算问题,支撑起每日百万级作业规模的。那么,如何保证新功能不会造成线上故障?如何处理可测性和安全性之间的矛盾?林伟从编译器 Playback 工具、Flighting 工具等方面进行了深度的技术实现讲解: 1. 编译器:基于 AST 的编译器模型,采用 Pluggable 设计,IDE IntelliSense,Warning 支持; 2. Playback SQL Script 自我验证:利用灵活的数据处理语言来构造分析人物,以超大规模计算能力来并行分析海量用户任务等; 3. Playback 进行新版本验证,精确制导找到触发新的优化规则 Query,验证其查询优化是否符合预期; 4. Flighting 工具:保证 MaxCompute 优化器和运行器正确运行; 5. 资源隔离:CPU/内存上增强 cgroup,磁盘上进行统一的存储管理,网络方面确保 Scalable Traffic Control,通过以上手段实现在保障线上核心业务需求情况下进行 Flighting 测试; 6. 数据安全:无需人工干预进行数据脱敏,Flighting 任务结果直接对接分析任务产生测试报告。 [详情]
16:50【微信开发专题】滴滴出行平台前端团队负责人张耀春进行了《滴滴在小程序方向上的探索和实践》主题演讲。演讲中张耀春首先描述了微信滴滴小程序在开发方面的一些经验,例如:样式基本上分为两个,全局的和局部的,在所谓的标签或者组件里面、大范围的运用block。还有事件,一般是以bind和catch开头。除此之外,张耀春还分享了指令,小程序的寿命周期,参数如何传递等内容。实践方面,滴滴小程序的整个流程为:客户端发到第三方服务,再发到微信的服务端。张耀春表示支付环节是最不好调试的,其中参数比较多,坑也比较多。
16:40【基于Spark的大数据系统设计专题】Databricks软件工程师范文臣发表《Spark SQL: A Complier from queries to RDD programs》主题演讲。RDD具有三个特征,一是依赖二是分区三是计算函数。RDD是一个编程模型,让用户组装流程图。为了让 Spark 能处理结构化数据,Spark SQL应运而生。Spark SQL的结构化,让用户写代码更加简单,高效。不止是代码更少,跑的也更快。Spark SQL为Spark提供数据化处理能力。它的前端是一个模块,称之为Catalyst,可分为树和变化,树具体通过逻辑计划和物理计划来实现。范文臣通过代码实例剖析Spark SQL运行机制,其提供的DataFrame/Dataset接口,也已代替RDD成为Spark新一代的用户接口。
16:20【高可用架构专题】 腾讯云IaaS技术负责人邹辉带来“腾讯云架构设计之道”主题演讲,探讨如何衡量一个系统可用性、如何构建一个高可用系统等问题。“有人的地方就有故障。”我们在衡量可用性的环节引入了两个指标:MTBF(平均无故障工作时间)MTTR(平均故障恢复时间)。软件、硬件、IDC、网络,乃至人为因素都可能引发故障,从而影响可用性。然而没有故障就没有架构师这个职业,同时他还指出,高可用不等于完美或过度设计,软件系统属于应用科学,任何架构师首先都要考虑业务场景。在如何提升可靠性的问题上,列举了小彩灯串联到并联的例子。并联部署上线要求:1)机房内:多实例容灾;2)公共服务:多机房、多地域容灾;3)后端系统:多地分开部署,分开服务等。经验分享,他还总结强调:架构师的职责是取得产品与架构的平衡。 [详情]
16:00【微信开发专题】爱范儿CTO何世友进行了《小程序技术概要,曾经发生及未来可以发生的事》主题演讲。他表示小程序出现的意义就是将应用从发现到安装的过程降低到最低。目前小程序是通过Web实现的,把Web的页面缓存到本地,从本地打开,它的体验和原生的没什么差别。小程序目前所面临的几个问题:第一个是协议方面的,小程序开始使用的是http协议,后来换成了wechat协议。另外一点就是制作标准,因为开发时间不是太长,组件的完善度相对较差。关于小程序未来可以做什么,何世友表示尽管从技术人的理想去看,它确实在开历史倒车,造这种自由标准,在搞封闭。但从它想解决现有的问题来看,它是在做好事。
15:55【基于Spark的大数据系统设计专题】腾讯社交网络事业群工程师黄俊《使用Spark图计算研究QQ千亿社交网络》主题演讲。面对腾讯千亿社交关系链,腾讯图计算面临关系链和节点关联计算比较慢以及常见图算法不容易实现等问题。下面将通过两个实例来解答上述问题。 1)统计用户和好友的共同好友个数,目的是为了刻画用户间关系紧密程度的基础指标。其难点在于中间数据膨胀,网络结构会引出数据倾斜。在这里采用的计算方案是统计邻居列表再关联回关系链计算用户间共同好友。未了控制中间数据膨胀,这里利用Spark GraphX图存储特性减少邻居表复制。这种方法可以节省节点属性的冗余存储, 但如果在计算过程中把网络分隔的过于分散, 导致一个节点所在的边几乎分散在每一台机器, 那么大部分的节点属性,都是需要经过网络传输来获得。这时收益将会大大减小。最好的情况是一个用户的所有节点都存放在一个机器上。而常见分布式系统会采用大量低配机器来组建集群, 在这个场景里这种方案将会不可避免的让边数据分隔的过于分散。因此专门构建了一个以大内存为计算单元的 Spark 计算集群。 2)六度分离理论:在共同好友的基础指标之外,宏观的社交如两个陌生人只需要5.7个中间人即可互相认识。此处采用了HyperANF算法来测量QQ社交网络平均距离。但是每个用户维护的通讯录的长度不断增加,到最后需要的存储无法想象,由此引入基于Spark计算的HyperLogLogPlus计数器。
15:50【高可用架构专题】腾讯微信后台开发高级工程师陈俊超在现场分背景、思路、实现、效果四个部分详细分享了微信开源项目—— MySQL 集群 PhxSQL 的设计与实现,具体讲解 PhxSQL 是如何做到高可用、强一致性。陈俊超表示,原生 MySQL 存在容灾缺陷,为了实现高可用强一致,MySQL 提供了包括使用异步复制和半同步复制在内的复制方案,其中前者无法保证主备数据一致。在一个典型的一主两备系统中,Master 重启会导致在切换至新 Master 后,旧 Master 可能会多出一些数据,由此造成了数据的不一致,更有幻读、调用端分裂等问题。经诸多实践与分析,可总结得出缺乏自动选主机制的 MySQL 无法同时满足高可用和强一致,而这也正是其团队研发 PhxSQL 的由来。 基于以上,PhxSQL 主要通过可靠日志存储和请求透传来解决 MySQL 所面临的诸多问题,构建起以“可靠日志存储”为中心的架构,Master 用类似半同步的协议,将 binlog 同步到 BinlogSvr,同时,Slave 不直接从 Master 拉取 binlog,而是从 BinlogSvr 拉取,并校准重启过程,确定 pendingbinlog 是否要 commit。 [详情]
15:10【微信开发专题】IBOS创始人&产品经理杨芳贤进行了《微信生态掘金之路——企业号篇》主题演讲。杨芳贤首先介绍了微信生态的发展现状和前景,到今天,腾讯第三季度的微信用户月活已经达到8.46亿。微信支付的绑卡用户有很多,这部分用户,未来都有可能成为微信企业号的用户。在讲到微信生态的掘金之路时,杨芳贤为我们分享了企业级产品的开发思路。企业级产品的开发主要有三点:模块化,轻量化以及移动化。模块化方面,IBOS的基础框架下载之后,所有的应用都采用模块化设计,相应的功能可以自由安装下载。其次是轻量化,IBOS作为一款纯PHP产品,无需安装任何服务,直接FTP上传至WEB主机即可运行。移动化方面,IBOS一开始就能绑定微信企业号,登录企业微信即可使用相应的功能。
15:05【基于Spark的大数据系统设计专题】京东商城数据挖掘工程师崔波发表《Spark Streaming在京东广告跟踪系统里的应用》主题演讲。京东广告跟踪系统主要目的是为了评估广告投放效果,具有分钟级延迟、所依赖用户行为日志巨量等特点,之前面临重度依赖redis+http+rpc等外部服务和技术栈+数据存储栈分化等挑战。广告系统分为四个模块:data input、persist queue、computing、storage。Spark 2.0具有运用新的tungsen引擎、全阶段代码优化、Cache感知算法、更好的Parquet并行解析器等优势。在实践过程中,它是一个批量处理系统,有反压与流控功能,可以根据流量反控读取速度,还有弹性扩展功能,能根据负载流量自动调整资源。但是Streaming代码逻辑并不符合直觉,有时候处理上一个批次的数据比较难,对于过度设计也未避免,导致过高的抽象度使得一些简单的操作很难,另外Spark存在潜在的bug,如jdbc的异常处理。对于以上的缺陷,可以调整一些默认的参数,不使用streaming本身的checkpoint功能,避免使用大窗口Dstream和不是用流控跟反压功能来进行设计取舍。可以引入alluxio,促使IO加速。在编程过程中,可以用到dataSet或dataFrame,崔波建议尽可能使用dataSet代替dataFrame。
14:50【高可用架构专题】百度外卖基础架构部架构师陈霖带来“百度外卖交易系统高可用实践”主题演讲,深度剖析百度外卖的高可用架构实现。随着百度外卖业务的逐步发展,对技术架构也提出了更高的要求,而交易系统作为外卖业务最核心的系统,承担着极其重要的责任,因此确保交易系统高可用无疑是最核心的目标。 分享介绍了实践中的高可用接入层、部分异地多活、Cache服务,以及分布式数据库手段。系统分析结束之后进入重点内容——队列。由于诸多系统都要用到订单,因此必须要考虑多系统订单一致性问题,这就要用到分布式队列。这里的数据统一提交到主备数据库,做到双机房备份。还有队列+数据对账实现最终一致性,首先是重试与接口幂等,再者就是乐观锁机制。 此外,要做到尽量无单点,因为在微服务细分程度很高的情况下,会形成网状结构,这在生产环境中是很可怕的,任何一个节点的问题都会导致全盘崩坏,故而要避免产生环状结构。同时,他还指出数据库也要做过载保护。在讨论超时问题时,分述了全局超时和精细化超时。针对前者做出了全局超时控制的优化:可用超时层层向下透传,全局+动态超时可以保护后面操作不再做无用功。最后他还为大家补充介绍了华佗系统。 [详情]
14:20【基于Spark的大数据系统设计专题】汤森路透中国运营中心研发经理、研究员沈勇发表《金融大数据整合之路》主题演讲。目前数据面临整合之困现状,存在大量的老旧数据库、复杂的信息模型、高难度的用户要求以及大数据还不完善等诸多问题。接下来从系统整体流程、数据标准化存储、文档增强、生成三元组、子图选取(谓词选取、类型选取、值相关的过滤)等概念进行分析。最后从运动的数据集至流式文档连接方面,即两个连接数据集,在运动数据集基础上动态关联这两个原始数据集整合kafka和Spark Streaming加入到数据集。如何在Spark基础上实现编程语言,就需要使用自助服务框架,然后调用分布式JSONiq查询引擎,使用ES做建立HBase外部索引,减少不必要的数据处理,基于花费的优化策略,估计HBase数据集的大小,最后运行生成JVM代码。至于数据获取和分发流程,首先从外部用Apache NiFi获取数据源,然后进行数据转化和分发,进行数据集合再开始数据转化和增强。
14:10【高可用架构专题】到家平台架构部高级工程师周千威为现场观众带来了《RPC框架高可用实践》的主题演讲,他有着丰富的架构经验,曾主导58同城会员商业产品-优先刷新的设计、研发工作,目前负责到家自研服务架构 DSF(Daojia Service Framework)、DSF服务治理、短网址服务、通用消息平台等基础框架和通用平台。 本次演讲主要包括高可用含义、RPC 框架高可用的具体实施、服务治理三个部分。对于“高可用”这个概念相信大家并不陌生,各个领域都存在高可用:数据库、缓存、应用服务等。周千威表示:作为业务系统,我们的高可用不仅仅是简单的追求数字指标,而是满足不断变化的业务系统需求。而“高可用”就是尽量避免出现“不可用”,一旦出现局部不可用时,使其影响降到最低,或则能够及时给予及时报警,能让负责人及时解决,或则能够自主解决。而 RPC 框架的高可用,就是客户端和服务端的高可用,只有两者都高可用,总体上才是高可用的。在接下来的分享中,周千威具体分享了其与团队为达到 RPC 框架的高可用性,服务端和客户端都可以采取的策略方法。 [详情]
13:30未来应用创始人陈鸿进行了《2000元的H5外包到月入300万的微信掘金之路》主题演讲。陈鸿认为,创业需要专注。未来应用主要专注于H5的制作。演讲中,他主要分享了如何让大家接单。他表示,社交网络中除了微信还能开拓Facebook等渠道,微信等社交网络对于应用市场的流量价值主要是便宜。在讲到发展技术创新点后如何保持优势并形成规模时,陈鸿认为需要分享。在面对独立开发者面对平台频繁变更规则时,一定要做到不投机。未来应用所做的APP名称为赚800,但陈鸿表示后期会更改名字。
13:35【高可用架构】新浪微博产品部技术专家聂永带来“性能驱动正确打开姿势”主题演讲,另辟蹊径,结合项目实践从性能角度展开架构分析。分享以幽默互动开场,成功调动起大家的参与热情。阐述在一个需要支持千万量级用户的在线聊天室项目中,通过完整实施性能测试驱动模式,如何在研发力量方面只配有一个初级工程师和一个中级工程师的情况下,最终实现并超出性能考核指标,顺利完成开发任务的。在这个过程中无疑遇到了巨大的挑战,为此在实践过程中做了以下尝试:1)设立性能考核标准;2)挑选工具,在这一环节最终选择了Tsung,分享中页就其优势和不足做了详细的介绍;3)设计测试会话内容;4)把握测试前中后的关注点;5)全链路压测。 [详情]
13:30【高可用架构专题】观众们早早地就来到了现场,现场座无虚席。本次会议在百度外卖基础架构部架构师陈霖的主持下准时开始,陈霖首先对所有的主题讲师与内容进行了扼要介绍并表示欢迎。 [详情]
13:30【基于Spark的大数据系统设计专题】苏宁云商IT总部-技术总监俞恺发表《Spark Streaming在苏宁物流天眼全程监控系统中的应用》主题演讲。首先分析天眼系统具体功能,旨在进行订单跟踪、作业异常捕获和报警、物流各环节作用监控和预警和资源计划编排和动态调整。那么物流天眼系统为何要选择Spark Streaming技术?主要原因是天眼系统实时性要求高,计算数据量大逻辑复杂、整合多个数据源以及稳定性和扩展性。而Spark Streaming适合实时数据与历史数据混合处理的场景,可以将流数据分成小的时间片段以类似批处理方式来处理数据。在实时性、可用性、扩展性和开发便捷性方面有绝对的优势。融合Spark Streaming技术的天眼模块划分为数据整合类(Spark Streaming数据整理和整合)和指标统计类(统计Spark Streaming指标)。将Spark Streaming整合到kafka中,Spark Streaming会记录每个RDD对应的offset,但是如果流处理异常停止则需要记录当前的offset,以便下次流启动时从当前位置继续处理。对于Spark Streaming性能调优,需要动态调整分片大小、避免数据倾斜。天眼系统整合Spark Streaming,HBASE,Kafka,Redis等技术实现了秒级数据延迟的物流全程监控。
11:20【CSDN采访间】驭势科技联合创始人吴甘沙在分享完《智能驾驶的软件闯关之路》之后在SDCC采访间回答媒体的提问,他针对记者们非常关心的智能驾驶技术、前景、目前国际国内的现状以及驭势科技在智能驾驶方面的研究进展等问题一一给出解答。 他表示,离开英特尔出来创业是看到“一大一小”两个问题,大的趋势就是人工智能,小的方面是他们认为未来10年人工智能产业当中最重要市场就是智能驾驶领域。在过去9个月时间里,驭势科技每天都在创造奇迹,目前他们已经实现了在高速公路上100公里时速的辅助驾驶,也实现在园区、景区纯无人驾驶的。不久的将来将推向商业化。 对于智能驾驶数据处理能力技术层面,吴甘沙老师表示,可以把它归纳为三点,第一是感知、规划、控制,第二是高性能高可靠的硬件,加上实时高可靠的软件,第三个是远程监控和更新,然后仿真和测试。 对于团队方面,他介绍道,目前驭势科技有四支团队,一支团队是做整体的系统工程的,从硬件,到软件,然后各种调优,其次,还有机器学习的团队,第三支团队是做车辆的规划控制,还有一支团队是负责人机界面,产品设计的。
10:50CSDN 开发服务解决方案总监尹亮发表《如何打造高效、敏捷软件开发平台》主题演讲,敏捷开发能够带来降低缺陷率、缩短产品周期、提高生产效率、降低成本等优势,随着在软件开发方面呈现出团队规模变小、工作方式敏捷趋势,越来越多的开发团队在业务流程中使用开发管理工具,比如 Git 在国内外软件开发者群体中的使用率已分别达85%、52%。那么,对于开发团队,如何选择敏捷管理工具?可主要从功能特性、使用规模、部署方式、易用性、维护管理、扩展性等方面综合考量。使用 Git 速度快,对分支友好,利于协作,和 CodeReview 集成度好,但 Git 还是需要注意一些问题,比如学习曲线陡峭、大量二进制文件时的处理,涉及到项目引用/模块重用时,Submodule 的一些操作有些费解。此外,尹亮表示,在持续部署和持续交付方面,自动化是关键,在此之中,Jenkins的使用率最高,为45.05%,同时,在 CI/CD 实施中需注意:考量整体开发环境,从基本流程入手循序渐进,逐步增加自动化环节,扩大应用规模。
10:40【CSDN采访间】蚂蚁金服高级研究员阳振坤老师上午在SDCC采访间接受了媒体的采访时,针对当初做OceanBase分布式关系数据库的初衷,目前在蚂蚁金服的使用,以及今年备战双11海量流量的情况作了详细的解答。 他表示当初研制OceanBase最根本的动机是淘宝/支付宝对数据库的高扩展、高并发、高可用和低成本的需求。OceanBase作为一个分布式系统,与传统数据库相比,最突出的优点之一就是水平、线性的扩展能力,线性扩展能力使得OceanBase能够很容易地应对支付宝双十一这种非常大的性能挑战。 作为OceanBase的实践者,阳振坤老师针对使用OceanBase最大的感受时表示,OceanBase真的能保证数据库的事务性,除非是天灾人祸两个机房都坏了,所以这个对于现有的业务来说是非常大的帮助,另外就是扩展性。 对于之前从云计算领域再到现在从事数据库领域研究工作角色的变化,他认为这个和他的工作背景有一些关系,当然,他希望通过自己的一些努力给公司做出贡献。现在OceanBase可以将分布式和关系数据库两者有机融合在一起,能够把两者优点都发挥出来。
10:30驭势科技联合创始人&CEO吴甘沙发表主题演讲《智能驾驶的软件闯关之路》,希望给专注移动APP、互联网的工程师们带来人工智能的新视野,解答未来智能驾驶将会如何改变我们的生活以及智能驾驶离我们究竟有多远的问题。数字化和网络化引领了一代互联网繁荣,但在未来20年,智能化将会波澜壮阔。对此他给出以下四个分析标准:市场规模、客户痛点解决程度、商业模式创新空间以及行业发展空间,智能驾驶间接带来的社会收益将会成为第三个万亿美金大市场。互联网的本质是解决信息的不对称,然而网约车并未根本改善成本因素,通过无人驾驶技术则可以解决事故率高、能耗性高、效率低、停车位等问题。通过用户端调研显示,88%参与者认为智能驾驶在未来必定能够城市化,未来10年与人或物相关的所有交通产业会被重新定义,极大提升商业模式效益。智能驾驶具备多种形态,目前在辅助驾驶等领域已试测完成并实现了自主超车等复杂功能。那么软件工程师应如何成为智能驾驶时代的弄潮儿?五个要点:缺憾零容忍,配置多多益善,不断精进感知和认知,追求实践创新,跳出舒适区和迎接大时代。在丰富的案例和动态图示下,最后他表示至2030年,完全自动驾驶车辆市场占有率将接近10%。
9:45蚂蚁金服高级研究员阳振坤带来“关系数据库的困境与出路”主题演讲,着重分享了这些年来基于关系型数据库遭遇困境与挑战的思考,以及团队OceanBase的相关技术实践。毋庸置疑,数据库是最关键的基础设施。关系数据库系统发展至今依旧繁荣,但仔细想来,现存的多为早前建立下来的基础,如今的关系数据库存在诸多问题和挑战。面对这一发展现状,是偏安一隅苟延残喘,还是做出一些大胆的尝试?实际上,关系数据库仍然有非常大的发展空间。互联网时代迎来信息的大膨胀,传统关系型数据库的缺陷逐渐浮现,甚至一度有关系数据库日落西山的言论盛行。那是什么让其遭遇今日之困呢?其一,为门槛高,这里就类似先有鸡还是现有蛋的问题,因为出一点问题整个系统即无法工作,所以性能对数据库而言永远是巨大的挑战,然而即使能证明性能,做一个新的系统也往往没去用,因为无法证明其稳定可靠。其二,是成本,商业数据库需要负担极高的服务费这一点也是众所周知的。其三是扩展性差,如双十一和 一些爆火的游戏或App都有可能面对访问骤增的问题,难于扩容,小引擎支撑不了大数据,还有主库故障问题等。对此的对策有降低成本、水平扩展以及自动无损恢复等。而OceanBase即是基于以上思考的大胆实践。
9:00京东商城总架构师、基础平台负责人刘海锋发表《京东双11创新技术实践》主题演讲。每年的双11已成为技术人技术的保卫战,从资源规划至夯实基础架构、增强智能,以及确保系统稳定最重要的点是故障模拟演练和全链路压测。资源规划是双十一促备战的必要条件,可将资源分为平稳型系统和毛刺型系统,对于平稳型系统抽取70%分而治之,高效分配;剩余的30%毛刺型系统的核心流程需充分扩容。京东提升多数据中心架构稳定运行,实施基于Docker全面容器化预先扩容确保交付更快速,自研中间件技术和以内存JIMDB为中心存储体系,使用高性能微服务框架JSF接入实例,同时JMQ消息平台同步复制和同步刷盘确保数据不丢失来夯实基础。应用AI至商城各个业务环节,如订单取消及“”冷静期“”、订单预测。有破坏性地模拟线上故障,提升全员应变能力。最后对于每个环节及地区实施黄金链路压测测试。 [详情]
18:10【架构演进专题】京东资深架构师张成远,分享了《京东分布式数据库系统演进之路》的主题演讲。张成远负责京东分布式数据库系统的架构与研发工作,主导了京东分布式数据库系统在公司的落地及大规模推广。张成远从发展历程、实践经验、困难与挑战三方面,介绍京东分布式数据库系统的发展历程,以及在实际推广过程中遇到的一些挑战以及解决方案。如何保证服务的高可用数据的高可靠,以及如何在线自动化扩容,系统在对应618以及双11时的实战经验以及实战背后,通过性能与稳定、高可用/高可靠方案,演变成了如今的精细监控、路由管理的架构机制,解决了数据库系统从“活下来”到“活得更好”的改变。
17:30【自动化运维与容器实践专题】最后一个演讲的是优维科技联合创始人王津银,他带来的演讲是《应用,运维管理的核心维度》,他开场就讲述了当前运维的困境,他表示,传统的从IT模式看运维将会看到处处都是“部门墙”,因此,我们应该从新的角度看待运维,重点思考以下几个问题:ITSM,IT和业务的距离真的近了么?IT真的做到敏捷了么?CMDB为什么鲜有成功案例?为什么才意识到IT自动化的价值?而由于CMDB系统要实现向资源管理系统的过度,应用的变更场景最终是对资源的变更,应用的状态最终是由其资源的状态来决定的,因此,持续交付的核心是应用管理,而运维就应该从持续交付,持续部署开始,重点关注应用管理。最后,王津银分别从应用的资源管理视角、应用的动作管理视角、应用的状态管理视角、应用的平台管理视角详细讲解了如何突破运维困境。
17:20【自动化运维与容器实践专题】京东商场基础研发部高级研发工程师王兴刚进行了《京东大促:大规模容器背后的技术挑战与实践》主题演讲。JD全部业务均run在弹性云容器之上,弹性云v1.0 线上运营情况:在618大促前统计15W+。京东的容器遇到过很多挑战,包括向前兼容,镜像上线,容器性能&稳定性等等。双十一备战主要需要注意资源、618*N压测、弹性 scale up & scale out、调优&业务“节欲”、 内存即存储、 区别业务特点、细到尘埃的监控系统和高峰流量 提前规划资源+弹性scale up。弹性云v1.0 架构为Openstack Icehouse + docker1.3 + OVS2.1.3/2.3.2+Centos6.6 。弹性云v2.0的架构是K8s + Docker +Neutron + OVS + DPDK +JFS,这两个版本的现状是弹性云v1.0 所得所失,弹性云v2.0 承上启下。
17:20【架构演进专题】链家网平台化架构师吕毅,分享了《链家网大数据平台架构变迁》的主题演讲。链家网大数据部门已经成立了一年多,之前的一年间从无到有,支持好了公司与集团各项数据报表需求。面对公司业务线的发展、运营体系猛增的数据需求,大数据平台的构建解决了这一问题,将原有的人工开发定制报表模式改造为数据全自助平台化模式。链家属于非物联网公司,对运营需求的压力很大。链家网数据相关的工作涵盖科学、应用、产品、数据四大方面,整个数据架构形成了业务的闭环。平台层包括数据服务,Data analysis、Adhoc query、Data Api;工具链,Data engines、ETL system、Management control;集群,Data Security、Resource isolation、Calculate ability。通过一系列的架构演进,链家数据部门从提供数据报表的架构,完成了大数据治理需求的转变。
17:15【个性化推荐专题】微博商业产品部算法技术专家康乐发表《微博商业数据挖掘方法论》主题演 讲。数据挖掘以用户为中心展开,数据体系来自基础数据、兴趣数据、情景数据和能力数据。数据抽象之后定义成情景引擎,有LBS数据、App使用数据、话题数据、微博互动、关注、用户信息、分组信息。接着康乐分享日常会忽略但是重要的挖掘方法,第一种方法是评价,其中有四个级别,首先是效果级,数据挖掘的产出可以直接用线上来评价,如兴趣标签;第二是Ground truth级,统计有效的信息来挖掘数据,如性别、年龄;Case级别,每个用户状态来验证算法结果,如旅游状态;无法验证以上事实,可以使用Logic级,其中兴趣标签占取最高级别和最低级别的评价。第二种是兴趣标签挖掘方式,指定广告场景下用户对某个粒度的广告发生目标行为的概率。第三种根据平台的内容特性来确定分类。数据挖掘的实战经验首先要做到紧贴业务,学会花时间沟通让数据和业务活起来,然后建设系列评价体系,对于数据工作要遵循数据>特征>模型的规则。
17:10【高吞吐数据库架构专题】百度高级软件架构师颜世光在主题演讲中表示,面对Hadoop的线性扩展问题、时效性问题,百度推出了自己的解决方案,即海量实时数据库Tera。它实现了自动伸缩且稳定可靠,采用自动负载均衡技术,区间可自动分裂、自动迁移、在线合并。在Tera设计中,百度还总结了很多实践经验,在分层设计方面,他表示问题最好解决一次,一处解决多处受益。在可用性设计方面,他认为硬件&软件故障不可避免,应增加容错能力,降低故障恢复时间。针对低延迟设计,他建议这个过程中,慎用自动GC的语言。
16:30【个性化推荐专题】 悠易互通高级算法工程师容一飞发表《实时竞价个性化推荐的人工智能》主题演讲。在短时间内得出实时竞价较为精准的数据主要运用人工智能技术,通过竞价算法盒子实现广告活动投放期间内的KPI。下面从预测模块算法方面介绍人工智能应用,预测算法主要有点击率预估和竞价愿景预测。点击率预估定义机器学习回归模型框架以及损失函数,点击率预估时候运用机器学习解决框架,可以使用线性化和非线性化进行优化。在竞价愿景预测当中是符合对数正太分布的。决策模块算法中最重要的是出价算法,基于RTB竞价机制(第二高价竞价)中,对每一个期望进行评估。除了最大化广告主KPI,品牌更注重效果的稳定来帮助排期和分配预算。最后容一飞结合自身经验分享业内投放的实际过程中一些重要问题的解决之道,一是作弊与反作弊,二是数据倾斜于无偏处理,三是目标用户稀缺与扩展。
16:30【架构演进专题】同程旅游首席架构师王晓波,分享了《同程缓存系统的演进》的主题演讲。缓存在今天在线系统架构中是核心的位子,缓存的设计好坏直接影响系统整体的性能的高低。但在很多情况下缓存是被滥用的,这个基本是通病,同程在缓存的使用上也经历一条从滥用到治理的路。“开源方案很美但我们用起来就不美了,单一个方案解决不了全部的问题”,王晓波在演讲中介绍同程自研的缓存系统(phoenix)对缓存使用的治理,对数千个Redis集群的统一管理和缓存的平滑扩容。通过对缓存平台的管理与监控,大并发缓存系统的架构设计,同程实现了缓存整体的管制、运维操作、整体监控、自扩容自收缩的能力,现在我们的系统晚上不需要值班,基本实现了智能化运维。
16:30【高吞吐数据库架构专题】微博研发中心DBA张冬洪在《微博Redis定制化之Tribe系统介绍》主题演讲中首先讲解了微博REDIS的几大核心功能,包括无阻塞落地、数据持久化,主从增量复制的实现和在线热升级等。Tribe系统由客户端、代理、数据集群、配置服务、集群管理五大部分组成,实现了请求路由、读写分离、负载均衡、配置更新、数据聚集、动态扩容等功能。
16:10【自动化运维与容器实践专题】VMware研发中心云原生应用首席架构师张海宁,带来了《玩容器镜像-镜像仓库的管理和运维》的演讲,他首先介绍了容器技术,表示进程隔离、可重用的环境、大规模部署情况下更好管理是采用容器技术的主要原因,而Docker使得容器的管理变得更简便,它能够实现容器的顺畅的部署和最大的可移植性,非常适合第三平台、12因素应用和微服务架构同时也使得DevOps变得十分容易。张海宁接着介绍了Docker Registry,并说明了企业私有的Registry的优点——安全、效率、访问控制、合规与审计。并叙述了Registry在镜像传输中所起的作用,并表示,此过程存在不稳定因素,通过镜像同步技术可以保证传输过程中镜像的一致性。然后,张海宁阐述了镜像的访问控制方面存在的不足,而通过VMware的Harbor基于角色的访问控制可以很好的实现镜像的控制,张海宁表示,镜像的分发方式也存在单点的问题,通过Harbor Registry Server则可以实现大规模镜像的稳定分发。而在镜像空间释放方面,Harbor也可以很好的解决。张海宁还介绍了如何实现Registry的高可用性的三种方案,最后,张海宁对Harbor项目进行了介绍。
16:00【自动化运维与容器实践专题】Fit2Cloud联合创始人兼CTO刘涛进行了《云时代的DevOps自动化运维》演讲。DevOps自动化运维的发展经历了三个时代:静态基础设施时代,可编程基础设施时代和容器时代。DevOps自动化运维的现状处在三种状态:混合云多云是多数企业的选择,企业基础设施形态为混合云多云混合IT形态;应用负载分布在物理机、虚拟化平台、公有云、私有云、容器云;多数企业上云后应用直接运行在IaaS,而不是PaaS、容器云。云DevOps的需求目标: 是实现混合云混合IT环境下DevOps高效自动化运维。 云DevOps自动化运维的关键技术和策略包括五点:(1)以应用为中心DevOps自动化工具;(2)自动化部署规范和框架;(3)集成开放扩展能力;(4)同构异构基础设施全栈编排自动化;(5)同构异构基础设施统一对接。
15:50【架构演进专题】58到家工程研发部高级架构师叶忠兴,分享了《三分归一统:移动端开发技术演进之ReactNative崛起》的主题演讲。叶忠兴主导了58到家ReactNative探索与实践,在主要App中引入了ReactNative,并持续完善ReactNative生态改善。自从智能移动设备出现,移动设备上多端开发就一直是开发者面临的最大的困扰。移动在开发、测试、发布、修复方面遇到许多问题,React Native的开发发布、渲染过程、H5渲染过程三个方面解决这些问题,现在是需要JS写一份代码即可,如果遇到Bug直接修改JS代码即可。叶忠兴讲解了ReactNative在58到家的可用性、体积、一致性、数量、分工协作、版本升级、检测、React控件、Native控件等具体实践。“虽然React Native还不够完美,但它使得我们的开发工作量降低40%,测试工作量降低35%,实现了随时release和热修复”。叶忠兴总结说。
15:45【个性化推荐专题】AdMaster基础架构部高级研究员景艳山发表《跨设备打通》主题演讲。何为跨设备,跨设备ID识别就是识别不同设备背后的同一用户,它将成为整合碎片化用户数据、实现精准广告投放必不可少的工具。跨设备可以真正的受众去重,减少重复投放,精确定准原因,提高ROI。目前跨设备面临Cookie稳定性差,山寨机多、IP不稳定等困境。Admaster提出建模理念,有效缓解现状。建模第一步进行样本的构建,构建正样本和负样本并设置比例,过滤非人类量,在源头保证数据的证实性,候选Pair的产生。再建立IP的私密性。该模型主要应用于线上预测,百亿量级候选Pair。
15:30【高吞吐数据库架构专题】腾讯云PostgreSQL首席架构师李跃森在《微信支付商户系统数据库探秘》主题演讲中表示数据库集群PGXZ基于PGXC做了性能、功能、运维能力的优化。微信支付中订单都会流向PGXZ,他分享了PGXZ的诸多核心技术,如采用集群分区表,提出数据倾斜解决方案、搭建自动两地三中心容灾架构。针对运维中的问题,如索引膨胀、在线磁盘空间回收、Pooler中的连接管理等, PGXZ也给出了解决和优化方案。
14:50【自动化运维与容器实践专题】亚信大数据云平台负责人叶鹏带来了《基于Kubernetes的大数据服务能力供给之道》,他表示,大数据技术的不断快速更新,需要新的技术来支持,而在大数据服务供给的过程中,会遇到很多问题,例如手工操作多,部署时间长,不确定因素多等等,而更大问题在于逻辑复杂、交付效率低、功能层层叠加,烟囱式的应用遍布。而微服务时代大数据服务是否还要单体、大数据服务的供给如何满足DevOps的要求是我们面临的核心问题。叶鹏认为,通过容器和K8S部署大数据服务可以较好的解决这个问题,接着叶鹏讲解了Docker和容器,Docker给开发、交付带来的变化,然后,叶鹏介绍了Kubernetes的技术架构,他表示,Kubernetes吸引开发者的是它的微服务架构设计。接着,叶鹏讲解了常见的大数据服务部署模型、大数据服务编排的基础条件以及编排中常用的K8S组件。叶鹏最后详细的讲解了如何进行Spark集群部署的实例,并介绍了新的大数据服务供给模式的相关内容,包括为每个大数据应用分配一个大数据服务、Spark和yarn的比较、ServiceBroker的应用以及基于容器的大数据服务供给存在的问题:个别大数据服务编排困难(redis3.0 shardingmongo sharding)、overlay网络性能不足、Kubelet串行完成镜像拉取,容器用户与glusterfs卷属性不一致以及容器日志的处理。
15:10【架构演进专题】阿里巴巴应用运维平台负责人毛茂德(如柏),分享了《阿里基础运维平台及应用运维平台架构演进》的主题演讲。从基础运维和应用运维两方面,介绍支撑阿里巴巴全集团服务器集群管理的基础运维平台StarAgent的架构演进,以及应用运维平台Normandy的架构演进。StarAgent包含命令通道、插件系统两大核心功能,使用场景贯穿服务器的整个生命周期、应用运维、日志服务、监控、数据采集和配置管理。“StarAgent通过默认的蜻蜓插件,7000客户端200MB文件下载平均耗时仅10s,80%的阿里集团文件下发系统使用,稳定性从99.9%到99.9999%,下载次数从3万/周到7600万/周。”最后,毛茂德介绍了应用运维平台Normandy,它的功能涵盖基础设施即代码、CMDB、部署发布、Docker支持功能。
15:00【个性化推荐专题】品友互动大数据部负责人林招发表《论实时竞价广告中的推荐》主题演讲。RTB(Real-time bidding)实时竞价通过用户入口登录媒体网站发送消息给RTB服务提供商,然后对接到DSP(Demand-side platforms)进行内部处理发送竞价给服务提供商从而反馈到网站并显示到用户界面。其中最为复杂的是DSP(广告竞价决策平台),涉及对象、内容、时机、样式、价格和目标。 对象通过对比转化率过滤出合适的人,另外点击率(CTR)也是广告投放中最常见的一种考核目标。内容采用协调过滤、wcos、矩阵分解、BPR算法方法进行商品推荐。广告的主要效果依赖于程序化创意,可以促进用户点击。价格同样也是一个重要因素,采用竞价算法涉及三个价格:底价、竞拍价和成交价。以上的一切的基础是有效的数据和可靠的框架。
14:50【高吞吐数据库架构专题】央视国际网络有限公司技术事业群DBA古雷在主题演讲中详细讲解了MySQL5.7与8.0的诸多新特性,如Group replication(5.7版本)、快速增加列宽(5.7版本)、The Rewriter Query Rewrite Plugin(5.7版本)、JSON(5.7和8.0版本)、UUID更好的支持(8.0版本)。 通过形象的比喻,说明了如何保证数据一致性,其要点包括,(1)每个事务发给所有节点在每个节点;(2)所有事务的认证顺序都是一样的,认证顺序由类似Paxos协议保证;(3)每个节点认证的事务可能是本地发起的本地事务,也可能是别的节点发过来的外来事务;(4)本地事务是否允许commit,只看本地认证是否成功;(5)在节点A,外来事务,是否允许在节点A执行,只看此事务在节点A认证是否成功;(6)外来事务,在允许执行前还不是事务,因此需要与本地事务一起进行冲突检测,称为认证。
14:30【架构演进专题】华为开源软件能力中心资深架构师马全一发表了《ContainerOps–Empowering DevOps With Container》的主题演讲。作为曾主导基于容器的下一代DevOps平台ContainerOps的架构、研发和产品化,中国Linux容器技术和Docker开源技术最早的推动者,马全一在下午的分享中介绍了ContainerOps这个基于DevOps Orchestration概念的DevOps平台。在华为ContainerOps架构中,所有的工作都在容器中,工作流定义,所有的组件运行在kubernetes上,都是以容器的方式来做。马全一不仅阐述了华为目前对DevOps理念的理解,更讲解了华为这个开源产品里对DevOps的理解,以及产品的特性和架构。“我们会把这个DevOps当作服务开源到社区,现在已经跟一些合作伙伴在测试,如果你对这个测试感兴趣的话,可以联络我,我们可以出一些人员和人力帮你梳理目前已有的DevOps的流程。”马全一最后说。与会者通过了解业界最新的DevOps理念,学习通过DevOps Orchestration梳理,DevOps流程,提高DevOps的工作效率。
14:30【自动化运维与容器实践专题】普元SOA主任架构师刘相进行了《加速企业敏捷的DevOps平台时间》主题演讲。DevOps是通过工具链与持续集成、交付、反馈与优化进行端到端整合,完成无缝的跨团队、跨系统协作的方式。企业DevOps有两大误区,首先,DevOps思维并非物联网思维,其次,DevOps并不是一定需要用微服务和容器支撑。企业的DevOps建设有很多难点与挑战。第一, 企业环境与流程多样,要么一套标准,要么多套适配;第二,企业云规划大于公有云调度;第三,各类开元、商业技术繁多,该如何选择如何。企业DevOps的关键设计在于异构基础设施上的部署形态,基于K8S上的容器资源的互通,副本机制支持蓝绿、灰度以及多层级监控下的持续优化。
14:20【个性化推荐专题】北邮模式识别实验室副主任高升发表《基于表示学习的信息推荐算法及应用》主题演讲。信息推荐系统所需要的数据源一般来自用户对商品或信息的偏好,系统用户的基本信息和推荐对象的元数据信息。用户偏好信息可分为显式和隐式用户反馈。表示学习旨在把目标对象映射到低维的统一特征空间,学习用户、商品以及用户偏好的潜在语义信息,从而进行相关性分析。表示学习有两种模型:第一种基于矩阵分解的Aspect-level推荐算法,自动抽取评论中的Aspect和每个Aspect的对应评分,然后分析用户对Aspect的偏好,总结商品Aspect的评分,最后计算用户的个性化评分,以及每个Aspect 的对应评分。第二种是基于偏好向量学习的信息推荐算法,将用户的偏好表示为一个分布式向量,可以平滑接入多种行为反馈模式。
13:50【架构演进专题】蘑菇街平台技术架构师卢鹏程分享了《蘑菇街监控系统架构演进》的主题演讲。通过蘑菇街平台三个不同的版本,讲解了蘑菇街监控系统从无到有的历程,分享各阶段所遇到的问题及解决方案。阐述了目前性能强劲的sentry的架构,及相关技术点,展现sentry丰富的功能,说明怎样一步步的消除用户障碍,展望后续技术及业务方向。为达成高可用、易部署、易维护的目标,蘑菇街选择了去中心的分布式架构,无依赖、存角色、分场景的架构特点。大家通过卢鹏程的分享,了解到现有蘑菇街监控系统的架构、功能和能力、计中所用到的各种技术及组件,以及获取高可用、高性能分布式系统的设计经验。“经过了这一版本,我们可以应对大促、应对特定大查询和辅助系统维护,从此蘑菇鸡再也不用担心扩容和增容问题。”卢鹏程说。
13:45【高吞吐数据库架构专题】京东金融数据库中间件研发高级技术经理王义林在《分布式数据库CDS-原理与实践》主题演讲中表示基于京东金融业务特点、发展现状,京东开发了CDS,其实现了数据分片、读写分离,海量数据存取;运维控制台;数据迁移、扩容平台;离线准实时查询、统计等功能,具有兼容JDBC,接入成本低;支持MySQL/Oracle/SQL Server、内嵌高性能连接池组件、读写分离、水平拆分、提供MyDB、作业平台、离线数据中心等一系列工具集等关键特征。同时还分享了CDS的系统架构、中间件 事件控制过程、CDS集群结构。
13:30【个性化推荐专题】雪球首席架构师唐福林发表《雪球社区用户画像体系探索》主题演讲。雪球是一个投资者社区,搭这个系统最大的坑主要是数据字段类型不统一、加减字段,另外还有ETL缺乏规范和管理,存储原始内容,ETL较少,存储太多不必要的内容,job无序增长,其中CPU和IO争用情况逐渐增多等问题。雪球大数据体系目前有4个集群,20+机器。在现状的基础上,雪球开始用户画像的探索,采取趋势统计、多维分解、行为路径转化漏斗、用户分群A/B测试等数据分析手段,使用开源软件、第三方云服务或自研进行用户行为分析,其中自研的分析软件称之为Moneyball,从中提取用户信息为用户进行分类。算法使用Mahout,用HBase宽表为用户打标签,进行属性分群为用户分类。最后唐福林通过自身实践经验,建议搭建大数据体系的最佳时机是公司刚成立的时候,尽可能地收集能想到的数据,直到硬盘装不下了之后再考虑优化,仔细考虑数据库的表设计,字段类型结构选择。如果最初做的不够好,唯一的改正机会就是导入到大数据体系的时候。
13:30【自动化运维与容器实践专题】微影时代技术副总裁杨森淼带来了《微影的容器化进程》的演讲,杨森淼首先介绍了微影公司,并解释了微影之所以使用容器化架构的原因。杨森淼接着给大家分享了微影时代的总体系统架构和系统中的必备组件,并详细讲解了包管理、配置管理、服务器发型、服务域名解析、负载均衡等在实际应用中的实践经验。然后,杨森淼就微影如何应用容器技术进行了阐述,并从单机模式、Docker节点、资源利用率、服务发现、日志收集策略、泛域名、微服务等方面分享了在应用过程中的一些经验。之后,杨森淼讲解了Mesos相关技术的使用,涉及到了Marathon,比较了Chronos和Cron的优缺点以及Jenkins在Mesos上的应用。杨森淼最后就微影在实践中遇到的一些问题进行了分析和总结。
12:15【自动化运维与容器实践专题】腾讯移动游戏运营技术评审专家组负责人刘亚飞进行了《腾讯移动游戏之于蓝鲸容器管理平台》主题演讲。腾讯游戏目前覆盖手机游戏200款左右,介入容器数有16000多个,通过对docker,K8s的定制开发,实现业务容器在线的本地升降配。同时结合手游特点,提供一键式,业务无损的缩容方案。蓝鲸的业务方向有三点:云化的解决方案,开放式快速运维开发平台以及丰富的数据视图服务。容器管理平台的功能包括coverity,TAPD,WeTest平台几项。其中上线之前的压力测试,兼容性测试都能在WeTest平台中完成。
11:40【移动视频技术实践专题】杭州短趣网络技术经理王海华发表主题演讲《趣拍短视频SDK关键技术分享》。短视频将会成为社交/社区应用的一个标配功能,但其面临的问题也更加多样化:短视频UGC质量有待提高、平台同质化倾向严重、优质内容成为竞争核心以及营销市场的规模增长。他提出短视频具有断点拍摄、MV和动图等里程碑功能,并对其中的动态水印实现问题进行了详细介绍。如何实现动图的动态水印?资源包、精确seek和性能等问题深化了实施难度,因此需要在性能和seek上不断优化。
11:20【自动化运维与容器实践专题】来自华为PaaS的架构师&研发项目经理吴建林分享了《华为全球IT系统基于PaaS的实践分享》,他首先介绍了华为的IT现状,华为目前有全球8大数据中心、17万+固定用户、业务系统涉及用户、采购、供应链、交付、销售、财经、办公IT、流程IT等,管理着数十万台虚拟机、800多个应用、2000多个子应用。华为IT的需求主要有以下几点:1)传统IT模式业务不够敏捷,2)管理规模庞大,运维难度高,3)应用微服务化改造,个数急剧增长,4)虚拟化成本高,资源利用率低,5)全球业务访问体验差,6)平台异构,支撑难度大。为此,华为构建了PaaS平台以应对这些需求,该PaaS核心层由应用调度与资源管理、微服务运行与治理、应用开发流水线加上中间件云服务组成。吴建林接着介绍了华为FusionStage在华为IT的进展,并分享了FusionStage在华为IT实际应用中的实践,包括:1)流水线构建,一键式应用发布,2)支持应用混合编排,实现虚拟机、物理机、容器的统一调度,3)万级容器运维管理系统,4)跨数据中心的两级调度: 亲和反亲和,提高部署可靠性&部署效率,5)全球分布式动态路由,快速访问体验,应用灰度,达5个9可靠性,6)应用灰度发布、自动弹性扩缩。吴建林最后就运维中的一些问题进行了分析和总结。
11:10【架构演进专题】百度工程效率部资深工程师廖超超,分享了《百度万人协同规模下的代码管理架构演进》的主题演讲。介绍百度代码管理如何支撑百度万人规模(分布在全球十多个Office的一万多开发人员、每日近两万次的提交、代码库规模超过10TB)下的协同开发,在解决代码管理遇到的容量、吞吐量、跨地域和安全等问题的过程中,百度代码管理的架构经历了产品初创时期、发展时期、成熟时期、企业级SaaS四个阶段。现场听众在了解大规模协同开发场景下如何确保代码安全可靠的同时,对互联网企业高吞吐量的非典型web应用架构优化也有了深刻的认知。
11:00【CSDN采访间】我盈互联CTO 陈庆吉在分享完”互联网金融初创公司从0到1的架构演进之路”主题分享之后,在SDCC采访间接受了CSDN的独家专访,他对麒麟贵金属的定位以及产品布局以及用户体验等方面回答了记者的提问。 他表示,作为国内行业领先的网络现货投资平台,麒麟贵金属致力于为投资者打造出一款专业、安全、便捷的现货投资产品,降低现货投资的门槛,让投资者能够轻松获取现货投资的红利,他们的实力来自两方面。一方面,技术团队做过多年的互联网开发,他本人也负责过负载用户数亿的产品设计,运营团队非常熟悉互联网产品的市场推广、运营推广。无论是技术产品还是运营都是熟悉互联网规则的,这是很多线下公司不具备的;另一方面,公司层面和交易所有深度的合作,这样有利于他们的模式创新,有利于整个流程的快速反馈,这些又是很多互联网公司不具备的,所以,他认为在这点上,他们是跨界融合作的比较好的一种模式。 针对麒麟贵金属的创新店点,他们的产品除了纯互联网化之外,在用户体验上也做了很多创新,比如去除了交易本身的功能,增强社区互动,利用直播、引用策略提醒等一些功能。
11:00【高吞吐数据库架构专题】 网易杭州研究院资深开发工程师马进在主题《网易DDB性能优化实践》主题演讲中详细介绍了分库分表数据库DDB,及其它的架构变迁和性能优化实践。DDB的架构经历DBI、Proxy(QS)、DDB私有云架构、DDB云端架构优化几个过程;在性能提升上,开展了Proxy Buffer、DBI NIO、OSC解决方案多方面优化,并分析和展示了优化思路及优化效果。DBI NIO的优化有两种思路,(1)为自研到MySQL的NIO驱动;(2) 将Connector/j的底层通信依赖Netty。最终选用了第1种优化思路。优化后CPU使用率得到了1.2~4倍提升。针对一般的OSC解决方案,进行了多方面优化,如(1)基于binlog实现增量更改;(2)全量不加锁,增量用replace幂等语义等。在实现上,提供了DDB HamalSet工具集,也可使用gh-ost。
11:00【移动视频技术实践专题】合一集团视频技术平台高级技术经理胡帆带来主题演讲《优酷视频云SaaS及播放器技术揭秘》,包括开放的视频云SaaS、播放器介绍和防盗链探秘三方面。对接视频时代,企业所处的运营环境愈加复杂,例如成本高、门槛高、定制困难、盗链严重、违规风险、传播和变现等等。他首先为大家介绍了优酷视频独有的开放能力和核心功能,为处于内容创业者情境下的人员提供了SaaS解决方案。随后,他从七个维度展示了视频云架构,对于改动大、评估难等多重问题,还对视频云架构进行了基于IaaS的进化。同时在这里面点出了部分关键点:Key服务、客户用量统计以及阿里云MTS转码服务。此外,他还对实时筛选的系统架构、设计方法和过程进行了详细介绍。最后在防盗链研究上他给出了参考方法:渠道分离,及时发现和灵活更改。
10:40【自动化运维与容器实践专场】易宝支付架构师于涛进行了《容器云在易宝的落地》主题演讲。易宝是一家做第三方支付的公司。易宝容器云采用了Kubernetess容器平台,目前该平台升级到了1.4.6版本,包含四条新特性:两条命令创建集群;kubeadm init创建master;kubeadm join 把node并入集群;支持apt yum源。易宝容器云是基于K8s API研发的,Go web framework, IRIS。它实现了弹性负载均衡器:资源化、无感知对外发布;内部服务发现:DNS,集群内,集群外;内部服务自动负载均衡;回滚到任意历史版本;自动扩容、缩容(CPU使用率,冷却时间)。
10:40【架构演进专题】我盈互联CTO陈庆吉发表了《互联网金融初创公司从0到1的架构演进之路》的主题演讲。与支付类公司庞大的基础架构建设相比,互联网金融初创公司更愿意快速试错,以业务为核心对架构进行演化升级。在不显著提高开发成本的同时,让系统与业务齐飞,做助推器,不做减速器,移动云开发生态技术的逐渐成熟为我们提供了解决问题的机会。在云计算基础服务,大数据处理,安全运维等方面大量使用了第三方云服务,在平台选择,服务组合,架构调整升级等方面积累了一定的经验。我们没有大型互联网公司的IT架构,要追求架构的成本可控性,在架构中占据很大的是运维管理和安全运营方面。希望我们的经验能给初创公司的IT架构搭建带来一些启示。未来,我们希望自己的在前端使用React + Redux;随着业务的增加,考虑使用微服务(Docker + SpringBoot + Dubbo);比如行情等关键服务,会考虑用Golang。
10:20【移动视频技术实践专题】阿里云高级技术专家储开颜发表主题演讲《“+ApsaraVideo”阿里视频云如何帮助客户实现客户的价值》,包括视频服务的链路、飞天视频服务的技术架构、点播/直播/画质重生服务、飞天视频服务的功能和组成、飞天视频服务的技术优势五个方面。首先他介绍了飞天视频服务的操作流程,随后对其中的点播、窄带高清、加密、直播、秒开、端、画质重生、FRC等技术要点一一作详细说明。在窄带高清上,他提到了实施过程和分辨率问题,并与非窄带高清码率进行了细致对比。最后在FRC技术上,通过丰富的示例为大家展示了应用优化效果。
10:20【架构演进专题】阅文集团首席架构师徐海峰发表了《一统三国:阅文集团内容系统架构整合》的主题演讲。徐海峰主要负责内容中心分布式framework架构和分布式存储、分布式计算工作。面对核心资产内容技术整合问题,徐海峰团队历时半年之久,通过创立内容中心、章节信息—数据路由、路由标识-id生成器、任务调度等方式,解决了从孤岛式架构演变成统一架构、海量章节内容的存储问题。整合了原来的异构数据源,统一了服务和数据层。通过开源软件和自主开发软件的有机结合,实现了快速有效对大型网站进行重构。
10:12【高吞吐数据库架构专题】NABA北美区块链协会联合发起人谭磊在《区块链和分布式数据库》主题演讲中表示区块链接是一个复杂的概念,并阐述了他对区块链的理解。区块链就是区块的链,通过树的方式链接,且每个节点上的数据是一致的。 区块链系统是不可篡改的,若篡改某个节点,其后的节点都要做出一致修改。比特币是区块链的1.0,而更有意思的是区块链2.0,它是Distributed(分布式的)、Autonomous(自治的,共同约定的)、Contractual(按照合约执行的)、Trackable(可追溯的)。
09:50【移动视频技术实践专题】Video++公司COO董慧智带来主题演讲《视频中人工智能与应用场景创建》,包括视频内容结构化、视频应用场景创建、开放平台生态以及未来的设想四个方面,为大家提供了图像识别技术转化和应用落地的实践参考。视频应用构建具有三要素:模数转换、建立情感链接以及大数据精准匹配用户情感需求,本次分享着重介绍专注于消费级视频的人工智能技术,包括电商场景和广告场景。应该如何实现这类消费级视频?他首先对视频识别与图像识别的不同、消费级视频与安防等视频的识别要求区别进行了对比,并简要介绍了消费级视频的关键扫描目标和输出数据。此外对大家比较关注的明星识别、商品识别、物体识别和品牌识别等技术一一说明。
9:40【自动化运维与容器实践专题】来自IBM Platform Computing的软件工程师邱见给与会的观众带来了主题演讲《BlueDock:如何构建企业级容器管理平台》,邱见首先介绍了Platform Computing,接着分析了自身团队的需求,即:可靠和可扩展的资源管理、易于使用的API和高效稳定容器运行时,介绍了基于该需求建立的BlueDock系统的总体架构,并阐述了为何使用Mesos的两个原因:广泛应用于生产环境、高可扩展性,邱见接着解释了为何选择Kubernetes构建于Mesos上的原因,即由Google开源,脱胎于borg系统、开放,活跃的社区、定义完整且易用的API,并介绍了其优势。邱见还介绍了BlueDock解决方案、主要组件以及该平台的应用生命周期管理、用户认证授权、资源管理。最后,邱见对未来进行了展望,他表示如何改善Kubernetes on Mesos Framework、生产环境中是否需要替代Docker、更好的网络和存储解决方案是未来需要考虑的三大问题。
09:30【高吞吐数据库架构专题】腾讯微信支付高级DBA莫晓东在《微信红包数据库架构演变》主题演讲中表示2015年春节红包项目面临着很大技术挑战,其数据量预估是日常的100倍。没有可借鉴案例,只能摸着石头过河。鉴于MySQL支持事物,满足一致性要求;为结构化存储,紧凑、连续; 支持多索引;部署简单,工具支持及团队对该技术有较多积累,最终选用MySQL为数据库方案,并对其做了多方面优化。
9:25【架构演进专题】腾讯后台资深架构师王帅,从事后台系统开发7+年,目前主要负责QQ空间后台的架构设计、系统优化等工作。王帅介绍了QQ空间的系统架构,QQ空间底层基础数据包括:个人资料、权限、关系链、个性化设置;UGC层包括说说系统、相册系统、日志系统、商城系统;FEEDS层包括好友动态、计数、落地动态、push;移动端是MSF/WNS接入层;最上层的客户端手机QQ和手机QZONE。通过QQ空间后台做的一系列优化,围绕系统选型、容灾调度、柔性可用等方面,介绍了QQ空间亿级用户服务背后的网络架构。针对海量请求和突发状况,分享了有损服务和系统容灾的深刻理解。
09:20【移动视频技术实践专题】七牛首席布道师何李石发表主题演讲《移动视频自适应播放实践》,包括播放器使用场景、播放器构成、自适应播放、开源播放引擎推荐四部分内容。点播和直播是最常见的视频播放场景,但是平台、尺寸及网络等复杂的设备环境导致用户需求并不能很好地满足。对此他给出了解决方案:定制播放器。定制播放器由UI界面、富媒体引擎、播放和DRM三部分构成,他简要介绍了视频播放流程并列举了典型的播放引擎。此外,还涉及自适应播放的内容,包括注意要点、播放流程及播放原理,并重点分析了速度vs质量、网络容错度vs缓冲率的问题,提出多Buffer管理策略的解决方案,在最后还推荐一些开源播放引擎。
9:15【自动化运维与容器实践专题】阿里云高级研发工程师莫源进行了《基于阿里云容器服务的持续集成与云端交付》主题演讲。支付的过程中交互和维护是非常重要的两项,而交互的变革会影响运维的手段。Docker是一种轻量级的操作系统虚拟化方案,它改变了一种交互方式。莫源在分享中着重讲解了Docke的具体用法。调查显示85%的用户有意愿使用容器技术。阿里云容器服务主要包括:集群调度与容器,网络,存储,监控和日志几项。现场还具体展示了蓝绿发布的具体流程。
9:00【高吞吐数据库架构专题】热璞科技CTO金官丁的主持下正式开始。举办该专题的原因,缘于无论传统行业还是互联网行业,大家都面临着巨大用户量。本专题涉及到MySQL、DDB、PostgreSQL、Tribe、分布式数据库、区块链等多个数据库领域技术话题,有来自百度、 腾讯、京东、网易、微博等多家企业的技术专家。
17:10【云计算安全与可信计算论坛】武汉大学计算机学院教授,博士生导师张焕国和中国电子学会云计算专委会委员,英特尔中国研发中心数据中心企业部首席系统软件构架师李彦共同分享了一个主题《端到端可信云解决方案》。张焕国表示:云计算也存在如设备、数据、内容和行文的共性安全,也有如资源的共享所引发的个性安全。目前可信计算已经取得了系列规范、产业化等成绩,如公布了3个可信计算技术标准;TCG公布了TPM2.0和TSS2.0新规范,并将陆续发布其它规范;微软发布了WIN-8,全面支持可信计算等。在端到端方面,要实现可信云基础设施、可信云平台、可信云终端、可信云系统、可信云服务,需要多方共建中国可信社区。李彦重点介绍了英特尔可信执行技术(TXT)、可信计算池 (TCP)、开源远程认证 (OAT),如何帮助更多企业实现安全和身份保护。
17:00【云计算大数据智能交通行业应用论坛】宝船网2.0产品总监杜忠平在题为《宝船网2.0建设航运大生态实践》的演讲中,首先介绍了船务业态转型升级过程,从商业技术和用户角度介绍了宝船网2.0的特点:深入的业务研究,全新的技术构架,更贴近用户的设计实现,互联网+商业模式的探索。随后,他介绍了宝船网2.0在港口服务、内河航运、物流服务、人员四个领域的服务,他还介绍了宝船网导航的核心产品S-GIS,以及宝船网2.0云生态和航运大数据基础架构。他表示,一个机遇大航运市场的生态系统,可以提供一个开发、透明和诚信的环境,并让创新在这个生态里变成更简单、更容易发生。
16:30【云计算安全与可信计算论坛】CSA大中华主席、华为首席网络安全专家李雨航发表《云计算2.0时代的网络空间安全》主题演讲。云计算已从第一代的传统数据中心、虚拟机等进化到第二代的绿色数据中心、容器、Spark、IoT设备等,网络安全顶层框架包括国际战略、国家法律、行业标准、管理流程、技术工具、人才培育六大维度,各维度都需要国际、跨界、跨机构、跨部门合作。针对云计算中的软件定义边界、量子安全、物联网安全以及移动应用安全漏洞检测,云安全联盟分别推出CSA SDP、CSA Quantum Safe、IoT Security Controls和CSA MAST服务。
16:10【云计算大数据智能交通行业应用论坛】深圳市综合交通指挥中心总工程师关志超带来了主题为《新一代信息技术时代城市交通监测、建模、仿真、评价体系》的演讲。他介绍了深圳城市交通云计算实践,包括深圳城市综合交通信息中心和深圳城市未来交通重点实验室等。随后,他介绍了深圳市城市交通运行监测与模型体系,他表示,建立区域、宏观、中观、微观一体化的多层次交通模型体系,可以形成全市统一的交通模型平台,满足不同层面与类别的交通决策支持需求。最后,他介绍了深圳市城市交通宏观、中观、微观、在线智能仿真环境与影响评价。
16:05【“互联网+”金融论坛】北京安理律师事务所高级合伙人王新锐的主题演讲名称是《金融大数据的实践和合规性问题》,他对征信、风控、营销、催收几个方面的金融大数据业务实践行为进行详细剖析,并从法律法规方面对企业大数据实践进行了详细指导。
15:45【云计算安全与可信计算论坛】中国电信股份有限公司云计算分公司产品部副总经理郑少斌在题为《可信,源自中国电信》的演讲中着重分享了中国电信在安全方面的实践。中国电信拥有15个 五星级及90个四星级数据中心,已形成“4+2”云数据中心,更多建设中的云数据中心;计算能力百万物理核;存储可达EB级别;机房出口带宽超过10TB。无论是党政军、大型企业、中小企业 还是内部使用,企业对安全有着极高的安全要求。
15:35【“互联网+”金融论坛】网贷之家创始人&盈灿集团董事长兼总裁徐红伟带来名为《云征信——打造P2P网贷行业生态圈》的专题演讲。演讲期间,他为来宾分享了P2P网贷行业征信现状:P2P网贷行业由三部分核心参与者构成,投资者、平台和借款人,P2P借款人质量直接决定了投资人的投资意愿和平台的存亡,寻找优质的借款人因而成了整个P2P网贷行业中最核心的突破口;前P2P网贷行业在我国急速发展,我国已经成为世界上最大的P2P网贷市场,但由于我国征信产业发展相对滞后,我国P2P网贷行业发展目前因而遭遇瓶颈;在央行的征信系统中,真正和银行有信贷关系的只有3亿人,占比不足25%,且P2P平台目前未能纳入央行征信系统中,全国大大小小的征信公司很多,却没有一家能够针对P2P网贷提供一份很完整的征信报告。
15:30【云计算安全与可信计算论坛】安全狗CEO 陈奋在主题为《用云服务模式解决中小企业安全痛点》的演讲中表示,当前中小企业面临配置风险、外部攻击严重等非常严峻的安全现状,90%的中小企业缺乏系统化的安全规划,在安全方面的投入与整体IT投入占比不到3%。针对系统安全基线、网络安全防护、系统安全保护(防黑防入侵)、身份认证、 跨混合云以及多个公有云管理等几种典型的云安全服务场景,安全狗分别提出了几种解决方案,包括:制作安全的镜像模板、安全产商提供的镜像模板、安全社区的力量-Store模式、云计算厂商网络基础设施、基于主机HOST层面、基于VPC(虚拟私有云)等。
15:25【云计算核心技术架构论坛】云雀科技创始人兼CEO左玥为我们解密Windows Container技术的历史、现状、未来和应用。左玥首先介绍了Windows和Linux设计商的区别,然后着重介绍了Drawbridge容器技术,并将之与Docker进行对比,首先Docker和Kernel是共享的,Drowbridge是不能共享的,Docker的启动时间相对快得多,Drowbridge相对比较慢。Docker的Image不支持多集成(如Apache+MySQL),但Drawbridge可以。因为Drawbridge实现了45个API,可以做一些Docker干不了的事情,比如支持Snapshot,可以做High availability,还有Secure enclave(SGX)-R/G。最新研发的Drawbridge 2.0,已经应用于Azure Machine Learning之中。
15:20【云计算平台构建与实践论坛】中国大数据专家委员会委员,上海晟淘大数据科技有限公司总经理丁陈在主题为《大数据智能IT工具平台》的演讲中首先例举了大数据库市场存在的诸多问题,(1)传承——不支持ACID,大数据永远只能“打边鼓”;(2)性能——大数据不只“大”,更要“快”。高性能、实时大数据才是未来大数据之道;(3)易用——大数据给我们带来的不仅仅是 “big value”,更重要的是人人都会用的大数据。
15:18【云计算大数据智能交通行业应用论坛】同济大学教授杨东援在题为《大数据时代城市交通的思考·分析·决策》的演讲中表示,对于城市交通来说,大数据不是一种时髦,而是技术推动、需求拉动和任务理念变革所共同呼唤的创新,而面对城市交通领域大数据技术应用问题,需要政府提高预见性,树立正确的价值理念,增强把脉诊断能力。期间,他还表示城市交通领域的大数据技术应用,既非将大数据技术塞入传统技术框架,也非对关联分析等技术的简单套用。最后,他介绍了大数据环境下基于证据的决策分析技术框架,其主要目标是提升有机融合城市交通战略、政策、规划、建设、管理和控制等技术环节的战略调控过程的决策效果。
15:15【“互联网+”金融论坛】宜信大数据创新中心研发总监谷文栋的演讲主题是《博以致用,拓则新生——宜信大数据金融云》。他认为推荐系统是大数据特别典型的应用。之后,他提出“互联网+”金融承载的连接作用是平的,可以和任何垂直领域产生关系,金融一直也是平台类的产品,各行各业都离不开金融,这种平台性的东西在开始和逐渐垂直领域产生化学反映的时候会释放出巨大的价值。所以,他认为互联网金融的发展趋势是:服务化、场景化、云+端。最后,他提到宜信采用宜信、商户、合作伙伴三位一体的金融服务体系。
15:10【云计算安全与可信计算论坛】曾在各互联网公司做安全工作而后创业的青藤云安全创始人&CEO张福对安全的理解很深刻。在题为《面向未来的自适应安全架构》的演讲中,分享了一个真实的企业安全故事:知名游戏遭到黑客攻击,最终7人联合小组用了2个月的时间通过各类技术手段才发现10%服务器被感染。他认为:安全环境非常严峻,安全已远远落后云计算的发展,无力应对业务需求剧烈变化,更无力面对专业攻击者,企业安全陷入困境。所以企业更加需要:适用于各种基础架构、易于部署、快速响应、容易使用、实时发现未知威胁、持续监控包含、保护核心资产、人员依赖低的云安全服务。
15:00【云计算平台构建与实践论坛】杭州又拍云CTO黄慧攀发表了题为《什么是云加速》的演讲。他首先介绍了到底什么是云加速,他认为其本质还是网络加速,之后,他还分享了UPYUN云计算的系统架构。虽然云加速会带来硬件成本、系统开发以及网络运营方面的代价,但是云加速所带来的价值也是显而易见的,他认为主要有两点,第一是服务标准化、透明化、公平;第二是服务质量一致,优化周期短,而作为新一代CDN加速服务的UPYUN重新定义了云加速。
14:55【云计算核心技术架构论坛(二)】DaoCloud联合创始人兼CEO陈齐彦在主题为《容器如何帮助企业转型互联网 架构》的演讲中提到,在容器出现之前,软件开发被团队少协作、运维难追溯、质量不可控、集成不持续、集群难伸缩、交付缺统一等痛点所困扰。容器的出现,使得软件开发过程有了新的理念,即:精益工程(方法论)、移动(应用)、Git Flow(协作)、微服务(架构)、云平台(平台)、容器(发布)。他还介绍说,DaoCloud目前提供的产品和解决方案有两个,一个是DaoCloud 应⽤用管理平台(www.daocloud.io),它是云端原生应用的一站式解决方案;另一个是DaoStack企业服务,它是企业级Docker服务,包括私有云、混合云。
14:52 【云计算大数据智能交通行业应用论坛】滴滴快的打车技术副总裁,大数据与商业化事业部总经理朱磊发表了题为《行在“云端”——大数据时代的智能生活》的主题演讲。他介绍了大数据、产品、商业和运营相关联的应用案例。此外,朱磊分享了打车订单的智能化匹配,从人、物、信息、服务四个角度介绍了智能出行的本质,以及用户流失监控预警系统和运营策略分析。最后,他从业务和工程两个方面介绍了滴滴打车的大数据架构。
14:50【云计算平台构建与实践论坛】中国电信股份有限公司云计算分公司技术总监广小明发表了题为《中国电信云计算领域探索与实践》的演讲,他表示中国电信已经组建了南北两大云数据中心,构建覆盖全国8大区域,2大云基地,2大隔离区,共计17个资源池节点(不含隔离区和两个基地),并且分享了天翼云南北双活存储池案例以及混合云应用案例,同时,他还重点介绍了天翼混合云的五大应用场景包括容灾、已有应用弹性伸缩、研发测试、移动APP和虚拟桌面。最后他还介绍了天翼混合云的核心技术指标,
14:45【“互联网+”金融论坛】蚂蚁金服金融云解决方案经理王磊分享了《云计算赋能互联网+金融》。他认为金融云的广泛运用是符合整个金融行业趋势的,特别是互联网+金融的必然产物。他提到,金融云产生的背景是:金融IT应用自主可控技术已上升为国家战略;互联网金融随时在线、小额频发等特性对传统IT系统带来巨大挑战;更多新型中小金融机构出现,迫切需要专业化、社会化资源支持。他认为虽然“互联网+”特质是来自于“互联网+”业务的特性,但是对于金融来说,稳健、安全也是非常重要的。
14:40【云计算安全与可信计算论坛】360云事业部产品总监 张晓兵发表《云安全技术架构分享》主题演讲。2014年国内新增恶意样本3.2亿、钓鱼网站262万、Android病毒326万,65.5%网站存在漏洞,互联网公司公开的安全事故已导致11.3亿用户信息泄露。为此,360提出了“数据驱动安全”理念,以QVM人工智能引擎,基于海量数据挖掘、引入机器智能学习算法,准确识别未知恶意软件。并通过大数据关联技术,以多种图形展现的方式,帮助安全专家对未知威胁进行分析、发现、回溯、跟踪及预警。此外,更提供多租户隔离、集群与公司业务隔离、高防DNS服务、具有五网分发能力的安全CDN服务、防DDoS攻击等构建安全云环境,以及自主研发的鹰眼系统,进行实时扫描防护。
14:30【“互联网+”金融论坛】中国大数据专家委员会委员、中国电子学会云计算专家委员会委员、九一金融信息服务(北京)有限公司创始人兼CEO许泽玮分享了《基于大数据的互联网金融创新》。他认为在整个传统金融里存在三个不对称:信息不对称、知识不对称、服务不对称,并且这三个不对称都可以靠技术解决。基于此,他提出:本质来说互联网金融就是把信息流和资金流融合在一起。他认为数据本身不产生价值,如何分析和利用大数据对业务产生帮助才是关键。之后,他提出互联网金融行业数据交易三个原则:双方主动提交交易数据;平台功能要把产品提炼的足够简单;平台运营数据的效率及变现能力。
14:25【云计算大数据智能交通行业应用论坛】上海北斗卫星导航平台有限公司副总经理、总工程师朱峰发表了题为《北斗高精度导航与智能交通》的主题演讲。首先介绍了北斗及其相关方面的发展情况,他分享了北斗高精度导航及其服务云,他认为,以北斗高精度定位切入市场(包括切入到智能交通领域),用高精度带动应用创新,将推动北斗产业的发展,随后,他介绍了北斗在智能交通领域的一些应用方向,并表示车道级应用将成为北斗高精度在智慧交通领域的引爆点,推动智慧交通的应用创新,最后他介绍了北斗高精度导航面临的技术挑战:高精度定位、地图(高精度车道级)、可用性、高动态、低成本(定位终端)。
14:20【云计算核心技术架构论坛】足记副总裁兼CTO孙东风介绍足记如何基于云平台架构千万级移动应用。基于图片社交的移动互联网应用,注册用户将近3000W,DAU百万级别,日新增用户30~40%。足记传统的MySQL+PHP的架构遇到的问题包括数据瓶颈、性能瓶颈和水平扩展瓶颈等,例如,1.巨量数据,必须分库分表;2.通过SOA水平扩展Service集群;3.组成三级缓存,MySQL降级为持久化工具。通过公有云服务的应用,足记实现了1.动态易扩展,按需服务,前期节省成本,后期扩容快速;2.完善的监控系统和运维后台;3.专业的数据存储支持。
14:18【云计算平台构建与实践论坛】英特尔中国上海分公司大数据软件工程师罗钟悦紧接着阮兴平的演讲,从技术角度介绍了英特尔整机构是如何与OpenStack结合的。主要包括两大步骤,(1)RSA在OpenStack里进行呈现;(2)利用RSA的能务来扩展OpenStack的功能。
14:12【云计算平台构建与实践论坛】英特尔数据中心云平台事业部整机柜架构方案市场技术经理阮兴平发表了题为《英特尔整机柜架构:针对软件定义基础架构优化的云架构方案》,他表示随着云技术的发展,构建数据中心的要求变得越来越标准,交付更弹性,部署更灵活。英特尔整机柜方案是一个针对计算资源、网络资源和存储资源实现解耦及按需重组的逻辑架构方案。这个方案用于重新定义当今数据中心云架构从而实现云服务的高效部署,最后他还分享了采用OpenStack Ironic和英特尔整机柜架构方案相结合而实现软件定义基础设施架构的案例。
14:10【云计算平台构建与实践论坛】HYPER创始人&CTO王旭在演讲中表示,目前正处Docker热潮,Docker究竟是什么?Docker=Container(LXC)+Layered Image(aufs),LXC和aufs两者都不是新东西,而结合后却产生了很大的效应,原由在于Docker的核心是以应用为中心,大大简化了整体发布流程,降低了运维难度。Docker对应用进行了封装,使操作系统回归本原 ,应用与操作系统完全解耦,是运维领域的一大革命。同时他表示虚拟机的问题在于没有做到“应用为中心”,而Hyper的正是应用中心的虚拟化,最后他还介绍了Hyper的本质,以及在已经有容器的情况下,为什么还要虚机,并将Hyper和容器进行了对比。
14:05【云计算安全与可信计算论坛】微软公司可信赖计算部安全技术政策总监陈恺在题为《构建可信赖的云计算平台》的演讲中,特别提到IT技术,如移动、应用、大数据、云计算等发展带来了安 全方面的巨大挑战和机遇。尤其在信任方面,“如何保护数据,谁能访问数据,数据在哪里,如何证明你所承诺的”一直是用户所关注的。为此,微软提供了可信(核心安全、隐私保护、合 规及可靠性承诺),开放和灵活(跨平台一致体验、随时随地处理所有数据、可扩展的应用开发、灵活的基础设施)的安全服务。正如在Azure平台上,企业可以自由选择Linux系统一样。微软在网络安全方面的承诺是:开发、提供安全的产品和服务;保护客户的数据安全及隐私性;协助客户及合作伙伴保护他们的资产;协助打击网络犯罪。技术方面,微软在数据加密方面,会通过“客户与业务之间传输的数据,数据中心之间传输的数据,存储的数据,用户之间端到端的数据保护”来实现全面保护。微软在安全方面有全套的安全保障体系。
14:00【云计算核心技术架构论坛(二)】北京云杉世纪网络科技有限公司CEO亓亚烜在主题为《SDN在云计算数据中 心的应用》的演讲中提到,SDN简化了网络管理,为应用提供支撑。在互联方面,SDN是演进,而不是变革,因为不必迁移 、自由扩展、随时可退,云杉通过OF/OF/VXLAN实现,比如ARISTA、Centec等;在服务方面,SDN是开放的,而不是封闭的 ,使用开源技术、集成第三方资源并保证品质,云杉通过NFV实现,比如Array、NSFOCUS等;在安全方面,SDN变被动防御 为主动防御,需要经过数据采集、分析和执行。
13:55【“互联网+”金融论坛】互联网金融千人会秘书长、联合创始人闻学臣分享了名为《互联网金融趋势报告和分析》的主题演讲。期间,他分析了“互联网+”金融的背景以及对于“互联网+”金融未来趋势的判断和看法。他认为整个金融行业现在面临三大方面的命题:经济下行、制度变革、技术创新。他分享了两种未来代表行业发展趋势的业态:互联网证券和互联网保险。对于互联网保险,他认为互联网和保险叠加之后能带来新的效果:互联网将给保险业带来全新的蓝海市场;产品定价越来越精准化;新的商业模式出现。对于互联网金融的发展趋势,他总结为:高速发展、创新融合、整合重构。
13:50【云计算大数据智能交通行业应用论坛】中国电子学会云计算专家委员会名誉主任委员,中国大数据专家委员会顾问,中国工程院院士李德毅发表了《对智能驾驶的再认识》的主题开场演讲。李院士表示架构设计、模块划分和界面约定决定智能车产业的核心竞争力。随后,他分享了架构设计四大原则:系统、模块、表现和快乐编程原则,详细介绍了机器视觉如何形式化驾驶员的视觉,他表示,机器视觉远不是对人的全部视觉的感知能力的全方位模拟。最后,他分享了智能车传感器如何选型和配置和机器视觉。
13:40【云计算安全与可信计算论坛】北京中油瑞飞信息技术有限公司信息安全高级技术总监黄晟发表《企业私有云安全防护实践与探索》主题演讲。现有企业信息系统对基础设施的使用模式决定了现阶段企业私有云将会采用IaaS为主、PaaS为辅的模式。而随着攻击逐渐上移至应用层并变得更复杂,传统的单一边界防护机制很难保证安全。 从AWS元数据渗透测试与全栈攻击等实际案例可以看出,云计算技术改变了一切,但云计算平台本身就是一个复杂的信息系统,特别是虚拟化管理与云管理系统采用通用软件和现有技术开发,最终也部署在传统硬件平台之上,依然受到传统软硬件技术生态圈的影响。因此传统攻击手段依然具有威胁性,还是需要依靠传统防护手段作为私有云安全防护的基础。
13:40【云计算核心技术架构论坛】苏宁云商OpenStack研发中心总监张小斌分享《基于OpenStack的大型电商私有云之路》。从2014年5月开始,苏宁电商私有云把几千的物理和KVM虚拟机改造成OpenStack私有云,经过了单控制节点的OpenStack生产集群部署到多数据中心、多Region、高可用生产集群部署的转变,现在有4个Regions,包括内网和DMZ的多个可用域,多主机集合(集群),专用资源池,计算与存储密集型主机资源池等。
13:36【“互联网+”金融论坛】中国云计算技术与产业联盟副理事长、中国大数据专家委员会副主任委员、中国电子学会副理事长刘汝林发表了开场致辞。他强调了云计算的本质就是服务,应该把以前传统的提供产品、软件的观念转向提供服务。金融也是提供服务的,在“互联网+”的大旗下,金融这块提出来很有必要。金融既关系到国计民生的重大事项,也关系到老百姓的切身利益,同时也是云计算里面经常提到一个安全问题。他认为“互联网+”金融有很多改革的东西,有广阔的天地。
13:346月5日下午,第七届中国云计算大会云计算大数据智能交通行业应用论坛在中国智能交通协会常务理事、副秘书长、国家智能交通产业技术创新战略联盟理事长关积珍的主持下正式开启。
13:32【云计算安全与可信计算论坛】《云计算安全与可信计算论坛》在炼石网络CipherGateway CEO白小勇的主持下正式开启。
13:32【云计算平台与构建论坛】中国大数据专家委员会副主任委员,中国电子学会云计算专家委员会副主任委员黄晓庆作为论坛主席发表致辞。
13:30云计算核心技术架构论坛(二)正式启动,将有5位嘉宾分享OpenStack、容器、SDN等热门技术。论坛由中国电子学会云计算专家委员会委员、北京航空航天大学计算机学院教授钱德沛主持。
13:30【云计算平台构建与实践论坛】6月5日的云计算平台构建与实践论坛在中国电子学会云计算专家委员会委员,中国科学院云计算产业技术创新与育成中心主任、广东电子工业研究院院长季统凯的主持下正式开始。
13:30“互联网+” 金融论坛在九一金融联合创始人吴文雄的主持下正式开启。吴文雄指出,当下,传统行业已经深受互联网思维的影响,而在互联网高度契合的金融行业内,云计算和大数据成为一种新的趋势。
11:30中国大数据专家委员会顾问、中国电子学会云计算专家委员会副主任委员、中国工程院院士李伯虎表示,制造业正面临全球新技术革命和产业变革的挑战:新一代信息通信技术快速发展并与制造业的深度融合,正引发制造业发展理念、制造模式、制造手段、技术体系、和价值链重大变革;中国制造业大而不强,正面临从价值链的低端向中高端,从制造大国向制造强国、从中国制造向中国创造转变的关键历史时期;国际制造业发展态势和竞争格局面临重大调整;我国经济发展和国家安全对制造业发展提出了更高要求。演讲中,李伯虎院士还针对更个挑战提出了相应对策。 [详情]
11:00CSA云安全联盟创始人兼CEO Jim Reavis发表了题为《Cloud Today, Cloud Tomorrow》的演讲,他首先介绍了CSA以及其对于云计算健康发展的重要性,他表示 CSA目前已经有64000个会员、300个企业会员、75个分支。之后,他还介绍了目前领袖级的企业正在利用云做的事情包括:云安全代理、运维、容器技术(Docker、 Rocket)、安全分析、整合物联网、创造本地云安全战略等。因此在谈到未来CSA面临的挑战时,他表示CSA未来将致力于让云的安全超过其他任何IT系统。这需要CSA制定一些标准提供一些认证,他认为安全应该作为一种服务来提供。最后他介绍了 SDP虚拟私有云和物联网的用例。 [详情]
10:30北京三未信安科技发展有限公司创始人兼CEO张岳公表示,基于云资源的共享集约化思想,云安全隐患主要来自:传统边界安全防护思想失效,封、堵、查、杀防不胜防,虚拟环境下认证授权、访问控制更加困难,云中管理员拥有更大的权限。针对这种现象,张岳公认为密码技术在云安全保障上更有优势:密码技术是有系统理论基础的技术;密码技术是主动的安全技术,在认证、授权、控制和数据保护上有优势;密码技术和数据的处理紧密结合,符合纵深保护策略。而在密码技术实现中,硬件无疑更有优势。 [详情]
10:00中南大学教授、“千人计划”专家陈建二在主题演讲中从多方面分享了透明计算在今年的发展变化。透明计算是一种新的计算模式。它与云计算、虚拟桌面等不同,强调把软件放到服务器端,计算在客户端,流式执行实现跨平台和小终端。云计算解决数据云化问题,而透明计算解决软件云化问题。透明计算的主要特点有:跨软硬件平台;安全性问题;使用方便和便于维护管理;小终端和各种仪器设备运行不同大软件;低成本和环保。其核心关键点包括HTML5。实现跨平台;透明(云)架构,实现服务可控、可信、环保;Meta OS,具有安全、跨平台特性。透明计算对网络安全有三重保证,(1)Meta OS的主动防护性;(2)流式执行对病毒的防护;(3)数据码流监控与可管理性。 [详情]
9:30Adgetec公司CEO、畅销书作者Mark Mueller-Eberstein教授发表题为《云计算大数据推动业务创新发展》的演讲,介绍如何有效利用云计算、大数据和物联网技术带来的机会,使之在快速变化的世界能成为我们的“商业加速器”。Mark Mueller-Eberstein表示,成为新世界的赢家,降低成本已经不是重要的问题,更加创新、更加以客户为中心、更加灵活地满足客户的需求才是关键,而IT的成熟度是企业成功关键的指标。云计算、移动、大数据、物联网、超级APP、智慧城市、3D打印等技术趋势给我们带来了很多新机遇,我们应当利用云计算的无限计算能力,以及大数据蕴含的价值。 [详情]
9:00希捷科技高级存储部首席技术官James Hughes(裘剑一)发表了题为《云存储的未来》的演讲,他首先介绍了ASTC(先进存储技术联盟)技术的发展路线图。他预测2017年开始,机械硬盘的存储密度将保持30%的年复合增长率,最终在2025年左右达到每平方英寸10Tb,由此促成100TB硬盘的实现。之后他介绍了对象存储以及从2001年到2013年13之间对象存储初创公司的融资情况,都是逐步增加的,当然希捷也看到这种趋势。这也是希捷在这个领域发力的原因。最后他总结道,未来的存储需求将会持续增加,开源软件包括Swift、CEPH、Riak等以及软件定义存储最终将降低成本开支,存储API将让开发变得更为简单。 [详情]
8:35中国电子学会云计算专家委员会副主任委员、中国大数据专家委员会副主任委员、国家自然基金委副主任、中国工程院院士高文在题为《城市多媒体大数据高效存储与处理技术》的演讲中表示:最新的图灵奖获奖人是Dr. Michael Stonebraker,数据库领域非常著名的专家之一,这也证明了大数据技术对产业而言非常重要。智能城市作为大数据实践很有代表性。首先,智能城市是一个复杂信息生态系统,;其次,智能城市的基础,是城市大数据传感网络和大数据中心;第三,智能城市成功的前提,是政府决策的主要依据来自大数据中心。 [详情]
8:30第七届中国云计算大会第三日全体会议在中国大数据专家委员会副主任委员、中国电子学会云计算专家委员会副主任委员黄晓庆的主持下正式开始。
8:25第七届中国云计算大会的第三天:上午全体大会之后,是云计算核心技术架构(二)、云计算平台构建与实践(二)、云计算安全与可信计算、“互联网+”金融、云计算大数据智能交通行业应用”等5大专题论坛。
新浪微博 (#SDCC#)@CSDN
专题论坛