暑假到了,梳理下过去一年点的奇奇怪怪的科技树.
项目方面,过去一年通过金融投研平台,云基础设施,软件工程开发平台,教育流媒体,分布式数据中心来验证软件开发的技术.究竟可以做多大的规模的应用,究竟可以调动多少计算资源.如何扩大应用规模?如何做到高可用和灾备?这些问题令人着迷.
金融投研平台,是希望借这一话题研究安全且高可用的软件该怎样构建.如何融入区块链技术,实现分布式架构下的金融信息的安全.如何通过高频交易完成金融投研平台的性能要求,实现软件的敏捷,高效,高性能计算等要求.量化交易则探究了一种市场的分析能力,引入数据挖掘流水线,舆情分析和舆情监控等机器学习平台,探究数据处理的能力.金融安全则考虑软件构造过程中的安全问题,探究软件的合规和可靠的问题.这样的平台充分挖掘了一个架构在性能伸缩上的空间,希望能研究性能扩展到大规模集群上使用时的拓展方案.也希望能引入SaaS,使金融投研的针对性的行业需求能模块化接入平台.
云基础设施是对大规模集群的管理和高效低成本提供计算服务.云基础设施对集群管理,将服务器资源治理成存储、网络、计算、异构计算、容器管理、SaaS等服务的一种松耦合可拓展的数据中心,使得应用对集群的底层约束解除,方便了学院内多用户共用资源.资源竞争和共享是一个有趣的话题,成本优先和性能优先分别应采取什么样的方案?可用区分离去回避Noise neighbor问题以实现高可用,如何实现?对于云计算的冗余重用和冗余过渡问题,能否进行治理,提出更优的冗余共用方案?对于复杂网络结构的治理,能否更加智能化?
软件工程实施平台是云原生开发的开发平台,这一平台管理了从开发测试到交付运维的全部过程.通过中间件的重用实现代码规范性,增强应用交付能力.在开发阶段,提供CI/CD服务,PaaS的应用托管平台,SaaS的服务使用平台,Serverless服务平台,提前搭建好Cloud Native Develepement过程中所需要的中间件,使得大规模分布式应用的开发变得更容易.在应用进入运维阶段过程中时,提供DevOps,DevSecOps能力,微服务运行平台,使得云原生应用发挥最大效能.规范化给优化和代码检查提供方便,为智能化开发提供方便.我追求一种快速开发行业应用的能力,灵活构建大规模分布式应用的能力,快速交付软件的能力.
教育流媒体是以OpenEDX为核心,提供直播,视频会议,推家系统,行为分析,社会计算等大规模的网络应用.如何构建大规模的互联网应用上,教育是一个很好的切入口.MOOC提供了多元的教育手段,也提供了多维的信息收集手段,利用良好的数据分析技术理解学生,有很好的价值,也为推荐系统的实践提供机会.直播与视频会议,提供了视频服务的性能场景,为视频服务的落地提供实操平台,使得视频分析,自然语言处理等非结构化数据的处理得以施展.除了基本的对独立个体的研究,我们还应关注到在正常的学习场景中,同学的反应,即人群的反馈对教育的作用,这就考虑到社会计算上对集群智能的理解和影响了.
分布式的数据科学中心,需要提供一种易用的数据科学实训平台的环境,分布式的应用则要求架构要灵活,更贴合现在的数据科学训练主要由分布式节点提供的特性.在数据集的分享上,资源的租用上,还需要更好的产品逻辑去提供.此外,分布式的数据科学中心在性能上需要突破,即RDMA的应用,集群内带宽的问题,存储性能的问题.还有对移动端的数据框架,大规模分布式的在性能较低的边缘设备上跑,怎么做?
另外,OpenEDX提供了非常现代化的教育工具,对于电气,化学,机器学习,算法都提供了很好的互动式学习环境
| project | translation | reason |
|---|---|---|
| Cryptography and Security | 密码学和安全问题 | 网络安全,DevSecOps实现自动化安全测试,大型架构的安全缺口在哪 |
| Advances of Database | 数据库的发展 | 数据库作为大规模框架的性能瓶颈之一,需要很多新的技术.国内的TiDB,国外的Postgres,MongoDB,Neo4j,很多全新的数据库需要认真的学习. |
| Algorithms | 算法 | 算法和数据结构,可以借用OpenEDX进行深入总结和分析.另外,对Codeforces的竞赛经验进行熟悉,介绍出题特点,比赛特点 |
| Artificial General Intelligence | 通用人工智能 | 探究通用人工智能的进展和解决途径 |
| Automated Machine Learning | AutoML | 自动调参 |
| Big Data | 大数据 | Hadoop,Spark,前端埋点,ElasticSearch等数据收集,处理分析,使用方法 |
| Chips | 芯片 | ASIC,RISC-V,专用芯片,异构计算,不同指令集的芯片转换 |
| Cloud Infrastructure Technology | 云计算基础设施 | 存储,网络,计算,容器化,IaaS,PaaS,SaaS |
| Cloud Native Developement | 云原生开发 | 充分使用云计算的基础资源和云上的中间件进行软件开发 |
| Compilers | 编译器 | 对新语言的特点,旧语言的缺陷和基本原理进行总结 |
| Computer Vision | 计算机视觉 | http://www.cvpapers.com/, 对CV的应用场景提供一个案例池,思想池,基本研究方法 |
| Cyber-Physical Networks | 网络前沿技术 | 数据中心里面的网络管理的实际操作和困难问题的探讨 |
| Data Science Competition | 数据科学竞赛 | Kaggle等数据科学竞赛的风头甚至超过了许多算法竞赛.算法工程师岗位招聘又对数据科学竞赛有许多关注.对于数据科学竞赛的技巧应该有特殊总结 |
| DevOps Practice | DevOps实践 | 开发运维一体化,作为成熟软件开发的有效工作流程,为敏捷开发提供了工具保障.如何在DevOps的流程上构建我们的项目,加速我们的开发? |
| Edge Computing | 边缘计算 | 边缘网络,量大,性能有限,如何赋予处于生活场景中的边缘设备以云计算的优势,什么样的应用需要这样的开发场景?我相信这对生产智能化和对生活智能化是一个有效的促进. |
| Electron Application | Electron框架 | Electron使用Javascript语言构建跨平台应用,这样的开发模式在一些新的应用,例如网易云音乐,Tim,VS Code上都有应用,在Android开发上更是比比皆是.既然能支撑起VS Code这种级别的应用,也证明了这种架构的上限极高 |
| Embedded Hardware | 嵌入式硬件 | 开发板,硬件上的系统开发和管理,汇编,能否用一种更新颖和更现代化的方式去进行嵌入式硬件的开发.此外,智能生活的硬件如何构建,如何构建微型的芯片? |
| Financial Technology | 金融科技 | 金融领域的传统技术有哪些?有哪些新的金融技术正在影响金融领域?Fintech如火如荼,值得关注和总结 |
| Front End Practice | 前端技术 | 前端框架如React,Angular,AntDesign等框架,对于实际开发仍有许多空间.现有的教程极不专业,并不适合大学计算机专业学生快速掌握.基于Java企业开发的概念去理解前端框架.另外对于前后端分离,基于RESTFUL协议,基于GRPC,基于消息队列(一种类似流觞曲水的方式)去进行架构构建?移动端和网页端的各种界面设计和动画效果的小技巧,如何入门,如何查资料,如何理解? |
| Handicraft of Modern Software Framework | 手撸现代软件框架 | 现代企业在用的软件框架简直就是企业面试的框架,包含了面试中的细节点.有手动实现相关框架的意见,也是比较讨喜的简历.怎样去理解由大公司推出的优秀框架?怎么理解里面存在最佳实践?这些框架里藏着企业最喜欢的企业级开发经验. |
| Heterogeneous Computing | 异构计算 | NPU,FPGA,RDMA,CUDA等云计算里的新成员,由于门槛较高,在本科生的开发中出场率较低.难点在哪,入门难度在哪? |
| High Frequency Trading | 高频交易 | 高频交易是高性能计算里一个比较有价值的应用场景.高频交易的架构是什么样的?硬件架构是什么样的?软件考虑什么? |
| High Performance Computing | 高性能计算 | 超算基于分布式计算,超算的应用有何不同,高性能计算大赛考察什么,比什么? |
| Human-Computer Interaction | 人机交互 | VR,AR,软件交互,体验管理等,机器如何辅助人对现实世界进行决策?对所处环境的信息收集和综合处理,和环境互动 |
| Interactive Education Techonology | 互动教育技术 | OpenEDX提供了顶级的交互式教育手段,为我国教育的现代化提供了切实有效的工具库.为学院内部也提供了极好的教育资源 |
| Knowledge Graph | 知识图谱 | 知识图谱,图关系数据库,推理计算,关联计算,知识图谱是理解社会关系的有效工具 |
| Livestream Platform | 直播平台 | 直播技术,视频处理技术,视频会议的技术难点在哪?大用户量同时观看直播如何处理?使用公共云平台的成本是多少?直播平台怎么做数据分析? |
| Math for Computer Science | 计算机应用数学 | 计算机的学术研究的数学基础有哪些? |
| Modern Computer Science Applications | 计算机科学前沿应用 | 每周论文有何应用,是否有新的应用形式存在?论文的复现和应用场景总结 |
| Modern Network Techonology | 现代网络技术 | 软件定义网络,网络设施虚拟化,BGP等网络的配置,智能网络,透明网络,零信任网络,怎么构建一个园区里可用网络,无线网络.软件怎样处理网络问题?云计算设施,集群怎么处理网络? |
| Multiagent Systems | 多个体控制 | 集群智能,多个机器人怎么控制怎么做?多个个体之间联动,多变量取最优解?另外,对规模更大的多个体进行智能控制,例如上交的Multi agent 机器学习是如何实现的? |
| Natural Language Processing | 自然语言处理 | 推荐系统,Deep learning based Recommendation System,舆情分析,舆情处理,情感分析,情感计算.Deepfake生成虚假信息和虚假信息检测.生成分析报告,法律报告,金融报告,自动写新闻稿.多轮对话 |
| Network Security & Application Security | 网络安全和软件安全 | 软件安全如何可靠,网络安全如何可信,如何交付可靠与合规的网络和软件? |
| Neural and Evolutionary Computing | 神经计算 | 脑的连接数为70到80亿,现代网络的联结数为40到50亿,大脑的耗电量却只有25W,并且具有很好的成长性,自我修复能力,鲁棒性.据研究,海马区可以其存放10亿本书.这些天量的数字,为神经网络和机器模型划定了巨大的上限,是事实存在的神话,值得人类去追求.此外,神经计算提供了丰富的神经元函数,提供了丰富的计算模块,黑盒模型,这些模型能否启发人们设计功能更强大的神经网络.此外.考虑到人脑中存在一些通过动力系统网络进行作用的一些机构,对建模产生了困扰,需要等到更有效的生物学模型,使之更适合计算机模拟. |
| Parallel Programming | 并行编程 | CUDA等并行计算方法是高性能计算和集群运用的一个话题.Hadoop,Spark,CUDA等并行框架,如何通过并行编程模型,研发更适合多核系统的应用.现阶段当核数不够时,操作系统通过时间片轮转来实现并行程序的兼容性.当出现显卡的上千的CUDA核心,超算上成千上万的核心,如何更充分利用这些计算核心呢? |
| Quantative Finance | 量化交易 | 对市场上的新闻,舆情,交易者情绪,生活中的边缘数据对金融市场的影响.金融本身的指标分析,仓位控制,决策,实现灵敏,敏捷的金融流程控制,实现多市场多金融产品,复杂金融产品的投资,风险对冲. |
| Quantum Computing | 量子计算 | 探究量子计算理论成立的情况下,如何设计应用以充分解决计算问题,主要在于探究如何突破冯洛伊曼结构下无法解决的关键问题. |
| Scalable, Reliable, and Performant Large-Scale | 高可用可依赖的大规模分布式应用 | 大规模分布式应用是低成本,并且可靠安全的交付企业级应用的必要框架,它使得数据中心的能力能充分被利用.考虑到银行,铁路购票系统等产品的互联网应用,一个成本模型灵活的应用框架为这种互联网的灵活性提供可能. |
| Self-Driving Cars | 无人驾驶 | SLAM技术,机动车控制技术,车路协同能力(在道路上提前部署信息获取工具),远程机器人控制能力,路径规划技术.通过无人驾驶,提供低成本的货运系统,降低高速的运输风险,提供园区接驳能力,提高码头港口向国内生产区的输血能力. |
| Social Computing | 社会计算 | 集群智能,社会计算,读懂社会情绪,并且能对社会情绪施加影响.一种角度是控制小群体,以某一个人为核心去处理集群,另一角度是,以大规模人群的思想处理为目标去处理.利用文本信息,图像,渗透测试等手段去施加影响,形成机器对人的互动. |
| Spring Boot Framework | Spring Boot框架 | Spring Boot为企业级开发提供了一个完整的概念模型.微服务的整个技术栈,大规模分布式应用的技术栈,Spring Boot都提供了很好的实现 |
| Storage Systems | 存储系统 | Ceph系统中的CRUSHMAP算法,存储系统设计.能否让集群的存储完全依靠网络存储,RDMA,而不需要本地存储.启动风暴和性能瓶颈,能否在存储层上就屏蔽掉这种卡死.存储的灾备系统.存储算法如何高效?提供超高的IOPS?对象存储,存储系统,块存储如何为云上应用开发提供云存储能力?使得成本更低. |
| Verilog Programming | Verilog语言 | Verilog在数电和计组实验中有多应用.在FPGA实验,芯片设计上也是一个很好的入门.这一语言将硬件设计软件化,打开了芯片设计的新世界. |
| Enterprise Middleware | 企业中间件 | 企业中间件的使用和优化,是企业应用开发中值得研究的部分.企业应用将性能的关键凝聚到中间件上,将独立孤岛式的组件治理成共用的中间件和业务末端应用.通过优化中间件,提升整个大规模应用的能力. |