Why openLooKeng?

极简数据分析体验

统一的SQL接口访问多种数据源

支持跨数据中心、跨云数据源分析

灵活、易扩展

可以通过增加Connector来增加数据源

采集变连接、数据零搬迁

高可靠

全 Active/Active 架构,业务零中断

openLooKeng社区活力

贡献者

用户

社区会员

博客

  • openLooKeng喊您登记您的组织信息喽

    Fred Li | December 8, 2020

    简介 首先感谢贡献者在openLooKeng社区做成贡献。 为了了解各位贡献者所在的公司/学校/组织的整体贡献情况,Infrastructure小组开发了一个度量功能,需要各位贡献者填写自己所在的公司信息。 本文是指导贡献者如何填写个人的组织信息。 操作步骤 Fork https://gitee.com/openlookeng/community to your Gitee. on your local PC git clone https://gitee.com/YOUR_ID/community.openlookeng cd YOUR_FOLDER git checkout -b NEW_BRANCH_NAME vi ./om-data/data.yaml Search your Gitee ID and then edit your profile. Then save it and quit. git add. git commit git push --set-upstream orgin NEW_BRANCH_NAME Creat a PR on your Gitee. Wait for PR reviewed and merged. 数据结构介绍 gitee_id: gitee login id github_id: generalfuzz companies: - company_name: Huawei organization_name: openlookeng end_date: '2015-10-31' user_name: test emails: - generalftes@gmail.

  • 北明数据资产管理平台V4.0发布,提供基于openLooKeng引擎的数据交换共享服务

    北明软件 | November 18, 2020

    北明数据资产管理平台V4.0是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据资产管理平台。平台可快速构建、运行和管理分布式应用系统间、云环境下应用系统之间等数据交换共享任务,可满足各种大型应用、各种复杂的网络环境下的业务需求,尤其适用于跨部门、跨地域、跨层级的数据交换共享应用。 传统数据管理平台的一些常见问题: 1.数据孤岛问题 传统方式建设企业系统时,不同部门或团队通常会构建独立的数据库,导致的问题有:同一份数据存在于多个业务系统内且内容不一致,缺少统一的数据标准、数据管理流程及可靠的管理工具,出现质量问题时往往无法有效追溯并修正。 2.技术门槛问题 大数据和AI的应用与运维十分昂贵,无论是对于平台建设、团队建设还是业务探索而言都会带来不小的开销。将数据服务化、资产化、在线化,以方便客户、技术开发人员和数据科学家使用,降低技术门槛是当务之急。 3.烟囱开发问题 “烟囱”式架构是传统企业系统开发的弊病,不同团队独立建设、独立开发服务和应用,带来安全、运维、升级、部署等通用功能的重复开发和投入问题,这种开发的低复用率带来了巨大资源的浪费,难以形成技术合力,也不利于团队间的研发管控和质量提升。 针对以上问题,北明数据资产管理平台重磅发布V4.0版本,主要包含以下功能: 1.统一的资源目录管理 支持统一的元数据管理,包括元数据的模型设计、模型审核、模型发布、模型变更,以及模型版本管理、关系管理等; 2.全面灵活的数据采集 采用调度中心+决策中心相结合的分布式数据采集处理架构,支持多样化的采集策略和多种抽取、汇总方式;支持丰富的数据处理组件,可视化任务编排、配置、规则定义及发布;针对结构化资源和非结构化资源,以数据映射、数据脱敏、数据过滤的工具化手段进行数据处理; 3.集中式数据质量管控 支持数据质量核查规则配置与管理,在数据采集清洗过程中完成数据质量核查与告警;支持对数据质量告警的监控和数据质量问题的可视化呈现;提供知识库管理和查询,支持数据血统分析和影响分析; 4.模型版本管理、关系管理 支持以数据服务的形式封装数据,提供统一的数据开发共享能力;数据服务封装和开发,支持WebService协议、FTP协议和数据库等各类接口;支持服务发布、订阅及审核管理,同时支持对服务调用情况进行监控,以确保平台采集管理的数据正常实现交换共享。 在解决以上传统大数据大数据平台问题之外,北明数据资产管理平台V4.0版本采用华为开源openLooKeng引擎,构建轻量级流、批、交互式全场景数据查询交互分析,支持从不同数据中心或不同数据源获取数据,并对外进行共享开放,减少数据迁移、接口开发的工作量。同时支持一次性从不同数据中心、不同数据库获取数据并输出到目标端,从而减少数据的搬运成本,提高交换的效率,弥补跨DC、跨库数据的数据联合分析与即时查询空白。 openLooKeng在北明数据资产管理平台V4.0的价值: 1.跨数据源查询; 2.SQL算子下推数据; 3.跨数据中心:选择最优的跨数据中心执行计划,拆分子查询到不同DC的多个计算引擎执行; 4.标准SQL语法:SQL2003; 5.数据即时查询:数据采样、小数据交互式查询等。

更多...

新闻

更多...