Linux开发社区 | CTOLib码库

EleanorBaldwin 发表了【主题】 · 昨天

百亿级日志系统架构设计及优化
本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。日志...

机器人人工智能 Facebook 架构 Shell MyBatis Ruby Lucene MongoDB 7 103
TateRobin 发表了【主题】 · 昨天

高并发场景下分布式实时信令系统的架构实践
我们在5月正式发布了实时消息（RTM）SDK 。在5 月 27 日举行的 Qcon 广州站上，声网 Agora 资深技术架构师吉奇以《高并发场景下分布式实时信令系统的架构实践》作为话题，分享了 ...

微信 HTML 架构分布式系统微服务 DNS 负载均衡 1 78
Johnston(e)Wendy 发表了【主题】 · 昨天

使用 Docker 和 Nexus 搭建私有 Maven 仓库
使用 Docker 启动 Nexus 首先确保服务器已经安装了 Docker，然后执行以下命令启动 Nexus（可以考虑写成 docker-compose.yml ）： # 创建存储数...

Docker maven Android 测试 1 94
Johnston(e)Wendy 发表了【主题】 · 昨天

Graviton：极简的开源代码编辑器
Graviton 是一款开发中的自由开源的跨平台代码编辑器。他的开发者 16 岁的 Marc Espin 强调说，它是一个“极简”的代码编辑器。我不确定这点，但它确实有一个清爽...

嵌入式 Atom Electron macOS Git 测试 Ubuntu Linux 3 79
AustenJames 发表了【主题】 · 3天前

聊聊微服务集群当中的自动化工具
本篇博客主要介绍了自动化工具这个概念，在微服务集群当中的作用，算抛砖引玉，欢迎大家提出自己的见解。写在前面在了解自动化工具的概念之前，我们先了解一下微服务和集群的概念。什么是微...

游戏微服务命令行 Shell Android iOS iTerm 数据库 1 91
MargaretJacob 发表了【主题】 · 3天前

万亿数据下Hadoop的核心竞争力
1.前言在大数据时代，Hadoop有着得天独厚的优势。然而，每个企业的技术储备和需求特点不同，他们希望从海量的客户数据中挖掘真正的商业价值，像Google、Facebook、Twitter等这...

机器人 Electron Hadoop Apache Hive Apache Flume 数据库 HDFS 机器学习数据挖掘 7 142
III.Heloise 发表了【主题】 · 7天前

Kubernetes监控在小米的落地
本文介绍了高可用、持久存储、可动态调整的Kubernetes监控方案的实现过程。上篇文章回顾：记一次kubernetes集群异常：kubelet连接apiserver超时小米的弹性调...

HTML 测试 Kubernetes Flux Node.js Elm etcd HBase 数据分析 2 103
schack 发表了【主题】 · 7天前

个人网站实现微信个人收款的一种实现思路
　　大家可以看到知识付费是一种趋势，本人是一名教师，也要跟一下潮流，前段做了一个实现收费功能的视频教学网站（ http://payas.cn )，内容和网站的框架都做好了，但收费功能是最难实现的，当...

数据分析微信 Android 182
PaulGriselda 发表了【主题】 · 7天前

基于 Container 网络共享机制的抓包实践
背景假设存在一个容器，提供的服务是 HTTP 或者 RPC 的服务。由于出于简单可维护的目的，这个容器的基础镜像里面没有带上任何和网络抓包相关的功能。那么如何能搞对这样的容器进行抓包，以分析业...

机器人 HTML 招聘 Docker Git 测试 Kubernetes 8 133
PitmanRudolf 发表了【主题】 · 9天前

达达-京东到家大数据平台演进实战
作者简介：蔡智武达达-京东到家大数据产品研发负责人，毕业于上海交通大学软件学院，有多年数据仓库和数据平台系统建设及团队管理经验，2017年加入达达-京东到家，负责达达-京...

测试 Apache Hive Redis 数据库运维架构 HDFS Git 7 107
PitmanRudolf 发表了【主题】 · 9天前

关于美图大规模图片处理和全球云端处理架构思考
近日，TGO 鲲鹏会邀请不同领域的技术管理者，从案例和实践出发，一起分享讨论自己在架构设计方面的想法和宝贵经验，深入解读可扩展、高可用架构。在活动现场，美图公司技术总监王静波结合美图公司现状为大家分享...

机器人人工智能 HTML 测试架构设计模式 Python Shell Docker 6 120
EuphemiaAllen 发表了【主题】 · 9天前

360自研分布式海量小文件存储系统的设计与实现
奇技指南本文介绍360基础架构团队自研的分布式海量小文件存储系统—— NebulasFs 。背景近年来，公司业务发展迅猛，为数众多的业务场景产生了大量...

面试 HTML JVM 分布式系统 Node.js etcd 数据库 Facebook 运维架构 6 1 189
heavybird 发表了【主题】 · 9天前

高可用 kubernetes 集群部署实践
前言 Kubernetes（k8s）凭借着其优良的架构，灵活的扩展能力，丰富的应用编排模型，成为了容器编排领域的事实标准。越来越多的企业拥抱这一趋势，选择 k8s 作为容器化应用的基础设施，逐...

数据库 Facebook 人脸识别 Kubernetes Nginx Node.js Docker etcd 架构 5 76
BuckKevin 发表了【主题】 · 9天前

【Linux工具篇】文本分析工具awk
简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的...

人工智能 Linux 命令行 Shell 正则表达式 C语言数据分析 PHP 3 115
BuckKevin 发表了【主题】 · 9天前

GitHacker：Git源码泄漏检测工具可恢复整个Git Repo
GitHacker是一个多线程工具，用于检测站点是否存在git源码泄漏，并能够将网站源代码下载到本地。值得一提的是，这个工具会将整个git repo恢复到本地，而不是像[githack]那样，只是简单...

机器人 HTML Git Python Linux 8 160
HalifaxRosalind 发表了【主题】 · 9天前

HBase实践 | BDS-HBase数据迁移同步方案的设计与实践
概览 BDS针对开源HBase目前存在的同步迁移痛点，自主研发的一套数据迁移的平台。有关于BDS的基本介绍，可以查看《BDS-HBase数据迁移同步的利器》。本文主要介绍目前在阿里云上，BDS是...

测试 HBase Node.js 微信 Apache Cassandra 运维架构 7 149
purplewolf 发表了【主题】 · 10天前

Apache Parquet 干货分享
Parquet 是一种面向分析的、通用的列式存储格式，兼容各种数据处理框架比如 Spark、Hive、Impala 等，同时支持 Avro、Thrift、Protocol Buffers 等数据模型。...

人工智能算法命令行 Apache Hive Shell HDFS 架构测试 Spark 4 59
purplewolf 发表了【主题】 · 10天前

一步一图，带你了解分布式架构的前世今生！
什么是分布式架构？分布式系统（distributed system）是建立在网络之上的软件系统，它有两个典型特点：内聚性：每个数据库分布节点高度自治，有本地的数据库管理系...

机器人人工智能 Facebook 架构分布式系统数据库搜索引擎 HTML 负载均衡 6 66
HaroldMarcia 发表了【主题】 · 12天前

容器监控实践-Grafana
概述 Grafana 是一个开源的，可以用于大规模指标数据的可视化项目，甚至还能对指标进行报警。基于友好的 Apache License 2.0 开源协议，目前是prometheus监控展示的首...

微信图表 Node.js JSON 数据库 Git HTML Angular.js 8 173
BroadMartin 发表了【主题】 · 12天前

SQL on Hadoop 在快手大数据平台的实践与优化
本文从 SQL on Hadoop 介绍、快手 SQL on Hadoop 平台概述、SQL on Hadoop 在快手的使用经验和改进分析、快手 SQL on Hadoop 的未来计划四方面介绍了 ...

Hadoop Apache Hive 数据库运维架构 HDFS 测试 7 163