-
系统稳定性建设（5） – 稳定性设计系统的思考
文章目录 Toggle 1、职责2、交付流程稳定性保障（1）方案设计规范（2）代码规范（3）流水线建设（4）上线规范（5）交付流程观测指标3、线上稳定性保障（1）事故预防1. 运维基础能力建设2. 服务治理3. 系统能力预估4. 业务梳理及风险排查（2）事故发现&排查1.原则：可观测性（Observability）2. 工具3. 多维度监控、报警4. 线上问题发现（3）事故处理1. 处理原…- 2
- 0
-
系统稳定性建设（12） – 线上监控指标全解(线上问题排查指南)
前言本文将从 基础设施（CPU、内存、网络、磁盘）、 服务内部（JVM、线程池、连接池等）、中间件（MySQL、Redis、MQ等）、服务治理（注册中心、熔断、分布式事务、服务间调用）、业务指标（支付成功率、转化漏斗）、用户体验（页面性能、用户反馈） 等全维度出发，讲解线上应用的全方面监控参数，大家设计线上服务监控的时候可以借鉴这些参数和思路。线上问题排查也可从这些角度出发。掌握这些将全方面提升你…- 1
- 0
-
阿里大模型通义千问开源
从官网中介绍，通义千问有以下几个优点： 训练时使用了大规模的高质量数据：使用了超过2.2万亿token进行预训练 更好地支持多语言：基于更大词表的分词器在分词上更高效，同时它对其他语言表现更加友好。用户可以在Qwen-7B的基础上更方便地训练特定语言的7B语言模型。 支持8K长度上下文：允许用户输入更长的prompt。 评测能力有大幅提升：通义千问在多个评测数据集上具有显著优势，甚至超出12-13…- 1
- 0
-
Flink SQL – 网易云音乐flink实践与优化
文章目录 Toggle 一、背景简介二、云音乐的实时计算 Notebook 服务三、性能优化四、运维监控增强五、未来规划 一、背景简介 1.Flink in Music 先简单的介绍下云音乐的现状，目前音乐这边的客户端日志，服务端日志大概在每日大千亿条左右，维度表数据源像 Redis，MySQL 这些大概有上百个。而服务的实时计算任务开发的人员有上百名，其中不仅包扩数据开发工程师，分析师，也包括算…- 0
- 0
-
Flink SQL – 在各大厂（阿里，腾讯，美团，饿了么）实践
阿里 双11数据大屏背后的秘密：大规模流式增量计算及应用。 双11数据大屏背后的秘密：大规模流式增量计算及应用-云栖社区-阿里云 阿里主要用Flink干啥。 阿里主要用Flink干些啥？ 阿里双十一。 争分夺秒：阿里实时大数据技术全力助战双11 腾讯 实时平台的搭建。 腾讯实时计算平台Oceanus建设实践 美团 美团属于storm转flink比较早的。 美团DB数据同步到数据仓库的架构与实…- 1
- 0
-
【运维工具】Flink SQL 实践2 – 自定义 redis 数据维表
文章目录 Toggle 1.Flink sql redis2.背景篇-为啥需要 redis 维表2.1.啥是维表？事实表？2.2.为啥需要 redis 维表？3.目标篇-做 redis 维表预期效果是什么4.难点剖析篇-目前有哪些实现5.维表实现篇-维表实现的过程5.1.flink 维表原理5.2.flink 维表实现方案5.2.1.复用 bahir connector5.2.2.复用 forma…- 0
- 0
-
故障治理 – 全年配送0故障，盒马揭秘智能调度12个关键技术提高稳定性
文章目录 Toggle 一 、稳定大于一切二、智能调度链路分析三、稳定性因素分析和实践1、DB依赖2、HSF依赖3、HSF服务提供4、tair依赖5、Metaq依赖6、精卫依赖7、DTS依赖8、开关9、监控10、灰度11、测试12、应急响应四、总结 一 、稳定大于一切 盒马的线下作业稳定性要求极高，假如门店pos无法付款了，排起的支付长队伍能让人把门店闹翻，假如配送员无法揽收了，在家里预定的午餐材…- 1
- 0
-
【运维工具】flink sql 实践思路案例
文章目录 Toggle 短视频生产消费监控项目简介方案设计方案 1方案 2方案 3方案 4总结技术架构QuestionWHAT：实时 & 离线公共画像维表？概念区别离线公共画像维表实时公共画像维表WHY：为什么建设实时公共画像维表？直播间画像维表主播 & 观众用户画像维表HOW + WHO：怎样建设？用什么建设？直播间生命周期 & 数据流转直播间画像维表-实时直播间画像实时…- 1
- 0
-
【运维工具】flink sql 基础实践 – 常见的疑问点
文章目录 Toggle 1.前言2.状态原理2.1.状态、状态后端、Checkpoint 三者之间的区别及关系？2.2.把状态后端从 FileSystem 变为 RocksDB 后，Flink 任务状态存储会发生那些变化？2.3.什么样的业务场景你会选择 filesystem，什么样的业务场景你会选 rocksdb 状态后端？2.4.Flink SQL API State TTL 的过期机制是 o…- 0
- 0
-
【运维工具】一文搞懂 Hadoop 生态系统的组件
Hadoop概述 Hadoop体系也是一个计算框架，在这个框架下，可以使用一种简单的编程模式，通过多台计算机构成的集群，分布式处理大数据集。Hadoop是可扩展的，它可以方便地从单一服务器扩展到数千台服务器，每台服务器进行本地计算和存储。除了依赖于硬件交付的高可用性，软件库本身也提供数据保护，并可以在应用层做失败处理，从而在计算机集群的顶层提供高可用服务。Hadoop核心生态圈组件如图1所示。 图…- 1
- 0
-
大规模运行 Apache Airflow 的经验和教训
Apache Airflow 是一个能够开发、调度和监控工作流的编排平台。在 Shopify，我们已经在生产中运行了两年多的 Airflow，用于各种工作流，包括数据提取、机器学习模型训练、Apache Iceberg 表维护和 DBT 驱动的数据建模。在撰写本文时，我们正通过 Celery 执行器和 MySQL 8 在 Kubernetes 上来运行 Airflow 2.2。 Shopify 在…- 1
- 0
-
数据治理 – XX业务数据分析体系的架构与实践
导读：讲述在业务快速迭代发展过程中，为了让大数据更好地赋能业务，高效的为用户提供有业务价值的数据产品和服务，百度爱番番的数据团队构建实时和离线大数据基础平台的心路历程，包括如何应对业务、技术、组织等方面的挑战和解决实际痛点过程中的思考与实践。 全文9911字，预计阅读时间24分钟。 文章目录 Toggle 一、前言1.1 名词解释三、实践及经验分享3.1 数据架构3.1.1 什么是数据架构3.1.…- 1
- 0
-
故障复盘 – 复盘工具 Fishbone Diagram（鱼骨图法/因果分析图）
鱼骨图分析法，也称为因果图或Ishikawa图，是一种结构化的问题分析方法，用于识别问题的根本原因。它广泛应用于质量管理和其他领域，特别是在发现和解决问题的根本原因方面非常有效。鱼骨图通常包括以下几个方面：人（人员）、机（设备）、料（材料）、法（方法）、环（环境）。这些要素可以进一步细分为更小的部分，以揭示问题背后的复杂性。鱼骨图的绘制过程包括以下几个步骤：确定问题：选择要分析的问题，将其写…- 2
- 0
-
运维工具 – Hadoop高可用的架构知识
hadoop 2.0 对于Hadoop高可用架构节点介绍 NN服务器会出现脑裂(brain-split)情况什么是脑裂在hadoop2.x版本中，如果存在两个NameNode节点同时服务，这种情况称之为“脑裂” 为什么会出现脑裂脑裂出现原因一般发生在主备NamoNode切换，由于网络延迟、设备故障等，备用的StandbyNameNode【备用节点】认为ActiveNameNode【主节点】失效，此…- 1
- 0
-
运维工具 – i基于Centos7+Apache2.4+Mysql5.7+PHP7.3环境安装itop3
https://sourceforge.net/projects/itop/files/itop/3.0.1/ 文章目录 Toggle Centos7安装itop3.o1.关闭防火墙与SELinux2.安装php7.3卸载之前的php安装扩展源“安装php7.3启动php3.安装apache启动httpd4.安装mysql5.7安装扩展源安装mysql查看mysql默认password…- 2
- 0
-
IT服务治理 – 阿里为什么能抗住90秒100亿？负载均衡架构实践
本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍。 1）什么是分布式？ 系统中的多个模块在不同服务器上部署，即可称为分布式系统，如Tomcat和数据库分别部…- 1
- 0
-
运维工具 – 唯品会Dragonfly日志系统的Elasticsearch实践
文章目录 Toggle 开篇-唯品会日志系统初探Elasticsearch简介硬件配置日志索引管理1. 索引预创建2. 替补索引3. Force Merge4. 冷热分离5. 日志归档日志写入降级策略结语 开篇-唯品会日志系统初探 唯品会日志系统，承接了公司上千个应用的日志，提供了日志快速查询、统计、告警等基础服务，是保障公司技术体系正常运行必不可缺的重要系统之一。日均接入应用日志600亿条，压缩…- 3
- 0
-
IT服务治理 – 唯品会大数据建设思路与实践
诸超 | 唯品会云计算总监 文章目录 Toggle 唯品会大数据整体规划数据平台的建设大数据对于技术运营大数据在唯品会特卖模式的业务价值 唯品会大数据整体规划 大数据无非是数据的收集、计算和存储。整个数据的实时接入，包括各种各样的log，我们的系统把这些东西离线、实时地收集进来。 如何规划系统的资源，才能做到高效的调度和利用？这是一大改变期，有了这样一个平台以后，如何做各个数据的分析和计算？不能只…- 0
- 0
-
[易学易懂系列|rustlang语言|零基础|快速入门|（1）|开篇]
今天我们来开一个新系列。 从零学习rustlang。 简单介绍下rustlang: Rust 是一门系统级编程语言，被设计为保证内存和线程安全，防止段错误产生。作为系统级编程语言，它的基本理念是 “零开销抽象”。理论上来说，它的速度与 C/C++ 同级。Rust 可以被归为通用的、多范式、编译型的编程语言，类似 C/C++。与这两门编程语言不同的是，Rust 是线程安全的！Rust 编程语言的目标…- 36
- 0
-
Dart入门—库、泛型与异常
Dart入门—库、泛型与异常 库 Pub仓库 在Pub上可以下载到支持各种功能的包，首页在根目录下建立pubspec.yaml文件 1name: test_app 2dependencies: 3 sqljocky: ^0.14.1 4 name是包的名称，dependencies是需要依赖的包名，上面的sqljocky是用来连接MySQL的。执行pub get命令下载相关依赖包 执行完毕后，在根…- 12
- 0
-
理解Go语言Web编程（下）
ListenAndServe函数 前面所有示例程序中，都在main函数中调用了ListenAndServe函数。下面对此函数所做的工作进行分析。该函数的实现为： 1func ListenAndServe(addr string, handler Handler) error { server := &Server{Addr: addr, Handler: handler} re…- 22
- 0
-
SpringBoot使用Sharding-JDBC分库分表
本文介绍SpringBoot使用当当Sharding-JDBC进行分库分表。 1.有关Sharding-JDBC 有关Sharding-JDBC介绍这里就不在多说，之前Sharding-JDBC是当当网自研的关系型数据库的水平扩展框架，现在已经捐献给Apache，具体可以查看Github，地址是：https://shardingsphere.apache.org/document/current/…- 6
- 0
-
Springboot整合Memcached
一、首先我们使用Centos架设memcached服务器，我们使用Docker来架设Memcached服务 拉取镜像 1docker pull memcached:1.5.16 2 启动容器 1docker run --name memcached -p 11211:11211 -d memcached:1.5.16 memcached -m 128 2 好了，使用docker架设memcache…- 15
- 0
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×