Kafka在美团数据平台的实践
Post Views: 192 1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 图1-1 Kafka在美团数据平台的现状图1-1 Kafka在美团数据平台的现状 如图1-1所示，蓝色部分描述了Kafka在数据平台定位为流存储层。主要的职责是做数据的缓存和分发，它会将收集到的日志分发到不同的数
LangChain的Agent使用介绍
Post Views: 192 LangChain 介绍 随着各种开源大模型的发布，越来越多的人开始尝试接触和使用大模型。在感叹大模型带来的惊人表现的同时，也发现一些问题，比如没法查询到最新的信息，有时候问一些数学问题时候，会出现错误答案，还有一些专业领域类问题甚至编造回答等等。有没有什么办法能解决这些问题呢？答案就是LangChain。 LangChain 是一个开源的语言模型集成框架，旨在简化
docker容器中deepspeed多机多卡集群分布式训练大模型
Post Views: 277 众所周知，大模型的训练需要大量的显存资源，单卡很容易就爆了，于是就有了单机多卡、多机多卡的训练方案。本文主要是介绍如何使用deepspeed框架做多机多卡的分布式训练。 由于PyTorch、NVIDIA、CUDA等运行环境搭建也是很繁琐，所以这次我们用docker来快速搭建，但是deepspeed多机训练是通过ssh来通讯的，不同服务器的docker容
美团外卖搜索基于Elasticsearch的优化实践
Post Views: 210 最近十年，Elasticsearch 已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。然而在高并发、高可用、大数据量的 C 端场景，目前可参考的资料并不多。因此，我们希望通过分享在外卖搜索场景下的优化实践，能为大家提供 Elasticsearch 优化思路上的一些借鉴。 美团在外卖搜索业务场景中大规模
本地部署Stable Diffusion教程
Post Views: 237 笔者使用AI工具模仿梵高风格绘制的AI作品《城堡星月夜》近期，智能AI绘画因其低成本、高效率、多风格、易操作等特点而受到全网的热烈追捧，对原画、平面设计等领域产生了巨大的冲击。据报道，许多公司（特别是游戏公司）已经将AI绘画引入到他们的工作流程中，有的公司甚至裁掉了原画师的一半。 趁着AI绘画学习的热潮，笔者迫不及待地想要体验一下号称业界最强的Stable Diff
2023最全大数据学习路线（建议收藏）
Post Views: 434 前言 本文针对非科班生转行大数据所遇到的问题，提出一些切实的建议，以免小伙伴在学习过程中走弯路。 我依据自己转行所走过的一些弯路，总结了我自己大数据学习的详细路线，推荐一些我看过的大数据课程以及技术书籍，帮助各位小伙伴做一个资源筛选。 我能够理解每一位即将转行和正在转行的小伙伴，你们可能焦虑自己是否能够学好这么多的大数据知识，也可能正在担心35岁后的自己该怎么办？
Hadoop-MapReduce工作原理
Post Views: 241 一.剖析MapReduce作业运行机制 MapReduce是hadoop的编程模型，它的核心思想就是映射（Map)和化简（Reduce）。 1>.作业的提交 可以通过一个简单的方法调用来运行MapReduce作业：Job对象的submit() 方法。注意，也可以调用waitForCompletion()，它用于提交过的作业，并等待它的完成。submit
