MLC-LLM编译器编译前提需要配置TVM环境 ,TVM环境编译需要安装LLVM,

MLC-LLM在任何设备上编译运行大语言模型编译器,  编译前提需要配置TVM环境
TVM环境编译需要安装LLVM
LLVM编译需要cmake
  MLC-LLM编译需要依赖:dlpack、dmlc库
  dmlc库编译需要cmake
  编译dmcl会下载MXNet
  编译MXNet时需要配置CUDA Toolkit
  CUDA Toolkit 是英伟达gpu的api
LLVM是构架编译器(compiler)的框架系统,以C++编写而成,用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time),对开发者保持开放,并兼容已有脚本。
LLVM计划启动于2000年,最初由美国UIUC大学的Chris Lattner博士主持开展。2006年Chris Lattner加盟Apple Inc.并致力于LLVM在Apple开发体系中的应用。Apple也是LLVM计划的主要资助者。
LLVM已经被Apple、Microsoft、Google、Facebook等各大公司采用。
官方文档:
https://llvm.org/docs/GettingStarted.html#getting-the-source-code-and-building-llvm

MXNet(发音为“mix-net”)起源于卡内基梅隆大学和华盛顿大学。MXNet是一个功能齐全,可编程和可扩展的深入学习框架,支持最先进的深入学习模式。MXNet提供了混合编程模型(命令式和声明式)和大量编程语言的代码(包括Python、C++、R、Scala、Julia、Matlab和JavaScript)的能力。2017年1月30日,MXNet进入Apache基金会,成为Apache的孵化器项目。

MXNet支持深度学习架构,如卷积神经网络(CNN)和循环神经网络(RNN),包括长短期记忆网络(LTSM)。该框架为成像、手写、语音识别,预测和自然语言处理提供了出色的功能。有些人称MXNet是世界上最好的图像分类器。

MXNet具有强大的技术,包括扩展能力,如GPU并行性和内存镜像、编程器开发速度和可移植性。此外,MXNet与Apache Hadoop YARN(一种通用的,分布式的应用程序管理框架)集成,使MXNet成为TensorFlow的竞争对手。

mxnet编译文档:https://mxnet.apache.org/versions/1.9.1/get_started/build_from_source.html

扫码领红包

微信赞赏支付宝扫码领红包

发表回复

后才能评论