src/lib.rs

   1 pub mod api_routes_http;
   2 pub mod api_routes_websocket;
   3 pub mod code_migrations;
   4 pub mod root_span_builder;
   5 pub mod scheduled_tasks;
   6 #[cfg(feature = "console")]
   7 pub mod telemetry;
   8
   9 use crate::{code_migrations::run_advanced_migrations, root_span_builder::QuieterRootSpanBuilder};
  10 use actix_web::{middleware, web::Data, App, HttpServer, Result};
  11 use doku::json::{AutoComments, CommentsStyle, Formatting, ObjectsStyle};
  12 use lemmy_api_common::{
  13   context::LemmyContext,
  14   lemmy_db_views::structs::SiteView,
  15   request::build_user_agent,
  16   utils::{
  17     check_private_instance_and_federation_enabled,
  18     local_site_rate_limit_to_rate_limit_config,
  19   },
  20   websocket::chat_server::ChatServer,
  21 };
  22 use lemmy_db_schema::{
  23   source::secret::Secret,
  24   utils::{build_db_pool, get_database_url, run_migrations},
  25 };
  26 use lemmy_routes::{feeds, images, nodeinfo, webfinger};
  27 use lemmy_utils::{
  28   error::LemmyError,
  29   rate_limit::RateLimitCell,
  30   settings::{structs::Settings, SETTINGS},
  31 };
  32 use reqwest::Client;
  33 use reqwest_middleware::ClientBuilder;
  34 use reqwest_retry::{policies::ExponentialBackoff, RetryTransientMiddleware};
  35 use reqwest_tracing::TracingMiddleware;
  36 use std::{env, sync::Arc, thread, time::Duration};
  37 use tracing::subscriber::set_global_default;
  38 use tracing_actix_web::TracingLogger;
  39 use tracing_error::ErrorLayer;
  40 use tracing_log::LogTracer;
  41 use tracing_subscriber::{filter::Targets, layer::SubscriberExt, Layer, Registry};
  42 use url::Url;
  43
  44 /// Max timeout for http requests
  45 pub(crate) const REQWEST_TIMEOUT: Duration = Duration::from_secs(10);
  46
  47 /// Placing the main function in lib.rs allows other crates to import it and embed Lemmy
  48 pub async fn start_lemmy_server() -> Result<(), LemmyError> {
  49   let args: Vec<String> = env::args().collect();
  50   if args.len() == 2 && args[1] == "--print-config-docs" {
  51     let fmt = Formatting {
  52       auto_comments: AutoComments::none(),
  53       comments_style: CommentsStyle {
  54         separator: "#".to_owned(),
  55       },
  56       objects_style: ObjectsStyle {
  57         surround_keys_with_quotes: false,
  58         use_comma_as_separator: false,
  59       },
  60       ..Default::default()
  61     };
  62     println!("{}", doku::to_json_fmt_val(&fmt, &Settings::default()));
  63     return Ok(());
  64   }
  65
  66   let settings = SETTINGS.to_owned();
  67
  68   // Set up the bb8 connection pool
  69   let db_url = get_database_url(Some(&settings));
  70   run_migrations(&db_url);
  71
  72   // Run the migrations from code
  73   let pool = build_db_pool(&settings).await?;
  74   run_advanced_migrations(&pool, &settings).await?;
  75
  76   // Initialize the secrets
  77   let secret = Secret::init(&pool)
  78     .await
  79     .expect("Couldn't initialize secrets.");
  80
  81   // Make sure the local site is set up.
  82   let site_view = SiteView::read_local(&pool)
  83     .await
  84     .expect("local site not set up");
  85   let local_site = site_view.local_site;
  86   let federation_enabled = local_site.federation_enabled;
  87
  88   if federation_enabled {
  89     println!("federation enabled, host is {}", &settings.hostname);
  90   }
  91
  92   check_private_instance_and_federation_enabled(&local_site)?;
  93
  94   // Set up the rate limiter
  95   let rate_limit_config =
  96     local_site_rate_limit_to_rate_limit_config(&site_view.local_site_rate_limit);
  97   let rate_limit_cell = RateLimitCell::new(rate_limit_config).await;
  98
  99   println!(
 100     "Starting http server at {}:{}",
 101     settings.bind, settings.port
 102   );
 103
 104   let user_agent = build_user_agent(&settings);
 105   let reqwest_client = Client::builder()
 106     .user_agent(user_agent.clone())
 107     .timeout(REQWEST_TIMEOUT)
 108     .build()?;
 109
 110   let retry_policy = ExponentialBackoff {
 111     max_n_retries: 3,
 112     max_retry_interval: REQWEST_TIMEOUT,
 113     min_retry_interval: Duration::from_millis(100),
 114     backoff_exponent: 2,
 115   };
 116
 117   let client = ClientBuilder::new(reqwest_client.clone())
 118     .with(TracingMiddleware::default())
 119     .with(RetryTransientMiddleware::new_with_policy(retry_policy))
 120     .build();
 121
 122   // Pictrs cannot use the retry middleware
 123   let pictrs_client = ClientBuilder::new(reqwest_client.clone())
 124     .with(TracingMiddleware::default())
 125     .build();
 126
 127   // Schedules various cleanup tasks for the DB
 128   thread::spawn(move || {
 129     scheduled_tasks::setup(db_url, user_agent).expect("Couldn't set up scheduled_tasks");
 130   });
 131
 132   let chat_server = Arc::new(ChatServer::startup());
 133
 134   // Create Http server with websocket support
 135   let settings_bind = settings.clone();
 136   HttpServer::new(move || {
 137     let context = LemmyContext::create(
 138       pool.clone(),
 139       chat_server.clone(),
 140       client.clone(),
 141       settings.clone(),
 142       secret.clone(),
 143       rate_limit_cell.clone(),
 144     );
 145     App::new()
 146       .wrap(middleware::Logger::default())
 147       .wrap(TracingLogger::<QuieterRootSpanBuilder>::new())
 148       .app_data(Data::new(context))
 149       .app_data(Data::new(rate_limit_cell.clone()))
 150       // The routes
 151       .configure(|cfg| api_routes_http::config(cfg, rate_limit_cell))
 152       .configure(|cfg| {
 153         if federation_enabled {
 154           lemmy_apub::http::routes::config(cfg);
 155           webfinger::config(cfg);
 156         }
 157       })
 158       .configure(feeds::config)
 159       .configure(|cfg| images::config(cfg, pictrs_client.clone(), rate_limit_cell))
 160       .configure(nodeinfo::config)
 161   })
 162   .bind((settings_bind.bind, settings_bind.port))?
 163   .run()
 164   .await?;
 165
 166   Ok(())
 167 }
 168
 169 pub fn init_logging(opentelemetry_url: &Option<Url>) -> Result<(), LemmyError> {
 170   LogTracer::init()?;
 171
 172   let log_description = std::env::var("RUST_LOG").unwrap_or_else(|_| "info".into());
 173
 174   let targets = log_description
 175     .trim()
 176     .trim_matches('"')
 177     .parse::<Targets>()?;
 178
 179   let format_layer = tracing_subscriber::fmt::layer().with_filter(targets.clone());
 180
 181   let subscriber = Registry::default()
 182     .with(format_layer)
 183     .with(ErrorLayer::default());
 184
 185   if let Some(_url) = opentelemetry_url {
 186     #[cfg(feature = "console")]
 187     telemetry::init_tracing(_url.as_ref(), subscriber, targets)?;
 188     #[cfg(not(feature = "console"))]
 189     tracing::error!("Feature `console` must be enabled for opentelemetry tracing");
 190   } else {
 191     set_global_default(subscriber)?;
 192   }
 193
 194   Ok(())
 195 }