src/lib.rs

   1 pub mod api_routes_http;
   2 pub mod code_migrations;
   3 #[cfg(feature = "prometheus-metrics")]
   4 pub mod prometheus_metrics;
   5 pub mod root_span_builder;
   6 pub mod scheduled_tasks;
   7 #[cfg(feature = "console")]
   8 pub mod telemetry;
   9
  10 use crate::{code_migrations::run_advanced_migrations, root_span_builder::QuieterRootSpanBuilder};
  11 use activitypub_federation::config::{FederationConfig, FederationMiddleware};
  12 use actix_cors::Cors;
  13 use actix_web::{middleware, web::Data, App, HttpServer, Result};
  14 use lemmy_api_common::{
  15   context::LemmyContext,
  16   lemmy_db_views::structs::SiteView,
  17   request::build_user_agent,
  18   utils::{
  19     check_private_instance_and_federation_enabled,
  20     local_site_rate_limit_to_rate_limit_config,
  21   },
  22 };
  23 use lemmy_apub::{VerifyUrlData, FEDERATION_HTTP_FETCH_LIMIT};
  24 use lemmy_db_schema::{
  25   source::secret::Secret,
  26   utils::{build_db_pool, get_database_url, run_migrations},
  27 };
  28 use lemmy_routes::{feeds, images, nodeinfo, webfinger};
  29 use lemmy_utils::{error::LemmyError, rate_limit::RateLimitCell, settings::SETTINGS};
  30 use reqwest::Client;
  31 use reqwest_middleware::ClientBuilder;
  32 use reqwest_tracing::TracingMiddleware;
  33 use std::{env, thread, time::Duration};
  34 use tracing::subscriber::set_global_default;
  35 use tracing_actix_web::TracingLogger;
  36 use tracing_error::ErrorLayer;
  37 use tracing_log::LogTracer;
  38 use tracing_subscriber::{filter::Targets, layer::SubscriberExt, Layer, Registry};
  39 use url::Url;
  40 #[cfg(feature = "prometheus-metrics")]
  41 use {
  42   actix_web_prom::PrometheusMetricsBuilder,
  43   prometheus::default_registry,
  44   prometheus_metrics::serve_prometheus,
  45 };
  46
  47 /// Max timeout for http requests
  48 pub(crate) const REQWEST_TIMEOUT: Duration = Duration::from_secs(10);
  49
  50 /// Placing the main function in lib.rs allows other crates to import it and embed Lemmy
  51 pub async fn start_lemmy_server() -> Result<(), LemmyError> {
  52   let args: Vec<String> = env::args().collect();
  53
  54   let scheduled_tasks_enabled = args.get(1) != Some(&"--disable-scheduled-tasks".to_string());
  55
  56   let settings = SETTINGS.to_owned();
  57
  58   // Run the DB migrations
  59   let db_url = get_database_url(Some(&settings));
  60   run_migrations(&db_url);
  61
  62   // Set up the connection pool
  63   let pool = build_db_pool(&settings).await?;
  64
  65   // Run the Code-required migrations
  66   run_advanced_migrations(&pool, &settings).await?;
  67
  68   // Initialize the secrets
  69   let secret = Secret::init(&pool)
  70     .await
  71     .expect("Couldn't initialize secrets.");
  72
  73   // Make sure the local site is set up.
  74   let site_view = SiteView::read_local(&pool)
  75     .await
  76     .expect("local site not set up");
  77   let local_site = site_view.local_site;
  78   let federation_enabled = local_site.federation_enabled;
  79
  80   if federation_enabled {
  81     println!("federation enabled, host is {}", &settings.hostname);
  82   }
  83
  84   check_private_instance_and_federation_enabled(&local_site)?;
  85
  86   // Set up the rate limiter
  87   let rate_limit_config =
  88     local_site_rate_limit_to_rate_limit_config(&site_view.local_site_rate_limit);
  89   let rate_limit_cell = RateLimitCell::new(rate_limit_config).await;
  90
  91   println!(
  92     "Starting http server at {}:{}",
  93     settings.bind, settings.port
  94   );
  95
  96   let user_agent = build_user_agent(&settings);
  97   let reqwest_client = Client::builder()
  98     .user_agent(user_agent.clone())
  99     .timeout(REQWEST_TIMEOUT)
 100     .connect_timeout(REQWEST_TIMEOUT)
 101     .build()?;
 102
 103   let client = ClientBuilder::new(reqwest_client.clone())
 104     .with(TracingMiddleware::default())
 105     .build();
 106
 107   // Pictrs cannot use the retry middleware
 108   let pictrs_client = ClientBuilder::new(reqwest_client.clone())
 109     .with(TracingMiddleware::default())
 110     .build();
 111
 112   let context = LemmyContext::create(
 113     pool.clone(),
 114     client.clone(),
 115     secret.clone(),
 116     rate_limit_cell.clone(),
 117   );
 118
 119   if scheduled_tasks_enabled {
 120     // Schedules various cleanup tasks for the DB
 121     thread::spawn({
 122       let context = context.clone();
 123       move || {
 124         scheduled_tasks::setup(db_url, user_agent, context)
 125           .expect("Couldn't set up scheduled_tasks");
 126       }
 127     });
 128   }
 129
 130   #[cfg(feature = "prometheus-metrics")]
 131   serve_prometheus(settings.prometheus.as_ref(), context.clone());
 132
 133   let settings_bind = settings.clone();
 134
 135   let federation_config = FederationConfig::builder()
 136     .domain(settings.hostname.clone())
 137     .app_data(context.clone())
 138     .client(client.clone())
 139     .http_fetch_limit(FEDERATION_HTTP_FETCH_LIMIT)
 140     .worker_count(settings.worker_count)
 141     .retry_count(settings.retry_count)
 142     .debug(cfg!(debug_assertions))
 143     .http_signature_compat(true)
 144     .url_verifier(Box::new(VerifyUrlData(context.pool().clone())))
 145     .build()
 146     .await?;
 147
 148   // this must come before the HttpServer creation
 149   // creates a middleware that populates http metrics for each path, method, and status code
 150   #[cfg(feature = "prometheus-metrics")]
 151   let prom_api_metrics = PrometheusMetricsBuilder::new("lemmy_api")
 152     .registry(default_registry().clone())
 153     .build()
 154     .unwrap();
 155
 156   // Create Http server with websocket support
 157   HttpServer::new(move || {
 158     let cors_origin = std::env::var("LEMMY_CORS_ORIGIN");
 159     let cors_config = match (cors_origin, cfg!(debug_assertions)) {
 160       (Ok(origin), false) => Cors::default()
 161         .allowed_origin(&origin)
 162         .allowed_origin(&settings.get_protocol_and_hostname()),
 163       _ => Cors::default()
 164         .allow_any_origin()
 165         .allow_any_method()
 166         .allow_any_header()
 167         .expose_any_header()
 168         .max_age(3600),
 169     };
 170
 171     let app = App::new()
 172       .wrap(middleware::Logger::new(
 173         // This is the default log format save for the usage of %{r}a over %a to guarantee to record the client's (forwarded) IP and not the last peer address, since the latter is frequently just a reverse proxy
 174         "%{r}a '%r' %s %b '%{Referer}i' '%{User-Agent}i' %T",
 175       ))
 176       .wrap(middleware::Compress::default())
 177       .wrap(cors_config)
 178       .wrap(TracingLogger::<QuieterRootSpanBuilder>::new())
 179       .app_data(Data::new(context.clone()))
 180       .app_data(Data::new(rate_limit_cell.clone()))
 181       .wrap(FederationMiddleware::new(federation_config.clone()));
 182
 183     #[cfg(feature = "prometheus-metrics")]
 184     let app = app.wrap(prom_api_metrics.clone());
 185
 186     // The routes
 187     app
 188       .configure(|cfg| api_routes_http::config(cfg, rate_limit_cell))
 189       .configure(|cfg| {
 190         if federation_enabled {
 191           lemmy_apub::http::routes::config(cfg);
 192           webfinger::config(cfg);
 193         }
 194       })
 195       .configure(feeds::config)
 196       .configure(|cfg| images::config(cfg, pictrs_client.clone(), rate_limit_cell))
 197       .configure(nodeinfo::config)
 198   })
 199   .bind((settings_bind.bind, settings_bind.port))?
 200   .run()
 201   .await?;
 202
 203   Ok(())
 204 }
 205
 206 pub fn init_logging(opentelemetry_url: &Option<Url>) -> Result<(), LemmyError> {
 207   LogTracer::init()?;
 208
 209   let log_description = std::env::var("RUST_LOG").unwrap_or_else(|_| "info".into());
 210
 211   let targets = log_description
 212     .trim()
 213     .trim_matches('"')
 214     .parse::<Targets>()?;
 215
 216   let format_layer = {
 217     #[cfg(feature = "json-log")]
 218     let layer = tracing_subscriber::fmt::layer().json();
 219     #[cfg(not(feature = "json-log"))]
 220     let layer = tracing_subscriber::fmt::layer();
 221
 222     layer.with_filter(targets.clone())
 223   };
 224
 225   let subscriber = Registry::default()
 226     .with(format_layer)
 227     .with(ErrorLayer::default());
 228
 229   if let Some(_url) = opentelemetry_url {
 230     #[cfg(feature = "console")]
 231     telemetry::init_tracing(_url.as_ref(), subscriber, targets)?;
 232     #[cfg(not(feature = "console"))]
 233     tracing::error!("Feature `console` must be enabled for opentelemetry tracing");
 234   } else {
 235     set_global_default(subscriber)?;
 236   }
 237
 238   Ok(())
 239 }