crates/apub/src/fetcher/community.rs

   1 use crate::{
   2   fetcher::{
   3     fetch::fetch_remote_object,
   4     is_deleted,
   5     person::get_or_fetch_and_upsert_person,
   6     should_refetch_actor,
   7   },
   8   objects::FromApub,
   9   GroupExt,
  10 };
  11 use activitystreams::{
  12   actor::ApActorExt,
  13   collection::{CollectionExt, OrderedCollection},
  14 };
  15 use anyhow::Context;
  16 use diesel::result::Error::NotFound;
  17 use lemmy_api_common::blocking;
  18 use lemmy_db_queries::{source::community::Community_, ApubObject, Joinable};
  19 use lemmy_db_schema::source::community::{Community, CommunityModerator, CommunityModeratorForm};
  20 use lemmy_db_views_actor::community_moderator_view::CommunityModeratorView;
  21 use lemmy_utils::{location_info, LemmyError};
  22 use lemmy_websocket::LemmyContext;
  23 use log::debug;
  24 use url::Url;
  25
  26 /// Get a community from its apub ID.
  27 ///
  28 /// If it exists locally and `!should_refetch_actor()`, it is returned directly from the database.
  29 /// Otherwise it is fetched from the remote instance, stored and returned.
  30 pub async fn get_or_fetch_and_upsert_community(
  31   apub_id: &Url,
  32   context: &LemmyContext,
  33   recursion_counter: &mut i32,
  34 ) -> Result<Community, LemmyError> {
  35   let apub_id_owned = apub_id.to_owned();
  36   let community = blocking(context.pool(), move |conn| {
  37     Community::read_from_apub_id(conn, &apub_id_owned.into())
  38   })
  39   .await?;
  40
  41   match community {
  42     Ok(c) if !c.local && should_refetch_actor(c.last_refreshed_at) => {
  43       debug!("Fetching and updating from remote community: {}", apub_id);
  44       fetch_remote_community(apub_id, context, Some(c), recursion_counter).await
  45     }
  46     Ok(c) => Ok(c),
  47     Err(NotFound {}) => {
  48       debug!("Fetching and creating remote community: {}", apub_id);
  49       fetch_remote_community(apub_id, context, None, recursion_counter).await
  50     }
  51     Err(e) => Err(e.into()),
  52   }
  53 }
  54
  55 /// Request a community by apub ID from a remote instance, including moderators. If `old_community`,
  56 /// is set, this is an update for a community which is already known locally. If not, we don't know
  57 /// the community yet and also pull the outbox, to get some initial posts.
  58 async fn fetch_remote_community(
  59   apub_id: &Url,
  60   context: &LemmyContext,
  61   old_community: Option<Community>,
  62   request_counter: &mut i32,
  63 ) -> Result<Community, LemmyError> {
  64   let group = fetch_remote_object::<GroupExt>(context.client(), apub_id, request_counter).await;
  65
  66   if let Some(c) = old_community.to_owned() {
  67     if is_deleted(&group) {
  68       blocking(context.pool(), move |conn| {
  69         Community::update_deleted(conn, c.id, true)
  70       })
  71       .await??;
  72     } else if group.is_err() {
  73       // If fetching failed, return the existing data.
  74       return Ok(c);
  75     }
  76   }
  77
  78   let group = group?;
  79   let community =
  80     Community::from_apub(&group, context, apub_id.to_owned(), request_counter, false).await?;
  81
  82   update_community_mods(&group, &community, context, request_counter).await?;
  83
  84   // only fetch outbox for new communities, otherwise this can create an infinite loop
  85   if old_community.is_none() {
  86     let outbox = group.inner.outbox()?.context(location_info!())?;
  87     fetch_community_outbox(context, outbox, &community, request_counter).await?
  88   }
  89
  90   Ok(community)
  91 }
  92
  93 async fn update_community_mods(
  94   group: &GroupExt,
  95   community: &Community,
  96   context: &LemmyContext,
  97   request_counter: &mut i32,
  98 ) -> Result<(), LemmyError> {
  99   let new_moderators = fetch_community_mods(context, group, request_counter).await?;
 100   let community_id = community.id;
 101   let current_moderators = blocking(context.pool(), move |conn| {
 102     CommunityModeratorView::for_community(conn, community_id)
 103   })
 104   .await??;
 105   // Remove old mods from database which arent in the moderators collection anymore
 106   for mod_user in &current_moderators {
 107     if !new_moderators.contains(&mod_user.moderator.actor_id.clone().into()) {
 108       let community_moderator_form = CommunityModeratorForm {
 109         community_id: mod_user.community.id,
 110         person_id: mod_user.moderator.id,
 111       };
 112       blocking(context.pool(), move |conn| {
 113         CommunityModerator::leave(conn, &community_moderator_form)
 114       })
 115       .await??;
 116     }
 117   }
 118
 119   // Add new mods to database which have been added to moderators collection
 120   for mod_uri in new_moderators {
 121     let mod_user = get_or_fetch_and_upsert_person(&mod_uri, context, request_counter).await?;
 122
 123     if !current_moderators
 124       .clone()
 125       .iter()
 126       .map(|c| c.moderator.actor_id.clone())
 127       .any(|x| x == mod_user.actor_id)
 128     {
 129       let community_moderator_form = CommunityModeratorForm {
 130         community_id: community.id,
 131         person_id: mod_user.id,
 132       };
 133       blocking(context.pool(), move |conn| {
 134         CommunityModerator::join(conn, &community_moderator_form)
 135       })
 136       .await??;
 137     }
 138   }
 139
 140   Ok(())
 141 }
 142
 143 async fn fetch_community_outbox(
 144   context: &LemmyContext,
 145   outbox: &Url,
 146   community: &Community,
 147   recursion_counter: &mut i32,
 148 ) -> Result<(), LemmyError> {
 149   let outbox =
 150     fetch_remote_object::<OrderedCollection>(context.client(), outbox, recursion_counter).await?;
 151   let outbox_activities = outbox.items().context(location_info!())?.clone();
 152   let mut outbox_activities = outbox_activities.many().context(location_info!())?;
 153   if outbox_activities.len() > 20 {
 154     outbox_activities = outbox_activities[0..20].to_vec();
 155   }
 156
 157   for activity in outbox_activities {
 158     todo!("{:?} {:?} {:?}", activity, community, recursion_counter);
 159     //receive_announce(context, activity, community, recursion_counter).await?;
 160   }
 161
 162   Ok(())
 163 }
 164
 165 pub(crate) async fn fetch_community_mods(
 166   context: &LemmyContext,
 167   group: &GroupExt,
 168   recursion_counter: &mut i32,
 169 ) -> Result<Vec<Url>, LemmyError> {
 170   if let Some(mods_url) = &group.ext_one.moderators {
 171     let mods =
 172       fetch_remote_object::<OrderedCollection>(context.client(), mods_url, recursion_counter)
 173         .await?;
 174     let mods = mods
 175       .items()
 176       .map(|i| i.as_many())
 177       .flatten()
 178       .context(location_info!())?
 179       .iter()
 180       .filter_map(|i| i.as_xsd_any_uri())
 181       .map(|u| u.to_owned())
 182       .collect();
 183     Ok(mods)
 184   } else {
 185     Ok(vec![])
 186   }
 187 }