Reduce memory usage of rate limiting (#3111)

* Reduce Vec allocations

* Optimize stuff

* Move embedded migrations to separate crate

* Revert "Move embedded migrations to separate crate"

This reverts commit 44b104997016ee2a1f2c0bb735b75e654666860d.

* clippy, fmt

* Shrink rate limit allowance to f32

* Initialize rate limit allowance directly

* Add removal of old rate limit buckets

* Improve readability

* Remove usage of is_okay_and for Rust 1.67 compatibility

* Add dhat-heap feature

* Fix api_benchmark.sh and add run_and_benchmark.sh

* Revert "Fix api_benchmark.sh and add run_and_benchmark.sh"

This reverts commit b4528e5b85dd3f13cea43d72ada9382200c8fc77.

* Revert "Add dhat-heap feature"

This reverts commit 08e835d487b983c44ce2570d8c396d570d426916.

* Manually revert remaining stuff

* Use Ipv6Addr in RateLimitStorage

* Shrink last_checked in RateLimitBucket to 32 bits

* Fix rate_limit::get_ip

* Stuff (#1)

* Update rate_limiter.rs

* Update mod.rs

* Update scheduled_tasks.rs

* Fix rate_limiter.rs

* Dullbananas patch 1 (#2)

* Update rate_limiter.rs

* Update mod.rs

* Update scheduled_tasks.rs

* Fix rate_limiter.rs

* Rate limit IPv6 addresses in groups

* Fmt lib.rs

* woodpicker trigger

* Refactor and comment `check_rate_limit_full`

* Add `test_split_ipv6`

* Replace -2.0 with UNINITIALIZED_TOKEN_AMOUNT

* Add `test_rate_limiter`

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Adding current domain from settings to CORs. (#3231)

remove debugging println (#3227)

Fixing comment_view unit tests. (#3224)

Fix parameter ordering for new_report_subject string (#3210)

Move cors default to source code (#3219)

Fixing tag deploys. (#3216)

* Fixing tag deploys.

* Fixing tag deploys 2.

* Try to comment build_args.

* Fixing tag deploys 3.

* Fixing build args again.

* Last fix.

Feature add hours as sorting options backend (#3161)

* add hours as sorting options

* ran cargo +nightly fmt

* woodpicker trigger

Don't check verified email when an admin logs in (#3209)

Workaround for instance admins getting locked out when they turn on
the email verification requirement without having verified their
own email.

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

fix: add CORS origin environment variable (#3191)

* fix: add CORS origin environment variable

* chore: formatting

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

make embedded pict-rs port configurable (#3201)

Move connection creation into scheduler. (#3120)

* Move connection creation into scheduler.

- #3076

* Fix clippy.

Update translations

Calculate initial hot_rank and hot_rank_active for posts and comments from other instances (#3131)

* Calculate initial hot_rank when receiving posts and comments from other instances

* Move hot rank update logic into db_schema

Changed github issue template to align logically with the question asked (#3135)

Update README.md (#3137)

The Ace of Spades video linked in the README was private, have replaced it with a public video.

Remove e-mail verification success e-mails (#3124)

Fix Hidden communities showing in community list (#3094)

* Only show hidden communities when explicitly searching for them rather then in "all"

* dont set hidden to false when creating and updating - let DB set default

* lint

---------

Co-authored-by: Alex Maras <alexmaras@gmail.com>

Update all dependencies (#3091)

Prevent making an instance private if federation is enabled. (#3074)

* Prevent making an instance private if federation is enabled.

* Added case where federation is enabled, check if the alternative setting is changed

* Merged the error messages for private instance/federation.

---------

Co-authored-by: Wyatt Smith <wys@dropbox.com>

Handle scheduled task errors (#3090)

* Add --disable-scheduled-tasks CLI flag

* Add error handling for scheduled tasks

Fix unapproved users being able to log in after registration mode set to closed. (#3096)

- Fixes #3095

Link tafkars in readme (#3087)

doc: Added pythorhead library in readme (#3114)

Only create ltree postgres extension in migration if doesn't already exist (#3092)

add issue template yml from lemmy-ui (#3086)

* add issue template yml from lemmy-ui

* prettier

* Empty-Commit for CI

* improve Qs

* add instance question

* delete hexbear

* backend version

Fix Issue #3075 by using None for local fields instead of Some(false) (#3088)

* Set insert and update form "local" to None

* Extra space to retrigger woodpecker

* Resolve code review request

https://github.com/LemmyNet/lemmy/pull/3088#discussion_r1229336958

* Remove extra space after None,

stop requiring superuser to run migrations (#3002)

Fixes <https://github.com/LemmyNet/lemmy/issues/2863>.

Fixes #1884 - Support Spoiler Tags (#3018)

* Fixes #1884 - Switches markdown libraries and creates a custom rule to manage spoiler blocks

* Add tests to cover invalid spoiler input

* Consolidate tests, add comments

* Make immutable, static instance of markdown parser

---------

Co-authored-by: Nutomic <me@nutomic.com>

Fix compilation

Align default DB password with documentation (#3068)

Update RSS url (#3053)

* Update RSS url

* Fixed next line

* making sure this thing uploads

* Update feeds.rs

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Docker yaml anchors and docker logs (#3027)

* Use anchor for duplicated compose properties

* Include docker log max

* Run prettier

Fix ports used by docker (#3012)

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Add limit and pagination to feeds (#2980)

* adds limit and pagination to all rss feeds

* consistent ordering

* refactor page and limit and add after

* revert back to using page

* remove offset change

* refactor to impl adding helper methods

* clippy

Upgrade activitypub-federation to 0.4.1 (#3039)

This improves logging so that its not necessary to enable debug
logs to find out that activity worker count needs to be increased.

Adding Lemmy-Swift-Client to README.md (#3026)

use usize::MAX for line wrap length, since lettre does it for us (#3034)

fixes #2921

update doku (#3003)

Fixes malformed documentation generated by previous version.

Fix contributing link (#3015)

Better issue templates. (#2991)

* Better issue templates.

* Fixing bug report.

allow specifying db uri in config file (#2956)

* allow specifying db uri in config file

* succumb to a bug in doku

See <https://github.com/anixe/doku/issues/33>.

Adding hot_rank columns in place of function sorting. (#2952)

* Adding hot_rank columns in place of function sorting.

- Creates hot_rank columns for post, comment, and community.
- Fixes #2932

* Updating all hot ranks on startup.

* Fixing post.url migration.

* Removing update_instance_software from startup.

* Adding post_rank query

make shebangs posix compliant (#2974)

Previously, these scripts wouldn't work on exotic systems such as NixOS.

```
fd '\.sh$' -t f --exec sed -i 's@#!/bin/bash@#!/usr/bin/env bash@'
```

Fix private message e-mail notification subject and body (#2963)

It used to say:

Subject: Private message from [your username]
Body: [your username] - [private message]

It now display the correct username that it's from.

Add comment depth check (#2940)

* Add comment depth check

* Move comment depth code

* linter fix

Add `lemmyexternalproxy` to `lemmy` so that it can talk to the internet (#2960)

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Fix translation build error (fixes #2967) (#2968)

Activitypub breaking changes for Lemmy 0.18 (#2705)

* Remove deprecated field `group.moderators`

* Drop column local_site.federation_debug

* Remove backwards compatibility code for feature/lock post

https://github.com/LemmyNet/lemmy/pull/2716

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Add db index for post.url column (#2929)

* Add db index for post.url column

As mentioned in https://github.com/LemmyNet/lemmy/issues/2877#issuecomment-1576439829

Not sure if its preferable to do this, or make a combined index
which includes post.nsfw, post.removed, post.deleted

* remove unique

Fall back to String for Comment::path when not using the full feature (#2941)

update diesel to 2.1.0 and diesel-async to 0.3.0 (issue #2882) (#2895)

* update diesel to 2.1.0 and diesel-async to 0.3.0 (issue #2882)

* get rid of deprecated RawValue type alias usage, explicitly import diesel types instead of using wildcard import

* Update diesel-derive-enum and diesel-derive-newtype libraries

* Revert manual changes to schema.rs

* Update to newer diesel-cli image in CI, run fix-clippy before schema comparison, update schema to one generated with diesel-cli 2.1.0 and clippyfixed

* Remove wildcard import lint, fix diesel schema pipeline

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Fix dev setups. (#2944)

Set version name for crates.io release (#2928)

* Set version name for crates.io release

ref https://github.com/LemmyNet/lemmy-ui/issues/1052

* fix yml

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Fix handling of follows addressed to single value (#2920)

* Fix handling of follows addressed to single value

* Switch to deserialize_skip_error for Follow to

* Also use deserialize_skip_error for AcceptFollow and UndoFollow

* actually import deserialize_skip_error

Remove chatserver (#2919)

* Remove chatserver

* fix clippy

* Remove captchas (fixes #2922)

* fix prettier

* fix api_common build

* cargo fmt

Adding taglines to SiteResponse. Fixes #2925 (#2926)

* Adding taglines to SiteResponse. Fixes #2925

* Fixing CI line.

Fix *All* reports not showing. Fixes #2902 (#2903)

* Fix *All* reports not showing. Fixes #2902

* Fix *All* reports not showing. Fixes #2902

* Fixing tests.

README updates (#2913)

* Updated readme to remove unsecure sunchid lemming article - replaced with wikipedia article.

Commented out sponsor list as page DNE.

Commented out Contributing section as all sites DNE. Added simple instructions for git contribution. Cleaned up formatting for Contributing section.

TODO: update join-lemmy.org/docs, uncomment removed lines

* Implemented suggested changes

Filter empty username strings from Mastodon (fixes #2886) (#2887)

* Filter empty username strings from Mastodon (fixes #2886)

* add issue link

Update humane tech badge to point to new repo (#2898)

Update to fix nginx proxy config for Docker Installs (#2908)

* Update to fix nginx proxy config

* Update docker-compose.yml - fix type

---------

Co-authored-by: Jax Gauthier <jax@gauthier.id>

Remove jaeger, opentelemetry from docker-compose (#2894)

Replace remmel with Mlem. (#2890)

Add CORS support for debug mode. (#2884)

Don't filter comments of posts from blocked community when viewing post detail (#2880)

Remove websocket code (#2878)

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Dont return error in case optional auth is invalid (#2879)

* Dont return error in case optional auth is invalid

* fixes

Remove unnecessary clone (#2874)

Co-authored-by: KyP <phanky.vn@proton.me>

Remove GetCommunityResponse.default_post_language (#2867)

This field is unnecessary because we already set a default language
with the same logic if none is passed in CreatePost. So if the user
doesnt set a post language, it should simply be passed as None. This
also has the advantage that it works with clients that dont support
language tags.

Technically not a breaking change because its optional, but better
be safe.

Merge pull request #2866 from LemmyNet/remove-reqwest-retry

Optimize fetching of post url metadata

Dont refetch post url metadata when post is received again

Dont retry outgoing HTTP requests (ref #2865)

Force enable undetermined language (#2851)

* Force enable undetermined language

* update

* fix tests

Fix typo that caused error (#2861)

Prettier check (#2855)

* Adding prettier check to CI.

* Running prettier on codebase.

Downgrade postgres for CI to 15.2 (fixes #2857) (#2859)

Make volumes used in docker compose work when running on machines with SELinux enabled (#2853)

* Make volumes used in docker compose work when running on machines with SELinux enabled

* Switch lemmy-ui comments

---------

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Set attribute `deny_unknown_fields` for Lemmy config (#2852)

With this attribute, Lemmy will throw an error and exit if any
invalid entry is found in the config file. I think can be useful
to notice typos or keys that were removed or renamed in an upgrade.
Currently you wouldnt notice these at all unless you manually
compare the config file with settings that are listed in documentation.

This should be considered a breaking change.

Co-authored-by: Dessalines <dessalines@users.noreply.github.com>

Fixing empty req issue. (#2849)

* Fixing empty req issue.

* Forgot skip serializing none.

Upgrade api_test deps (#2850)

* Upgrade api_test deps

* Fix cargo fmt.

* Try to trigger a new format

Adding comments to all API related types. Fixes #2846 (#2848)

Adding typescript generation for API. Fixes #2824 (#2827)

* Adding typescript generation for API. Fixes #2824

* Try to fix Ltree issue 1.

* Forgot a few types.

* Fixing api tests.

* Removing url_serde line.

* Manually deriving TS for some types.

Addressing slow profile queries. #2777 (#2830)

* Addressing slow profile queries. #2777

* Addressing PR comments.

Reverting to older non-multi-arch dockerfile. Fixes #2832 (#2833)

Add `to` field in follow activities for better compatibility (#2829)

* Add `to` field in follow activities for better compatibility (fixes #2744)

* fix tests

Use older git clone for woodpecker. (#2831)

Remove last Option<Vec.. from API. Fixes #2820 (#2822)

* Remove last Option<Vec.. from API. Fixes #2820

* Add empty allowed_instances check.

* Adding comment for allowed_instances.

Adding cross_post fetching to GetPost. Fixes #2127 (#2821)

Use Dockerfile.multiarch as Dockerfile (#2818)

* use Dockerfile.multiarch and delete old Dockerfile

* Dockerfile.multiarch -> Dockerfile

* nit

Adding diesel enums for SortType and ListingType (#2808)

* Adding diesel enums for SortType and ListingType

- Uses diesel-derive-enum.
- Adds diesel.toml , so we can again use the auto-generated schema.rs
- Fixes a lot of DB null issues and column ordering issues.
- Fixes #1136
- Also replaces RegistrationMode boilerplate.

* Fixing unit tests 1.

* Remove comment line.

* Before patch.

* Before again.

* Using patch file to fix diesel_ltree issue with diesel.toml

* Adding some yalc ignores

* Fixing RegistrationMode enums

* Adding woodpecker diesel schema check.

* Try adding openssl 1.

* Try using diesel-cli image 1

* Try using diesel-cli image 2

* Try using diesel-cli image 3

* Try using diesel-cli image 4

* Try using diesel-cli image 5

* Try using diesel-cli image 6

* Try using diesel-cli image 7

* Try using diesel-cli image 8

* Try using diesel-cli image 9

* Try using diesel-cli image 10

* Try using diesel-cli image 11

* Try using diesel-cli image 12

* Try using diesel-cli image 13

Make path to local lemmy-ui use correct relative path (#2817)

Add lemmy-bot to README libraries list (#2816)

Separate federated_instances into its own endpoint. Fixes #1931 (#2813)

Use official rust image and clean up Dockerfiles (#2804)

* Add docker/Dockerfile.multiarch

* Update normal Dockerfile to be similar to multiarch one

* docker build run on x86 and arm64 now
manifest not needed, its handled by buildx plugin

* Rename Dockerfile.arm To Dockerfile.debian

* Emulate builder on arm target too

* fix misspell

* Improve Dockerfiles

* naming

* undo multiarchbuild settings as its blocked by a dependeny, see #2806

* Delete Dockerfile.debian

Temporary fix for hiding deleted posts. #2624 (#2811)

Leave modded communities on account deletion. Fixes #2560 (#2810)

Adding check to description and body length fields. (#2805)

* Adding check to description and body length fields.

- Also making the checks return `LemmyError`
- Fixes #1747

* Address PR comments.

* PR comments 2

Fix & Optimize CI config (#2802)

* let the clone plugin handle submodules too

* start using yml aliase

* fix publish_to_crates_io

* CI.restart()

Making the chat server an actor. (#2793)

* Making the chat server an actor.

- Fixes #2778
- #2787

* Forgot to add handlers folder.

* Some cleanup.

* Forgot to remove a comment.

* Address PR comments.

* Using ToString for enum operations.